Hereticは、「アブリタレーション（abliteration）」と呼ばれるプロセスを自動化するコマンドラインツールです。これは、Transformerベースの言語モデルから、一般に「検閲」と呼ばれる安全性に関連する制限を取り除く手法です。安全性の調整（アライメント）では通常、有害、差別的、または不適切と見なされる要求を拒否するようにモデルを訓練します。アブリタレーションは、これらの拒否行動の原因となるモデル内部の重みを特定して修正し、モデルがより広範なプロンプトに応答できるようにすることを試みます。このツールは、方向性アブレーションの高度な実装と、Optunaを活用したTree-structured Parzen Estimator（TPE）オプティマイザーを組み合わせて利用します。この自動化されたパイプラインは、拒否の回数と、元のモデルからのカルバック・ライブラー（KL）ダイバージェンス（修正後のモデルの出力分布がベースバージョンからどれだけ逸脱しているかを測定する指標）を同時に最小化します。これらの要素のバランスをとることで、Hereticはモデル本来の知能や能力を維持しつつ、拒否行動を抑制することを目指しています。このプロセスは、Transformerの内部構造に関する深い知識がないユーザーでも利用できるように設計されており、Python環境とPyTorchさえあれば実行可能です。設定が完了すると、ツールはユーザーのハードウェアをベンチマークして最適なバッチサイズを決定し、修正プロセスを実行します。これにはハードウェアやモデルのアーキテクチャに応じて20分から45分かかります。Hereticはモデル修正のための合理化されたアプローチを提供しますが、ユーザーは潜在的な制限に注意する必要があります。アブリタレーションはモデルの内部状態を修正して拒否メカニズムを回避しますが、初期訓練時にモデルにエンコードされていなかった情報が復元されるわけではありません。さらに、KLダイバージェンスの指標は修正後のモデルが元のモデルと同様の性能特性を保持していることを示唆していますが、これらの自動化されたベンチマークでは、推論における質的な変化や、以前は回避するように訓練されていた応答を生成させられた際に発生するハルシネーション（幻覚）の可能性を完全には捉えきれない場合があります。
この記事では、モデルの重みを修正して安全性に関連する拒否行動を取り除くアブリタレーションのプロセスを自動化するコマンドラインツールとして、Hereticを紹介しています。