3値Large Language Models（LLM）は、各重みを-1、0、+1の3つのシンボルのいずれかで表現します。理論上、これは重みあたり約1.58ビット（log2 3）という情報理論的な限界に対応します。実際の展開において、現在のほとんどのシステムは、5つの3値重みを単一のバイトに詰め込む「5トリット・パッキング」を使用しています。コンピュータのメモリは2のべき乗で構成されているため、この手法はすべての可能な3つの値を等しく可能性が高いものとして扱い、実質的にコストを重みあたり1.625ビットに切り上げています。

しかし、研究者が29種類の異なる3値LLMモデルを分析したところ、これらの重みは一様に分布しているのではなく、ゼロが全重みの最大51.5%を占める可能性があることが判明しました。この不均衡を利用するために、著者らは分布適応型レイアウトであるBITCOSを導入しました。BITCOSは、すべての重みに固定のビット数を割り当てるのではなく、高密度な存在ビットマップを使用してどの重みがゼロでないかを特定し、コンパクトな符号ベクトルを使用して残りの値を保存します。このアプローチにより、モデルのストレージコストは、特定のゼロ密度（z）に基づいて、重み要素あたり`2 - z`ビットとしてスケールします。テストされた一部のモデルでは、これにより有効なビット幅を重みあたり低くとも1.485ビットまで削減することができました。

標準的なパッキングからBITCOSへの移行は、さまざまなハードウェアプラットフォームにおいて測定可能なパフォーマンスの向上をもたらします。研究では、現実的なゼロ密度において、提案されたレイアウトは、生産段階の最先端カーネルと比較して、行列ベクトル積において最大1.28倍の利得を達成したことがわかりました。さらに、エンドツーエンドの推論テストでは、CPUで最大1.18倍、Intel Xe2 GPUで最大1.27倍のデコードスループットの向上が示されました。BITCOSは非常に効率的ですが、計算中にこれらの速度上の利点を維持するためには、AVX-512やIntel Xe2 GPUなどのアーキテクチャに最適化された特殊なアンパッキングシーケンスを必要とします。今後の課題として、将来のカスタムシリコン（ASIC）がBITCOS形式をネイティブにサポートするように設計された場合、ソフトウェアベースのアンパッキングを完全に排除することで、どれほどの効率向上が得られるかが重要な未解決の問いとして残っています。