Magnitudeは、AIエージェント向けの推論エンジンとして紹介されるオープンソースのデスクトップアプリケーションです。GitHubリポジトリによると、モデルが実行される前にユーザー固有のハードウェアに合わせて推論カーネルを自動的にコンパイルおよびチューニングし、他のエンジンが使用する汎用のプリコンパイルカーネルによる性能ギャップを解消します。このソフトウェアはmagnitude CLIを含むすぐに実行可能なアプリとして提供され、別途インストールは不要で、Pi、OpenCode、Hermes、Codexなどのエージェントへのワンクリック接続を可能にします。
プロジェクトは、この自己最適化によりllama.cppの最大2倍の速度向上を達成すると主張しています。ベンチマーク結果によると、Apple SiliconのMetal APIではトークンデコードが92%高速化され、NVIDIAのCUDAでは19%高速化され、さらにMetalではプリフィルが9%高速化され、CUDAでは23%高速化されています。また、各エージェントのメモリ消費量が27%削減され、エージェントが停止するとメモリが解放され、同時実行セッションではプリフィックスキャッシュを共有して低速化を防ぐと説明しています。これらの向上は、最も人気のあるオープンウェイトモデルファミリー向けに手で最適化されたカーネルによるものです。
この画像は記事で言及されているベンチークレームを視覚化し、MetalおよびCUDA APIにおけるプリフィルおよびデコードの両方でllama.cppに対するMagnitudeの速度優位性を示しています。
Magnitudeは固定のハードウェア最小要件なく、Apple Silicon、NVIDIA、AMD GPU、およびCPU専用システムをサポートします。性能の低いマシンでは小さなモデルを実行し、メモリが多いほど大きなモデルを動かすことができます。このソフトウェアはmacOS、Linux、およびWindowsで利用可能であり、OpenAI互換APIまたはワンクリック統合を通じて任意のエージェントと使用できます。プライバシーを重視し、プロンプト、ファイル、モデルはユーザーのマシンに残り、モデルのダウンロード後はインターネット接続は不要です。Apache 2.0ライセンスでリリースされ、無料で利用できます。