Janus は単一の実行可能な Go プログラムとして配布され、llama.cpp 推論エンジンをバンドルして GGUF 形式の言語モデルを実行します。GitHub の README によると、AMD、Intel、NVIDIA のグラフィックカードで Vulkan を通じて GPU アクセラレーションを利用でき、互換性のある Vulkan ドライバがない場合は自動的に CPU 推論にフォールバックします。プロジェクトは、ビルドには Go ツールチェーンのみが必要であり、Python や Docker といった追加のランタイム依存関係はないことを強調しています。
このロゴは、記事で説明されているプロジェクトを特定します。そのプロジェクトはシングルバイナリ配布、Vulkan サポート、OpenAI 互換 API を詳細に説明しています。
ビルド後に Janus は localhost:8990 で OpenAI 互換 API を公開し、/v1/models や /v1/chat/completions といったエンドポイントを提供します。これらはリモートサービスで使用されるのと同じ JSON ペイロードを受け付けます。ユーザーはローカルの .gguf ファイルを JANUS_MODEL_PATH 変数に指定するか、models/ フォルダーに配置し、INFERENCE_BACKEND 環境変数で vulkan、cpu、または openrouter のうちから推論バックエンドを選択します。サーバーは再起動せずにモデルのホットスワップをサポートし、GGUF メタデータからチャットテンプレートを読み取り、監視用のヘルスおよびエンジン状態エンドポイントも提供します。
README によると、現時点でプリビルドされた Vulkan バイナリが確認されているのは Linux の amd64 アーキテクチャのみで、macOS のサポートはユーザーが互換性のある libllama.dylib を提供することに依存し、未テストの状態が続いています。arm64 macOS はテストされておらず、サポート対象外としてリストされています。さらに、リポジトリの issue キューからの議論を転載しており、観察者らは llama.cpp に組み込まれたウェブサーバーと比較して Janus がどのような付加価値を提供するのか疑問を呈しています。それに加えて、vLLM や SGLang といった代替手段との比較ベンチマークが提供されていないため、長文脈のパフォーマンスや Vulkan オーバーヘッドを評価する材料が欠けていると指摘されています。