Magnitude 是一个开源桌面应用，被呈现为 AI 代理的推理引擎。根据其 GitHub 仓库，它在模型运行前会根据用户的具体硬件自动编译和调优推理内核，从而消除了其他引擎使用的通用预编译内核导致的性能差距。该软件以即用型应用形式发布，内置 magnitude CLI，无需单独安装，并支持一键连接 Pi、OpenCode、Hermes、Codex 等代理。

该项目声称，这种自优化可使速度达到 llama.cpp 的两倍，引用基准测试结果表明：在 Apple Silicon 的 Metal API 上 token 解码快 92%，在 NVIDIA 的 CUDA 上解码快 19%；Metal 上预填充快 9%，CUDA 上预填充快 23%。此外，每个代理的内存消耗降低 27%，代理停止时内存会被释放，并发会话共享前缀缓存以防止减速。这些改善归因于为最流行的开放权重模型家族手工优化的内核。

Magnitude 与 llama.cpp 性能对比的柱状图，展示了在 Metal 和 CUDA 上的速度提升
Magnitude 在 Apple Silicon 和 NVIDIA GPU 上相比 llama.cpp 实现了最高 92% 更快的解码和 23% 更快的预填充github.com

该图像展示了文章中提到的基准声明，展示了 Magnitude 在 Metal 和 CUDA API 上相对于 llama.cpp 在预填充和解码任务上的速度优势.

Magnitude 支持 Apple Silicon、NVIDIA、AMD GPU 以及仅 CPU 系统，且没有固定的硬件最低要求；性能较低的机器可运行较小的模型，内存越大则可运行越大的模型。该软件可在 macOS、Linux 和 Windows 上使用，可通过 OpenAI 兼容 API 或一键集成方式与任何代理配合使用。该引擎强调隐私：提示、文件和模型始终保留在用户本地机器上，模型下载后无需互联网连接。它采用 Apache 2.0 许可证发布，免费使用。