Apple 正在开发名为 'Harbor' 的应用，用于集群化 Mac 硬件以进行本地 AI 推理

Apple 正在开发一款名为 Harbor 的新 Mac 应用程序，旨在将个人电脑转换为私有 AI 推理服务器，数据永远不会离开本地硬件。通过利用 Apple silicon，该应用旨在为用户提供一种无缝的方式来运行开放权重模型，而无需依赖云端基础设施。

文章讨论了 Apple 的新 Harbor 应用如何利用高性能 Apple silicon 来运行本地 AI 模型。

私有推理与模型管理

Harbor 的设计旨在让用户直接在应用程序内浏览、下载和加载开放权重模型。通过保持推理过程的本地化，该应用确保用户数据保留在硬件上，不会到达云端。

该软件旨在通过自动处理模型管理来简化用户体验。这让用户能够专注于自己的具体工作，而不是基础设施设置的技术复杂性。

“Harbor 将您的 Mac 转变为私有 AI 推理服务器。”

— Apple has new Mac app coming to make running local AI models easy - 9to5Mac

通过 Thunderbolt 5 集群扩展

Harbor 的一个突出功能是它能够通过检测 Thunderbolt 5 上的多台 Mac 电脑来形成集群。此配置将连接设备的统一内存汇集为一个单一的推理资源。

这张图片展示了 Harbor 可以通过 Thunderbolt 5 集群连接的硬件，以创建私有推理服务器。

这种内存池化使系统能够运行超出任何单台电脑容量的模型，或在整个集群中处理更高数量的并发请求。该应用旨在自动化此过程，无需手动配置或基础设施专业知识。

硬件要求与本地替代方案

虽然 Harbor 提供原生 Apple 解决方案，但其他工具如 'Local Code' 已经为 Apple Silicon 提供私有 AI 代理。这些工具通常需要特定的内存阈值；例如，运行像 DeepSeek 4.1 Flash 1017 这样的大模型可能需要 96 GB 的内存，或使用 SSD 流式传输来管理内存限制。

由 HN Digest 根据 getlocalcode.app 报告的数据绘制；数值与源文件一致。

本地推理的权衡涉及巨大的硬件需求。内存容量较小的用户可能需要依赖 SSD 流式传输，该技术将模型的一部分保留在磁盘上并在需要时加载，与全内存执行相比，可能会降低性能。