Apple 推出了 Foundation Models 框架,这是一个原生 Swift API,旨在简化开发者将大型语言模型 (LLMs) 集成到其应用程序中的方式。通过提供统一的接口,该框架允许开发者在本地端侧模型和远程服务器端模型之间进行切换,而无需重写核心逻辑,显著降低了构建复杂的、多模型 AI 体验的门槛。

统一访问端侧和云端模型

Foundation Models 框架提供了一种标准化的方式来与各种 LLM 进行交互。它为开发者提供直接访问驱动 Apple Intelligence 的端侧基础模型的权限,这些模型非常适合需要高隐私性和离线功能的任务。

Foundation Models 框架架构的概念图。
Foundation Models 框架为集成各种 LLM 提供统一接口。developer.apple.com

这张图片展示了该框架用于模型集成的统一接口的核心概念。

对于更复杂的工作流,该框架扩展到包括 Claude 和 Gemini 在内的服务器端模型。这是通过“语言模型”协议实现的,这是一个基础组件,允许任何提供商创建 Swift 包以加入该生态系统。

“Foundation Models 框架是在您的应用中使用任何大型语言模型的最佳方式。”

— Foundation Models framework - Apple Developer

多模态能力和动态配置文件

该框架将其图像理解能力直接与 Vision 框架集成。这使得应用程序只需将图像附加到文本提示词中,即可执行诸如文本提取的 OCR 或条形码扫描等任务。

框架图像理解能力的视觉演示。
该框架与 Vision 框架集成,以实现 OCR 等多模态任务。developer.apple.com

此视觉效果支持对框架如何处理图像理解和多模态提示词的解释。

一项核心创新是“动态配置文件”,它们是用于动态更新会话模型、工具和指令的声明式 API。由于会话转录在配置文件切换之间共享,应用程序可以在更改底层推理水平或工具集的同时保持上下文。

开发者工具和成本考量

为了辅助测试,Apple 包含了评估框架来帮助开发者“爬坡”并优化提示词。此工具旨在捕捉在切换模型或调整配置文件时,标准单元测试可能遗漏的行为不一致性。

虽然该框架提供了广泛的访问权限,但云端使用有特定的成本结构。加入 App Store 小型企业计划且首次下载量少于 200 万的开发者,可以在 Private Cloud Compute 上访问 Apple Foundation Models,且无需支付云端 API 费用。

用于模型执行的 Private Cloud Compute 视觉表示。
Private Cloud Compute 为运行复杂模型提供安全环境。developer.apple.com

这张图片与框架利用 Private Cloud Compute 进行服务器端模型执行的能力相关。