DeepX 揭晓了一项第二代芯片项目，旨在处理高达 1000 亿参数模型的 AI 推理，同时目标功耗低于 5 W。通过集成 LPDDR5X 存內计算 (PIM) 技术，该公司声称其性能比主要用于视觉任务的第一代硬件提升了 6.7 倍。
硬件架构与性能主张
DeepX 新项目的核心是转向 LPDDR5X PIM，这是一种直接在内存模块内执行计算的技术，旨在减少数据传输瓶颈。根据主要来源，该架构旨在支持大规模模型推理，并重点关注能效。
该公司报告的性能目标为 80 TOP/s 和 150 GB/s 的内存带宽。这些规格旨在实现每秒 10 到 30 个 token 的推理速度，尽管来源并未指明实现这些数字所使用的确切精度（如 INT4 或 FP16）。
MoE 优化与参数扩展
虽然标题强调了 1000 亿参数，但在该硬件上运行如此庞大的稠密模型的技术可行性仍是一个讨论点。Hacker News 上的评论者指出，该芯片很可能是为混合专家 (MoE) 模型设计的，这些模型在推理过程中仅激活总参数的一小部分。
具体而言，该硬件预计通过在任何给定时间利用 30 亿到 200 亿个活跃参数，来处理总参数为 200 亿到 1000 亿的模型。这一区别至关重要，因为它允许在不具备稠密架构线性计算需求的情况下实现 1000 亿模型规模。
技术限制与功耗现实
在 Hacker News 的讨论中，识别出了关于该项目当前状态的几个技术限制。一位以 augment_me 为名的评论者指出，报告的性能数字是模拟的，且编译器是原型而非生产就绪的工具。
此外，5 W 的营销宣传与高性能任务的实际功耗需求之间存在差异。一位评论者指出，这些性能数据实际上可能需要约 13.5 W（是基础功耗的 2.7 倍），且 5 W 的数字可能仅适用于 40 亿参数以下的较小模型。
权衡与未来展望
向“存內计算”的转变提供了显著的效率提升，但可能伴随成本增加。一位评论者建议，由于 PIM 模块的复杂性，这种架构可能会导致更高的内存价格。
此外，该芯片与消费级硬件的相对性能仍是一个分析点。评论者观察到，虽然该芯片效率很高，但其内存带宽可能会限制其处理 FP16 精度的模型能力，这可能使其更适合专门的家庭 AI 应用或特定的 MoE 配置。