DeepXは、5W未満の消費電力を目標としながら、最大1000億パラメータのモデルに対するAI推論を処理するために設計された第2世代チッププロジェクトを発表した。LPDDR5X Processing-in-Memory（PIM）技術を統合することで、主にビジョンタスクに使用されていた第1世代ハードウェアと比較して6.7倍の性能向上を実現したと同社は主張している。
ハードウェアアーキテクチャと性能の主張
DeepXの新しいプロジェクトの中核は、LPDDR5X PIMへの移行である。これは、データ移動のボトルネックを削減するためにメモリモジュール内で直接計算を実行する技術である。主要な情報源によると、このアーキテクチャは電力効率に焦点を当てた大規模モデルの推論をサポートすることを目的としている。
同社は80 TOP/sの演算性能と150 GB/sのメモリ帯域幅という目標数値を報告している。これらの仕様は、毎秒10〜30トークンの推論速度を促進することを意図しているが、これらの数値を達成するために使用される正確な精度（INT4やFP16など）については、情報源は明記していない。
MoEの最適化とパラメータのスケーリング
見出しでは1000億パラメータが強調されているが、このような大規模な高密度モデルをこのハードウェアで実行する技術的な実現可能性については議論の余地がある。Hacker Newsのコメントでは、このチップは推論中に全パラメータのわずか一部のみをアクティブにするMixture-of-Experts（MoE）モデル向けに設計されている可能性が高いと指摘されている。
具体的には、このハードウェアは、いかなる時点でも30億から200億のアクティブパラメータを利用することで、合計200億から1000億のパラメータを持つモデルを処理できることが期待されている。この区別は極めて重要であり、高密度アーキテクチャのような線形な計算要件を必要とせずに、1000億規模のモデルを扱うことを可能にするためである。
技術的な制約と電力の現実
Hacker Newsの議論では、プロジェクトの現在の状態に関するいくつかの技術的制限が特定された。augment_meというハンドルネームのコメント投稿者は、報告されている性能数値はシミュレーションによるものであり、コンパイラは製品版ではなくプロトタイプであると指摘した。
さらに、5Wというマーケティング上の主張と、高性能タスクに必要な実際の電力要件との間には乖離がある。あるコメント投稿者は、性能数値を達成するには実際には約13.5W（ベース電力の2.7倍）を必要とする可能性があり、5Wという数値は40億パラメータ未満のより小さなモデルにのみ適用される可能性があると指摘した。
トレードオフと今後の展望
「コンピュート・イン・メモリ」への移行は大幅な効率向上をもたらすが、コストの増加を伴う可能性がある。あるコメント投稿者は、PIMモジュールの複雑さにより、このアーキテクチャはメモリ価格の高騰を招く可能性があると示唆した。
さらに、このチップの消費者向けハードウェアと比較した相対的な性能は、依然として分析の対象となっている。コメント投稿者らは、このチップは効率的ではあるものの、メモリ帯域幅がFP16精度での大規模モデルの処理能力を制限する可能性があり、特定の家庭用AIアプリケーションや特定のMoE構成により適している可能性があると観察した。