Qualcommは、データセンターおよびクラウドアプリケーション向けに設計された150WのAIアクセラレータカード、Cloud AI 100 Ultraを発表しました。このハードウェアは、128GBのメモリ容量と548GB/sのメモリ帯域を特徴としています。これらの仕様は、一部のハイエンドなコンシューマー向けおよびエンタープライズ向けチップと比較すると控えめに見えるかもしれませんが、このカードはAI推論パイプライン内の特定のワークロードに向けた専門的なツールとして位置付けられています。

このカードのアーキテクチャは、パフォーマンスと容量のバランスをとるためにハイブリッドメモリアプローチを採用しています。コミュニティの議論によると、このアクセラレータは128GBのRAMを補完するために、0.5テラバイトのSRAMを組み込んでいます。この設計の選択は、メモリ帯域が低くても、AppleのMシリーズチップなどの一部の競合製品よりも高いTOPSをハードウェアが達成するというトレードオフを反映しています。この構成は、HBM（High Bandwidth Memory）システムに通常関連付けられる大規模なスループットよりも、計算密度の向上に焦点を当てていることを示唆しています。

実用的なアプリケーションにおいて、Cloud AI 100 Ultraは、初期の入力トークンを処理するために高い計算能力を必要とする、現代の推論スタックの「プリフィル」段階に特に適していると特定されています。一方で、より高いメモリ帯域を求めることが多い「デコード」段階にはそれほど最適化されていません。一部の観察者は仕様が古くなっているのではないかと疑問を呈していますが、このチップは2024年に発売され、現在はCirrascaleなどのクラウドプロバイダーを通じて利用可能です。しかし、548GB/sの帯域が、スペックシートに記載された理論値と比較して、持続的な推論負荷の下でどのように動作するかについては依然として不透明です。