Qualcomm ha presentado el Cloud AI 100 Ultra, una tarjeta aceleradora de IA de 150W diseñada para aplicaciones en centros de datos y en la nube. El hardware se caracteriza por una capacidad de memoria de 128GB y un ancho de banda de memoria de 548GB/s. Si bien estas especificaciones pueden parecer modestas en comparación con algunos chips de consumo y de nivel empresarial de gama alta, la tarjeta se posiciona como una herramienta especializada para cargas de trabajo específicas dentro del flujo de inferencia de IA.
La arquitectura de la tarjeta utiliza un enfoque de memoria híbrida para equilibrar el rendimiento y la capacidad. Según las discusiones de la comunidad, el acelerador incorpora medio terabyte de SRAM para complementar los 128GB de RAM. Esta elección de diseño refleja un compromiso en el que el hardware logra TOPS más altos que algunos competidores, como los chips serie M de Apple, a pesar de tener un ancho de banda de memoria inferior. Esta configuración sugiere un enfoque en la densidad de cómputo en lugar del enorme rendimiento que suele asociarse con los sistemas HBM (High Bandwidth Memory).
En la aplicación práctica, el Cloud AI 100 Ultra se identifica como particularmente adecuado para la etapa de 'prellenado' de las pilas de inferencia modernas, la cual requiere una gran potencia de cómputo para procesar los tokens de entrada iniciales. Es menos optimizado para la etapa de 'decodificación', que a menudo exige un mayor ancho de banda de memoria. Aunque algunos observadores han cuestionado si las especificaciones están desactualizadas, el chip se lanzó en 2024 y está disponible actualmente a través de proveedores de la nube como Cirrascale. Sin embargo, sigue siendo incierto cómo se comporta el ancho de banda de 548GB/s bajo cargas de inferencia sostenidas en comparación con los números teóricos proporcionados en la hoja de especificaciones.