DeepX ha presentado un proyecto de chip de segunda generación diseñado para manejar la inferencia de IA para modelos de hasta 100 mil millones de parámetros, con el objetivo de alcanzar un perfil de potencia inferior a 5 W. Al integrar la tecnología de Procesamiento en Memoria (PIM) LPDDR5X, la empresa afirma una ganancia de rendimiento de 6,7 veces sobre su hardware de primera generación, que se utilizaba principalmente para tareas de visión.
Arquitectura de Hardware y Reclamaciones de Rendimiento
El núcleo del nuevo proyecto de DeepX es el cambio hacia LPDDR5X PIM, una tecnología que realiza cálculos directamente dentro de los módulos de memoria para reducir los cuellos de botella en el movimiento de datos. Según la fuente principal, esta arquitectura está destinada a soportar la inferencia de modelos a gran escala con un enfoque en la eficiencia energética.
La empresa informa objetivos de rendimiento de 80 TOP/s y 150 GB/s de ancho de banda de memoria. Estas especificaciones están destinadas a facilitar velocidades de inferencia de 10 a 30 tokens por segundo, aunque la fuente no especifica la precisión exacta (como INT4 o FP16) utilizada para lograr estas cifras.
Optimización de MoE y Escalamiento de Parámetros
Si bien el titular destaca 100 mil millones de parámetros, la viabilidad técnica de ejecutar un modelo denso tan grande en este hardware es un punto de discusión. Los comentaristas en Hacker News señalaron que el chip probablemente está diseñado para modelos de Mezcla de Expertos (MoE), que solo activan una fracción de sus parámetros totales durante la inferencia.
Específicamente, se espera que el hardware maneje modelos con un total de 20 mil millones a 100 mil millones de parámetros utilizando entre 3 mil millones y 20 mil millones de parámetros activos en cualquier momento dado. Esta distinción es crítica porque permite la escala de un modelo de 100 mil millones sin los requisitos de computación lineal de una arquitectura densa.
Advertencias Técnicas y Realidades de Potencia
Se identificaron varias limitaciones técnicas en la discusión de Hacker News con respecto al estado actual del proyecto. Un comentarista, escribiendo como augment_me, señaló que las cifras de rendimiento reportadas son simuladas y que el compilador es un prototipo en lugar de una herramienta lista para producción.
Además, existe una discrepancia entre la afirmación de marketing de 5 W y los requisitos de potencia reales para tareas de alto rendimiento. Un comentarista señaló que las cifras de rendimiento podrían requerir en realidad aproximadamente 13,5 W (2,7 veces la potencia base), y que la cifra de 5 W podría aplicarse solo a modelos más pequeños de menos de 4 mil millones de parámetros.
Compensaciones y Perspectivas Futuras
El movimiento hacia el 'procesamiento en memoria' ofrece ganancias de eficiencia significativas pero puede conllevar costos más elevados. Un comentarista sugirió que esta arquitectura podría dar lugar a precios de memoria más altos debido a la complejidad de los módulos PIM.
Adicionalmente, el rendimiento relativo de este chip en comparación con el hardware de consumo sigue siendo un punto de análisis. Los comentaristas observaron que, si bien el chip es eficiente, su ancho de banda de memoria podría limitar su capacidad para manejar modelos grandes en precisión FP16, lo que potencialmente lo hace más adecuado para aplicaciones de IA domésticas especializadas o configuraciones específicas de MoE.