Hardware · 25 ago
El acelerador 3D-DRAM Raptor de d-Matrix en Hot Chips 2026 muestra que la inferencia de IA es un problema de movimiento de memoria
Raptor es una lente de desmontaje útil para entender por qué el hardware de inferencia generativa se está diseñando en torno a la localidad de los datos, no solo a las unidades matemáticas.
- Trata la inferencia de IA como un problema de movimiento de memoria antes de comparar afirmaciones de cómputo.
- Vigila el crecimiento de la caché KV, porque el contexto largo y el tamaño de lote pueden dominar las necesidades de hardware de servicio.
- Evalúa los diseños apilados en 3D por ancho de banda, potencia, resiliencia y comportamiento térmico bajo cargas de trabajo reales.