Matériel · 25 août
L’accélérateur 3D-DRAM Raptor de d-Matrix à Hot Chips 2026 montre que l’inférence IA est un problème de déplacement de mémoire
Raptor est un prisme d’analyse utile pour comprendre pourquoi le matériel d’inférence générative est conçu autour de la localité des données, et pas seulement des unités de calcul.
- Traitez l’inférence IA comme un problème de déplacement de mémoire avant de comparer les affirmations sur le calcul.
- Surveillez la croissance du cache KV, car les longs contextes et la taille des lots peuvent dominer les besoins matériels de service.
- Évaluez les conceptions empilées en 3D selon la bande passante, la consommation, la résilience et le comportement thermique sous des charges de travail réelles.