Analyse des mouvements de mémoire de la 3D-DRAM d-Matrix Raptor

Ce qu’il y a de plus intéressant dans Raptor de d-Matrix, ce n’est pas la logique de l’accélérateur. C’est le trajet. Chaque jeton généré est une minuscule mission de coursier, et le matériel d’inférence moderne est de plus en plus jugé à la distance que ce coursier doit parcourir avec les courses avant que le dîner ne refroidisse. Davantage de calcul compte toujours, mais le vrai suspense se déplace vers les mouvements de mémoire, là où la capacitance, la distance, la bande passante et la chaleur se comportent comme de tout petits comptables qui vérifient chaque transaction.

Le mur de la mémoire entre en scène ServeTheHome

a rapporté que d-Matrix avait présenté son accélérateur Raptor 3D-DRAM pour l’inférence générative à Hot Chips 2026, avec un cadrage agréablement concret : les poids des modèles continuent de grossir, tandis que la demande en cache KV augmente avec la longueur de contexte multipliée par la taille de lot. La grenade enfouie dans l’article de ServeTheHome, c’est que 64 utilisateurs avec un contexte de 1M peuvent représenter environ 935 Go de cache KV. Ce n’est plus un petit cache mignon. C’est un entrepôt avec un quai de chargement et un problème de planification. L’article sur le silicium précoce de Raptor formule la même idée en bottes de sécurité académiques, en déclarant que « l’inférence générative est largement limitée par la mémoire ». Selon l’article, le décodage autorégressif domine le temps d’exécution de l’inférence et entraîne des besoins élevés en bande passante et en capacité mémoire. Traduction pour quiconque achète ou construit des systèmes d’inférence : si l’accélérateur possède des unités de calcul dont il est fier mais continue d’aller chercher l’état du modèle comme un adolescent cherchant un chargeur égaré, l’utilisateur ressent de la latence, pas de jolies fiches techniques.

L’angle du démontage : mettre le garde-manger sous la cuisine Igor'sLAB décrit

Raptor comme une conception 3D-DRAM qui empile la mémoire sous la logique de calcul, tandis que l’article sur Raptor décrit la logique empilée en 3D sur de la DRAM comme un moyen de combler un vilain écart entre les choix de mémoire existants. La comparaison de l’article est la plus importante : les accélérateurs à base de SRAM peuvent offrir une bande passante élevée mais une capacité limitée, tandis que la DRAM HBM fournit de la capacité mais reste contrainte par la bande passante et la puissance. C’est l’équivalent matériel de choisir entre un minuscule chef capable de se téléporter et un immense garde-manger situé trois rues plus loin. La thèse de Raptor ne consiste pas simplement à boulonner plus de mémoire près d’une puce et à considérer le problème réglé. Elle consiste à faire de la localité des données l’intrigue de tout le film de braquage. Le coffre-fort, c’est le cache KV, le chauffeur de fuite, c’est la bande passante, et chaque trajet inutile à travers une interface mémoire est un agent de sécurité avec un bloc-notes. Si les données vivent plus près de l’endroit où se fait le calcul, chaque jeton a moins de péages à franchir.

La spécification cachée, c’est

la bande passante L’article sur Raptor indique que son approche de blocage de flux associe les flux de cache KV à des canaux 3D-DRAM configurables, en maintenant jusqu’à 100 To/s par carte tout en préservant le parallélisme au niveau des banques. Igor'sLAB met aussi en avant le chiffre de 100 To/s dans sa couverture de Raptor. C’est le nombre à entourer en rouge, car il parle directement du service de jetons, des longs contextes et du comportement par lots, plutôt que du simple théâtre du calcul de pointe. Parlons de ce que la diapositive TOPS ne peut pas sauver. L’inférence est souvent un problème de logistique mémoire déguisé en problème de calcul, surtout pendant le décodage. Un système peut avoir une densité arithmétique impressionnante, mais s’il ne peut pas faire circuler efficacement les poids et le cache KV, les unités arithmétiques restent là comme des voitures de course attendant que quelqu’un ouvre le garage. Pour les constructeurs, cela signifie que les questions de benchmark devraient commencer par la bande passante mémoire, la capacité utilisable, le comportement de latence et la puissance du sous-système mémoire, pas seulement par le calcul affiché en gros titre.

La partie difficile n’est pas magique, c’est de

la physique d’encapsulation L’article sur Raptor est utile parce qu’il ne fait pas semblant que la 3D-DRAM est une baguette magique. Il énumère quatre défis d’intégration : une cartographie adaptée à la charge de travail pour exploiter le parallélisme, l’optimisation de la puissance sans inversion de bus de données basée sur les rafales, la résilience avec un grand nombre de banques, et la fiabilité thermique à des températures de jonction élevées. La chaleur, c’est l’endroit où l’optimisme va remplir des rapports d’incident, et la fiabilité thermique dans les structures empilées mérite un examen sérieux, parce que la proximité est à la fois l’astuce et la taxe. Le même article affirme que Raptor introduit des fonctionnalités architecturales destinées à rendre praticable l’intégration de 3D-DRAM, notamment le DBI sans broches sur une interface µbump à cycle unique afin de réduire l’énergie du sous-système mémoire. C’est une phrase très matérielle, mais la version lecteur est simple : déplacer moins de données, c’est bien, et rendre chaque déplacement moins coûteux, c’est encore mieux. L’avenir du silicium d’inférence ne sera pas gagné uniquement par celui qui crie le plus grand nombre de calcul. Regardez qui peut alimenter le modèle sans transformer le système mémoire en radiateur électrique avec factures. Pour les lecteurs qui suivent l’infrastructure IA, Raptor est un panneau indicateur. Les prochaines comparaisons vraiment utiles devraient demander comment les accélérateurs gèrent la croissance du cache KV, si les conceptions à mémoire empilée restent thermiquement honnêtes sous de vraies charges de service, et quelle part de la bande passante annoncée est utilisable par de vraies charges d’inférence générative. Les puces qui comptent le plus pourraient être celles qui rendent les mouvements de données ennuyeux, parce que dans le matériel, l’ennui ressemble souvent au son de la victoire.