Análise do Movimento de Memória d-Matrix Raptor 3D-DRAM

O mais interessante sobre o Raptor da d-Matrix não é a lógica do acelerador. É o trajeto. Cada token gerado é uma pequena tarefa de entrega, e o hardware moderno de inferência é cada vez mais julgado pela distância que esse entregador precisa carregar as compras antes que o jantar esfrie. Mais computação ainda importa, mas o drama está se movendo para a movimentação de memória, onde capacitância, distância, largura de banda e calor se comportam como contadores muito pequenos conferindo cada transação.

A barreira da memória entra em cena ServeTheHome informou que

a d-Matrix apresentou seu acelerador Raptor 3D-DRAM para inferência generativa no Hot Chips 2026, e o enquadramento foi agradavelmente físico: os pesos dos modelos continuam crescendo, enquanto a demanda de cache KV escala com o comprimento do contexto multiplicado pelo tamanho do lote. A granada escondida na análise do ServeTheHome é que 64 usuários com contexto de 1M podem significar aproximadamente 935 GB de cache KV. Isso já não é mais um cache bonitinho. É um armazém com doca de carga e um problema de agendamento. O artigo sobre o silício inicial do Raptor coloca a mesma ideia com botas de segurança acadêmicas, afirmando que “a inferência generativa é em grande parte limitada pela memória”. Segundo o artigo, a decodificação autorregressiva domina o tempo de execução da inferência e impulsiona as demandas de largura de banda e capacidade de memória. Tradução para qualquer pessoa comprando ou construindo sistemas de inferência: se o acelerador tem unidades matemáticas orgulhosas, mas continua buscando o estado do modelo como um adolescente procurando um carregador perdido, o usuário sente latência, não uma bela ficha técnica.

O ângulo do desmonte: coloque a despensa embaixo da cozinha

O Igor'sLAB descreve o Raptor como um projeto 3D-DRAM que empilha memória abaixo da lógica de computação, enquanto o artigo do Raptor descreve lógica empilhada em 3D sobre DRAM como uma forma de fechar uma lacuna desagradável entre as opções de memória existentes. A comparação do artigo é a parte importante: aceleradores baseados em SRAM podem oferecer alta largura de banda, mas capacidade limitada, enquanto a DRAM HBM fornece capacidade, mas é limitada por largura de banda e energia. Isso é o equivalente em hardware a escolher entre um chef minúsculo com teletransporte e uma despensa gigante a três quarteirões de distância.

A tese do Raptor não é simplesmente parafusar mais memória perto de um chip e dar o assunto por encerrado. É transformar a localidade dos dados no enredo de todo o filme de assalto. O cofre é o cache KV, o motorista da fuga é a largura de banda, e cada viagem desnecessária por uma interface de memória é um segurança com uma prancheta. Se os dados ficam mais perto de onde a matemática acontece, cada token tem menos pedágios para atravessar.

A especificação escondida é

a largura de banda O artigo do Raptor diz que sua abordagem de bloqueio de fluxos mapeia fluxos de cache KV para canais 3D-DRAM configuráveis, sustentando até 100 TB/s por placa enquanto preserva o paralelismo no nível dos bancos. O Igor'sLAB também destaca o número de 100 TB/s em sua cobertura do Raptor. Esse é o número da especificação para circular em vermelho, porque fala diretamente com o fornecimento de tokens, contexto longo e comportamento em lotes, em vez de apenas teatro de computação de pico.

Vamos falar sobre o que o slide de TOPS não consegue salvar. A inferência muitas vezes é um problema de logística de memória vestindo uma fantasia de computação, especialmente durante a decodificação. Um sistema pode ter uma densidade aritmética impressionante, mas, se não consegue manter pesos e cache KV se movendo de forma eficiente, as unidades aritméticas ficam paradas como carros de corrida esperando alguém destrancar a garagem. Para quem constrói sistemas, isso significa que as perguntas de benchmark devem começar por largura de banda de memória, capacidade utilizável, comportamento de latência e energia no subsistema de memória, não apenas pela computação chamativa do título.

A parte difícil não é mágica,

é física de encapsulamento O artigo do Raptor é útil porque não finge que 3D-DRAM é uma varinha de condão. Ele lista quatro desafios de integração: mapeamento consciente da carga de trabalho para explorar paralelismo, otimização de energia sem inversão de barramento de dados baseada em rajadas, resiliência com altas contagens de bancos e confiabilidade térmica em temperaturas de junção elevadas. O calor é o lugar onde o otimismo vai preencher relatórios de incidente, e a confiabilidade térmica em estruturas empilhadas merece análise real, porque a proximidade é tanto o truque quanto o imposto.

O mesmo artigo diz que o Raptor introduz recursos arquiteturais destinados a tornar viável a integração prática de 3D-DRAM, incluindo DBI sem pinos em uma interface µbump de ciclo único para reduzir a energia do subsistema de memória. Essa é uma frase profundamente de hardware, mas a versão para o leitor é simples: mover menos dados é bom, e tornar cada movimento mais barato é ainda melhor. O futuro do silício de inferência não será vencido apenas por quem gritar o maior número de computação. Observe quem consegue alimentar o modelo sem transformar o sistema de memória em um aquecedor com faturas.

Para leitores que acompanham infraestrutura de IA, o Raptor é uma placa de sinalização. As próximas comparações significativas devem perguntar como os aceleradores lidam com o crescimento do cache KV, se designs de memória empilhada permanecem termicamente honestos sob cargas reais de serviço e quanto da largura de banda prometida é utilizável por cargas de trabalho reais de inferência generativa. Os chips mais importantes talvez sejam aqueles que tornam a movimentação de dados entediante, porque, em hardware, o entediante muitas vezes é o som da vitória.