Hardware · 25 de ago.
Acelerador Raptor 3D-DRAM da d-Matrix no Hot Chips 2026 mostra que a inferência de IA é um problema de movimentação de memória
Raptor é uma lente útil de desmontagem para entender por que o hardware de inferência generativa está sendo projetado em torno da localidade dos dados, e não apenas das unidades matemáticas.
- Trate a inferência de IA como um problema de movimentação de memória antes de comparar alegações de computação.
- Observe o crescimento do cache KV, pois contextos longos e tamanho de lote podem dominar as necessidades de hardware de servidor.
- Avalie designs 3D empilhados por largura de banda, consumo de energia, resiliência e comportamento térmico sob cargas de trabalho reais.