Analisis Pergerakan Memori 3D-DRAM d-Matrix Raptor

Hal paling menarik tentang Raptor dari d-Matrix bukanlah logika akseleratornya. Melainkan perjalanan datanya. Setiap token yang dihasilkan adalah pekerjaan kurir kecil, dan perangkat keras inferensi modern semakin dinilai dari seberapa jauh kurir itu harus membawa belanjaan sebelum makan malam menjadi dingin. Komputasi yang lebih besar tetap penting, tetapi dramanya bergeser ke pergerakan memori, tempat kapasitansi, jarak, bandwidth, dan panas bertindak seperti akuntan sangat kecil yang memeriksa setiap transaksi.

Dinding memori naik ke panggung

ServeTheHome melaporkan bahwa d-Matrix mempresentasikan akselerator Raptor 3D-DRAM untuk inferensi generatif di Hot Chips 2026, dan sudut pandangnya terasa segar karena sangat fisik: bobot model terus membesar, sementara kebutuhan KV cache bertambah mengikuti panjang konteks dikalikan ukuran batch. Granat tersembunyi dalam tulisan ServeTheHome adalah bahwa 64 pengguna pada konteks 1M dapat berarti sekitar 935 GB KV cache. Itu bukan cache mungil lagi. Itu gudang dengan dok pemuatan dan masalah penjadwalan.

Makalah silikon awal Raptor menyampaikan gagasan yang sama dengan nada akademis yang lebih tegas, dengan menyatakan bahwa "Generative Inference is largely memory-bound." Menurut makalah tersebut, decoding autoregresif mendominasi runtime inferensi dan mendorong kebutuhan bandwidth serta kapasitas memori. Terjemahannya untuk siapa pun yang membeli atau membangun sistem inferensi: jika akselerator punya unit matematika yang membanggakan tetapi terus mengambil state model seperti remaja yang mencari charger yang terselip, pengguna akan merasakan latensi, bukan spesifikasi yang indah.

Sudut bongkarnya: taruh dapur penyimpanan tepat di bawah

dapur masak Igor'sLAB menggambarkan Raptor sebagai desain 3D-DRAM yang menumpuk memori di bawah logika komputasi, sementara makalah Raptor menjelaskan logic-on-DRAM bertumpuk 3D sebagai cara untuk menutup celah buruk di antara pilihan memori yang ada. Perbandingan dalam makalah itu adalah bagian pentingnya: akselerator berbasis SRAM dapat menawarkan bandwidth tinggi tetapi kapasitas terbatas, sementara HBM DRAM menyediakan kapasitas tetapi dibatasi oleh bandwidth dan daya. Itu setara perangkat keras dari memilih antara koki mungil yang bisa teleportasi dan gudang bahan raksasa yang jaraknya tiga blok.

Tesis Raptor bukan sekadar menempelkan lebih banyak memori di dekat chip lalu selesai. Idenya adalah menjadikan lokalitas data sebagai plot seluruh film perampokan. Brankasnya adalah KV cache, pengemudi pelariannya adalah bandwidth, dan setiap perjalanan yang tidak perlu melewati antarmuka memori adalah satpam dengan papan klip. Jika data tinggal lebih dekat ke tempat perhitungan terjadi, setiap token punya lebih sedikit gerbang tol untuk dilewati.

Spesifikasi yang tersembunyi adalah bandwidth

Makalah Raptor mengatakan pendekatan stream-blocking miliknya memetakan aliran KV-cache ke kanal 3D-DRAM yang dapat dikonfigurasi, mempertahankan hingga 100 TB/s per kartu sambil menjaga paralelisme tingkat bank. Igor'sLAB juga menyoroti angka 100 TB/s dalam liputannya tentang Raptor. Angka itulah spesifikasi yang perlu dilingkari merah, karena berbicara langsung tentang penyajian token, konteks panjang, dan perilaku batch, bukan hanya teater komputasi puncak.

Mari bicara tentang apa yang tidak bisa diselamatkan oleh slide TOPS. Inferensi sering kali merupakan masalah logistik memori yang memakai kostum komputasi, terutama saat decoding. Sebuah sistem bisa memiliki kepadatan aritmetika yang mengesankan, tetapi jika tidak bisa memindahkan bobot dan KV cache secara efisien, unit aritmetik hanya duduk seperti mobil balap yang menunggu seseorang membuka garasi. Bagi para pembangun, ini berarti pertanyaan benchmark sebaiknya dimulai dari bandwidth memori, kapasitas yang benar-benar dapat digunakan, perilaku latensi, dan daya pada subsistem memori, bukan hanya komputasi utama yang ditulis besar-besar.

Bagian sulitnya bukan sihir, melainkan fisika pengemasan

Makalah Raptor berguna karena tidak berpura-pura bahwa 3D-DRAM adalah tongkat peri. Makalah itu mencantumkan empat tantangan integrasi: pemetaan yang sadar beban kerja untuk memanfaatkan paralelisme, optimasi daya tanpa data bus inversion berbasis burst, ketahanan dengan jumlah bank yang tinggi, dan keandalan termal pada suhu junction yang meningkat. Panas adalah tempat optimisme pergi untuk mengisi laporan insiden, dan keandalan termal dalam struktur bertumpuk layak diperiksa serius karena kedekatan adalah trik sekaligus biayanya.

Makalah yang sama mengatakan Raptor memperkenalkan fitur arsitektural yang dimaksudkan untuk membuat integrasi 3D-DRAM praktis dapat berjalan, termasuk DBI tanpa pin pada antarmuka µbump satu siklus untuk mengurangi energi subsistem memori. Itu kalimat perangkat keras yang sangat pekat, tetapi versi pembacanya sederhana: memindahkan data lebih sedikit itu baik, dan membuat setiap perpindahan lebih murah itu bahkan lebih baik.

Masa depan silikon inferensi tidak akan dimenangkan hanya oleh siapa pun yang meneriakkan angka komputasi terbesar. Perhatikan siapa yang bisa memberi makan model tanpa mengubah sistem memori menjadi pemanas ruangan yang membawa tagihan. Bagi pembaca yang mengikuti infrastruktur AI, Raptor adalah penanda arah. Perbandingan bermakna berikutnya harus menanyakan bagaimana akselerator menangani pertumbuhan KV cache, apakah desain memori bertumpuk tetap jujur secara termal di bawah beban penyajian nyata, dan seberapa banyak bandwidth yang diklaim benar-benar dapat digunakan oleh beban kerja inferensi generatif sungguhan. Chip yang paling berarti mungkin adalah chip yang membuat pergerakan data terasa membosankan, karena dalam perangkat keras, membosankan sering kali terdengar seperti kemenangan.