Perangkat keras · 25 Agu
Akselerator Raptor 3D-DRAM dari d-Matrix di Hot Chips 2026 Menunjukkan Inferensi AI Adalah Masalah Perpindahan Memori
Raptor adalah lensa pembongkaran yang berguna untuk memahami mengapa perangkat keras inferensi generatif dirancang dengan berpusat pada lokalitas data, bukan hanya unit matematika.
- Perlakukan inferensi AI sebagai masalah pergerakan memori sebelum membandingkan klaim komputasi.
- Perhatikan pertumbuhan cache KV, karena konteks panjang dan ukuran batch dapat mendominasi kebutuhan perangkat keras serving.
- Evaluasi desain bertumpuk 3D berdasarkan bandwidth, daya, ketahanan, dan perilaku termal di bawah beban kerja nyata.