हार्डवेयर · 25 अग॰
Hot Chips 2026 में d-Matrix का Raptor 3D-DRAM Accelerator दिखाता है कि AI Inference मेमोरी मूवमेंट की समस्या है
रैप्टर यह समझने के लिए एक उपयोगी विश्लेषणात्मक दृष्टिकोण है कि जनरेटिव इन्फ़रेंस हार्डवेयर को केवल गणितीय इकाइयों के बजाय डेटा लोकैलिटी के आधार पर क्यों डिज़ाइन किया जा रहा है।
- कंप्यूट दावों की तुलना करने से पहले AI इन्फरेंस को मेमोरी मूवमेंट की समस्या के रूप में देखें।
- KV कैश की वृद्धि पर ध्यान दें, क्योंकि लंबा कॉन्टेक्स्ट और बैच साइज सर्विंग हार्डवेयर आवश्यकताओं पर हावी हो सकते हैं।
- वास्तविक वर्कलोड के तहत बैंडविड्थ, पावर, रेज़िलिएंस और थर्मल व्यवहार के आधार पर 3D-स्टैक्ड डिज़ाइनों का मूल्यांकन करें।