
इस लेख में (4)
बिरेन की लगभग-पैकेज्ड ऑप्टिक्स: 1,000-कार्ड एआई विश्लेषण
मुख्य बातें
- AI प्रणालियों का आकलन केवल एक्सेलेरेटर विनिर्देशों से नहीं, बल्कि इंटरकनेक्ट डिज़ाइन से करें।
- नियर-पैकेज्ड ऑप्टिक्स महत्वपूर्ण है क्योंकि डेटा मूवमेंट क्लस्टर की बाधा बनता जा रहा है।
- सुपरनोड दावों पर भरोसा करने से पहले टोपोलॉजी, लेटेंसी, पावर और सर्विसेबिलिटी विवरणों पर ध्यान दें।
एआई हार्डवेयर की दौड़ अब अलग-अलग चिप्स से हटकर ऑप्टिकल प्लंबिंग, इंटरकनेक्ट टोपोलॉजी और रैक-स्तर की आर्किटेक्चर की ओर बढ़ रही है।
एआई हार्डवेयर की दौड़ अकेली चिप्स से हटकर ऑप्टिकल प्लंबिंग, इंटरकनेक्ट टोपोलॉजी, और रैक-स्तरीय आर्किटेक्चर की ओर बढ़ रही है।
कल्पना कीजिए कि एक कमरे में एक हज़ार एक्सेलरेटर कार्ड हैं, और हर कार्ड नोट्स पास करने की कोशिश कर रहा है, बिना पूरे रैक को तांबे की स्पेगेटी वाले ओवन में बदले। आधुनिक AI के नीचे छिपी फिजिकल लेयर की समस्या यही है: कंप्यूट तभी उपयोगी है जब कार्ड एक-दूसरे को लगातार डेटा खिला सकें। Biren Technology की नई पेशकश सिर्फ़ तेज़ चिप की कहानी नहीं है; यह केबलिंग, पैकेजिंग और टोपोलॉजी की कहानी है, जिसमें फोटॉन getaway driving कर रहे हैं। जहाँ श्रेय बनता है, वहाँ देना चाहिए: दिलचस्प हिस्सा एक्सेलरेटर पर लगा लोगो नहीं है, बल्कि यह है कि फाइबर को crime scene में कहाँ प्रवेश मिलता है।
वायर से शुरू होता है टीयरडाउन
South China Morning Post के अनुसार, Biren Technology ने नए सुपरनोड समाधान पेश किए हैं, जो एक ही क्लस्टर में हज़ारों AI चिप्स को जोड़ने के लिए ऑप्टिकल डेटा ट्रांसमिशन का उपयोग करते हैं। आर्किटेक्चरल विवरण में छिपी मुख्य स्पेसिफिकेशन स्केल लक्ष्य है: SCMP कहता है कि कंपनी एक क्लस्टर में 1,000 से अधिक प्रोसेसर कार्ड्स को स्केल करने के लिए near-packaged optics का उपयोग करती है। SCMP के वर्णन के अनुसार, near-packaged optics डेटा गति बढ़ाने और पारंपरिक आर्किटेक्चर सीमाओं को बायपास करने के लिए ऑप्टिकल फाइबर को चिप्स के और करीब लाता है। यह कोई फुटनोट नहीं है, यही load-bearing wall है।
बोर्डरूम-रहित अंग्रेज़ी में कहें तो, Biren ट्रैफिक जाम को उन कॉपर लेनों से दूर ले जाने की कोशिश कर रहा है जो आम तौर पर बड़े क्लस्टर्स को चिड़चिड़ा बना देती हैं। इलेक्ट्रॉन शानदार छोटे कामगार हैं, लेकिन घने, हाई-स्पीड लिंक पर वे वेंटिलेशन डक्ट में घुसे कैफीन पीए हुए रैकून जैसे भी व्यवहार करते हैं: हीट, लॉस, इक्वलाइज़ेशन और सिग्नल इंटीग्रिटी का ड्रामा एक पैकेज डील की तरह आता है। ऑप्टिकल लिंक भौतिकी को गायब नहीं करते, लेकिन वे बदल देते हैं कि बिल किस भौतिकी को मिलेगा। जब आप किसी क्लस्टर को एक मशीन जैसा व्यवहार करवाने की कोशिश कर रहे होते हैं, तो वही बिल तय कर सकता है कि आपका एक्सेलरेटर बेड़ा एक choir होगा या लंच टाइम का food court।
रोशनी क्या खरीद रही है
EurekAlert ने all-optical supernodes पर Science China Press की रिलीज़ का सार बताते हुए व्यापक बदलाव को साफ़ तरह से समझाया है: AI सिस्टम single-chip performance सुधारों से आगे बढ़कर collaborative multi-chip scaling की ओर जा रहे हैं। वही स्रोत नोट करता है कि scale-up networks इसलिए महत्वपूर्ण हैं क्योंकि वे computing chips के बीच high-bandwidth, low-latency interconnects देते हैं, जबकि वर्तमान scale-up networks bandwidth bottlenecks के करीब पहुँच रहे हैं। Biren की घोषणा के अंदर छिपा builder lesson यही है। अगली लड़ाई सिर्फ़ यह नहीं है कि किसके पास सबसे सुंदर die shot है, बल्कि यह है कि कौन fabric को शीरे जैसा बनाए बिना हज़ारों भूखे devices को synchronized रख सकता है।
यह इसलिए मायने रखता है क्योंकि cluster scale पर AI training और inference इंतज़ार के प्रति बेहद संवेदनशील होते हैं। डेटा के लिए रुक जाने वाला processor card वीर silicon नहीं है; वह महत्वाकांक्षा वाला महँगा space heater है। पैकेज के करीब optical transmission आकर्षक है क्योंकि interconnect रैक पर बाद में जोड़ी गई चीज़ नहीं रहता, बल्कि compute architecture का हिस्सा बन जाता है। एक बार data path ही product बन जाए, तो packaging engineers और network architects basement wizards से main characters बन जाते हैं।
अनकही स्पेक है टोपोलॉजी
SCMP highly connected server systems को AI infrastructure कंपनियों के लिए नए battleground के रूप में पेश करता है, क्योंकि models trillions of parameters तक आगे बढ़ रहे हैं और AI agent applications का adoption बढ़ रहा है। The Wire China ने अलग से Biren को ऐसी कंपनी बताया है जो advanced chips में Nvidia जैसी firms को चुनौती दे रही है, साथ ही चीन के technological self-reliance के व्यापक push को भी नोट किया है। इन दोनों को साथ रखें, तो कहानी एक accelerator vendor से कम और इस system-level contest से ज़्यादा जुड़ी है कि interconnect के जवाब देने से पहले कितनी chips सहयोग कर सकती हैं।
यहीं पर marketing slides आम तौर पर संदेहास्पद रूप से धुंधली हो जाती हैं, जैसे किसी decorative heatsink के नीचे गरम VRM पर ताना गया thermal camera। चलिए बात करते हैं कि glamour shot में उन्होंने क्या नहीं डाला। अगली specs जो मैं देखना चाहता हूँ वे हैं topology, link budget, load के तहत latency, connector power, serviceability, और supernode के बीच में किसी card के fail होने पर क्या होता है। कोई supernode तभी प्रभावशाली है जब उसे priest, forklift और तीन proprietary diagnostics dongles की ज़रूरत के बिना बनाया, ठंडा किया, repair किया और schedule किया जा सके। Thermal throttling पहले ही betrayal जैसा लगता है; cluster-level fabric collapse तो purchase order के साथ betrayal है।
बिल्डर्स को आगे क्या देखना चाहिए
SCMP कहता है कि Biren distributed, decoupled supernode architecture का उपयोग कर रहा है, और यही phrase अपनी जेब में रखने लायक है। Distributed का मतलब है कि काम कई devices में फैला है, और decoupled संकेत देता है कि architecture compute और interconnect layout के बीच पुरानी dependencies को ढीला करने की कोशिश कर रहा है। अगर Biren इस scale पर near-packaged optics को practical बना पाता है, तो दिलचस्प तुलना एक chip बनाम दूसरी chip नहीं होगी। यह cluster behavior बनाम cluster behavior होगी: utilization, latency, fault handling, power, thermals, और benchmark demo के बाहर कितना उपयोगी काम बचता है।
AI infrastructure की योजना बना रहे पाठकों के लिए takeaway सरल है: accelerator को पूरी machine समझना बंद करें। Vendors से पूछें कि cards कैसे बात करते हैं, optical conversion कहाँ होता है, fabric कैसे scale करता है, और एक link के misbehave करने पर क्या बदलना पड़ता है। Biren का light-based supernode push यह उपयोगी याद दिलाता है कि physical layer अब background की plumbing नहीं रही। यह heist tunnel है, getaway car है, और कभी-कभी vault door भी।