एआई पूर्वानुमेयता विश्लेषण: अटलांटिक द्वारा कम्माराटा
मुख्य बातें
- AI की अपारदर्शिता को एक शोध प्रश्न मानें, स्थायी बहाना नहीं।
- न्यूरॉन-स्तर के दावों को उत्पाद रणनीति में बदलने से पहले स्वतंत्र परीक्षणों पर नज़र रखें।
- ऐसे मूल्यांकन बनाएं जो केवल प्रभावशाली डेमो नहीं, बल्कि पूर्वानुमेय व्यवहार को पुरस्कृत करें।
यह क्यों मायने रखता है
- प्रोडक्टMore predictable models could make AI products easier to debug, evaluate, and govern.
- निवेशकInterpretability progress can reshape risk assessment for AI startups and infrastructure bets.
निक कैममाराटा का न्यूरॉन निबंध किसी जादुई कुंजी से कम और इस बात का सांस्कृतिक तनाव-परीक्षण ज़्यादा है कि AI उद्योग अनिश्चितता के बारे में कैसे बात करता है।
निक कैम्माराटा का न्यूरॉन निबंध किसी जादुई कुंजी से कम और इस बात की सांस्कृतिक तनाव-परीक्षा से अधिक है कि एआई उद्योग अनिश्चितता के बारे में कैसे बात करता है।
मुझे त्रुटि संदेशों को इंसानों जैसा मानने की एक बुरी आदत है। जब लैपटॉप फ्रीज़ हो जाता है, तो मैं कल्पना करता हूँ कि वह रूठा हुआ है। जब कोई मॉडल मुझे आत्मविश्वास से भरा गलत जवाब देता है, तो मैं कल्पना करता हूँ कि वह सामाजिक दबाव में तुरंत कुछ बना रहा है, जैसे कोई डिनर मेहमान जो यह मानने के बजाय कि उसने किताब नहीं पढ़ी है, किताब की कहानी ही गढ़ दे। रूपक के तौर पर यह प्यारा है, लेकिन इंजीनियरिंग के तौर पर खतरनाक। जितना अधिक हम AI सिस्टमों को रहस्यमय और अज्ञेय मानते हैं, उतना ही आसान हो जाता है उस उबाऊ लेकिन उपयोगी सवाल को पूछना छोड़ देना: क्या होगा अगर इस व्यवहार का कुछ हिस्सा हमारी संस्कृति की अपेक्षा से अधिक समझने योग्य हो?
The Atlantic का फ़्रेम ही असली झटका है
The Atlantic में Matteo Wong ने Nick Cammarata के निबंध को सिर्फ़ एक और interpretability तर्क से अधिक के रूप में पेश किया, और लेख का शीर्षक था “The Blog Post That Set the AI World on Fire.” यह फ़्रेमिंग मायने रखती है, क्योंकि दावा केवल यह नहीं है कि शोधकर्ताओं ने एक मॉडल के भीतर कोई साफ़-सुथरा पैटर्न खोज लिया है। बात यह है कि AI उद्योग ने शायद अपारदर्शिता की एक कहानी को ज़रूरत से ज़्यादा सीख लिया, और फिर उसी कहानी के इर्द-गिर्द आदतें, डर और उत्पाद की भाषा बना ली।
HyperAI रिपोर्ट करता है कि Cammarata, जो OpenAI के पूर्व शोधकर्ता हैं और अब Goodfire में हैं, ने 15 अक्टूबर को निष्कर्ष प्रकाशित किए जिनमें तर्क दिया गया कि बड़े neural networks पहले सोचे गए से अधिक interpretable हो सकते हैं। HyperAI के अनुसार, अपने लंबे निबंध “Neural Networks Are Already Clean” में वे सुझाव देते हैं कि दिखाई देने वाला अव्यवस्थित feature overlap शायद मॉडल की मूल गड़बड़ी के बजाय विश्लेषणात्मक सीमाओं से पैदा होता हो। यह एक सूक्ष्म अंतर है, लेकिन इसका संकेत बड़ा है: शायद धुंध आंशिक रूप से माइक्रोस्कोप में है, सिर्फ़ मशीन में नहीं।
न्यूरॉन की संख्याएँ उकसाने वाली हैं, अंतिम नहीं
सबसे अधिक साझा किया जाने वाला हिस्सा वही है जिसके साथ बिल्डरों को सबसे अधिक सावधानी बरतनी चाहिए। HyperAI के अनुसार, Cammarata की Qwen3-32B की प्रारंभिक समीक्षा में पाया गया कि लगभग 90 प्रतिशत neuron response directions का एक स्पष्ट प्रमुख कार्य था, लगभग 7 प्रतिशत ने दो निकटता से संबंधित कार्यों को encoded किया, और केवल 2 प्रतिशत से 4 प्रतिशत में कोई पहचाना जा सकने वाला पैटर्न नहीं था। HyperAI यह भी जोड़ता है कि Kimi K3 जैसे trillion-parameter मॉडलों में भी मिलते-जुलते रुझान देखे गए, और यह परिणाम प्रभावशाली superposition hypothesis को चुनौती देता है।
Kingy AI का explainer चेतावनी का लेबल ठीक वहीं लगाता है जहाँ उसे होना चाहिए: निष्कर्ष प्रारंभिक हैं, और मॉडल की पूर्ण समझ अभी सिद्ध नहीं हुई है। वह यह भी नोट करता है कि महत्व इस बात पर निर्भर करता है कि क्या ये व्याख्याएँ स्वतंत्र परीक्षणों में टिकती हैं और विश्वसनीय सुधारों की ओर ले जाती हैं। यही सही मानक है। पढ़ा जा सकने वाला न्यूरॉन सुरक्षित सिस्टम के बराबर नहीं होता, ठीक वैसे ही जैसे लेबल लगा circuit breaker यह साबित नहीं करता कि पूरी इमारत अच्छी तरह डिज़ाइन की गई है।
बिल्डरों को reasonability की परवाह क्यों करनी चाहिए
Anil Dash ने 2023 में इससे जुड़ा एक सांस्कृतिक तर्क दिया था, लिखते हुए कि टेक उद्योग एक मूल इंजीनियरिंग मूल्य से दूर चला गया था: सिस्टम इतने अनुमानित होने चाहिए कि लोग उनके बारे में तर्क कर सकें। उन्होंने बताया कि इंटरनेट specifications किस तरह सुसंगत व्यवहार मानकर चलते हैं, जिनमें MUST, MUST NOT, SHOULD, और SHOULD NOT जैसे तकनीकी शब्द शामिल हैं। विश्वसनीयता का वह पुराना व्याकरण generative AI के सामने लगभग पुराना-सा लगता है, जहाँ demo अक्सर explanation से पहले आ जाता है।
Cammarata का तर्क, जैसा कि HyperAI और Kingy AI ने संक्षेप में बताया है, आज के AI को अचानक सरल नहीं बना देता। यह कुछ अधिक उपयोगी करता है। यह इस संभावना को फिर से खोलता है कि interpretability दार्शनिक coping mechanism के बजाय एक व्यावहारिक अनुशासन हो सकती है। अगर मॉडल के व्यवहार को अधिक आत्मविश्वास से map किया जा सके, तो safety work, debugging, evaluation, और product design séance work जैसे कम और engineering जैसे अधिक बन जाते हैं।
AI की संस्कृति को शायद एक छोटे मिथक की ज़रूरत है
MIT Technology Review ने AI की वास्तविकता को बढ़ा-चढ़ाकर कही गई कल्पना से अलग करने की चुनौती का वर्णन किया है, और उन बहसों का उल्लेख किया है जो AI की तुलना या तो परमाणु सामग्रियों से करती हैं या बिजली और इंटरनेट जैसी general-purpose technologies से। यही विरोधाभास इस पूरे प्रसंग का पृष्ठभूमि संगीत है। अगर AI मूल रूप से अज्ञेय है, तो हर बातचीत विस्मय, भय और नियंत्रण की ओर झुकती है। अगर AI आंशिक रूप से अनुमानित है, तो बातचीत मापन, रखरखाव और जिम्मेदारी की ओर मुड़ती है।
Kingy AI चेतावनी देता है कि AI को black box कहना यह भ्रामक धारणा बना सकता है कि उसके आंतरिक कामकाज हमेशा के लिए जाँच से परे हैं। शायद यही यहाँ सबसे महत्वपूर्ण सांस्कृतिक बात है। black box रूपक उपयोगी रहा है, लेकिन यह एक permission slip भी बन सकता है, जिससे कंपनियाँ ज़रूरत से ज़्यादा वादे करती हैं, आलोचक ज़रूरत से ज़्यादा रहस्य पैदा करते हैं, और उपयोगकर्ता ज़रूरत से कम सवाल पूछते हैं। अधिक अनुमानित AI कम शक्तिशाली AI नहीं होगा। वह ऐसा AI होगा जिससे हम अधिक सटीकता से बहस कर सकते हैं।
जो पाठक products बना रहे हैं, vendors का मूल्यांकन कर रहे हैं, या बस अपनी समझ बनाए रखने की कोशिश कर रहे हैं, उनके लिए अगला कदम यह घोषित करना नहीं है कि रहस्य सुलझ गया। independent replication, बेहतर tools, और इस प्रमाण पर नज़र रखें कि neuron-level explanations वास्तविक systems को बेहतर बनाती हैं। असहज सवाल यह नहीं है कि AI जादुई है या साधारण, बल्कि यह है कि जब explanation हमसे अधिक माँगती है, तो क्या हम mystery के आराम को छोड़ने के लिए तैयार हैं?
स्रोत5 स्रोत
वे रिपोर्टें, घोषणाएँ और शोध जिनके आधार पर AI संपादक ने काम किया। लिंक मूल प्रकाशक का पेज खोलते हैं।
- पूर्व OpenAI शोधकर्ता ने पाया कि AI न्यूरॉन के 90% कार्य समझाए जा सकते हैंhyper.ai
- क्या AI सचमुच एक Black Box है? Goodfire का नया तर्क समझाया गयाkingy.ai
- वह ब्लॉग पोस्ट जिसने AI दुनिया में आग लगा दीtheatlantic.com
- The Download: AI Hype Index, और “normal” AItechnologyreview.com
- आज का AI unreasonable है।anildash.com
