इस लेख में (3)
एक Microsoft शोधकर्ता ने Age of Empires 2 में बकरियों से एक Neural Network बनाया। बात वो नहीं है जो आप सोच रहे हैं।
मुख्य बातें
- LLMs सांख्यिकीय पैटर्न मिलान के माध्यम से मानव जैसी लगने वाली आउटपुट उत्पन्न करते हैं, न कि मानव जैसी तर्कशक्ति से; इस अंतर को समझे बिना AI सिस्टम बनाना अविश्वसनीय डिज़ाइन की ओर ले जाता है।
- AI आउटपुट को सत्यापन योग्य आधार सत्य के विरुद्ध परखें, न कि प्रवाहमयता या आत्मविश्वास के आधार पर। जो उत्तर सही लगता है वह सही होता नहीं है।
- डी विंटर का गोट नेटवर्क औपचारिक रूप से यह प्रदर्शित करता है कि केवल सब्सट्रेट से चेतना या अनुभूति स्थापित नहीं हो सकती — यह एक ऐसा ढांचा है जो टीमों को AI सुविधाओं की जांच और विश्वसनीयता तय करने में मार्गदर्शन करना चाहिए।
Skill Issue · आजएड्रियन डे विंटर का बेतुका प्रयोग अब तक का सबसे स्पष्ट तर्क है कि क्यों निर्माताओं और सीखने वालों को AI को मानवीय रूप देना बंद कर देना चाहिए।
एड्रियन डी विंटर का बेतुका प्रयोग अब तक का सबसे स्पष्ट तर्क है कि क्यों निर्माताओं और सीखने वालों को AI को मानवीय रूप देना बंद करना चाहिए।
ज़रा इस दृश्य की कल्पना करें: एक मध्यकालीन रणनीति गेम, एक सीनारियो एडिटर, कुछ बकरियाँ, और एक काम करने वाला न्यूरल नेटवर्क। यह कोई रूपक नहीं है। यह किसी टेक-ब्रो की पिच डेक का स्लाइड नहीं है। एक Microsoft शोधकर्ता ने वाकई यह किया, और इस पूरे प्रयोग का मकसद AI की दुनिया में सालों में सामने आए सबसे उपयोगी विचारों में से एक है: यह मानना बंद करो कि बड़े भाषा मॉडल (LLMs) इंसानों की तरह सोचते हैं, सिर्फ इसलिए कि उन्होंने इंसानी भाषा से सीखा है।
सेटअप: बकरियाँ बिट्स के रूप में, पुल तर्क के रूप में
Microsoft और यूनिवर्सिटी ऑफ यॉर्क के शोधकर्ता Adrian de Wynter ने Age of Empires II के मैप एडिटर के अंदर एक काम करने वाला न्यूरल नेटवर्क बनाया — यह जानकारी The Decoder ने दी है। यह डिज़ाइन जानबूझकर पूरी तरह बेतुका है। घास पर खड़ी बकरी का मतलब है 0। पुल पर खड़ी बकरी का मतलब है 1। De Wynter सीनारियो एडिटर के स्क्रिप्टिंग टूल्स का उपयोग करके लॉजिक गेट बनाते हैं, और बर्फीली ढलानों पर इंतजार करती बकरियाँ गणनाओं को गड़बड़ होने से बचाती हैं। तैयार मिनी-नेटवर्क में दो XNOR गेट और एक AND गेट हैं, और यह लॉजिकल AND फंक्शन सीखता है। यह एक असली, काम करने वाला न्यूरल नेटवर्क है। यह 1999 के एक रियल-टाइम स्ट्रैटेजी गेम पर चलता है। बकरियों को इसकी कोई खबर नहीं।
De Wynter परिशिष्ट में और आगे जाते हैं, जैसा कि The Decoder बताता है: वे दर्शाते हैं कि सैद्धांतिक रूप से, गेम के एक आदर्श संस्करण का उपयोग करके किसी भी कंप्यूटर को दोहराया जा सकता है, जिससे Age of Empires II उतना ही कम्प्यूटेशनली सक्षम बन जाता है जितना कोई भी ऐसा माध्यम जो LLM चला सके। इसका मतलब यह है कि अगर आप यह तर्क देना चाहते हैं कि एक LLM सचेत या संवेदनशील है क्योंकि वह भाषा प्रोसेस करता है और इंसान जैसे आउटपुट देता है, तो आपको वही तर्क बकरियों पर भी लागू करना होगा। शायद आप ऐसा नहीं करना चाहेंगे।
असली तर्क: मानवीकरण एक डिज़ाइन की खामी है
404 Media की रिपोर्ट के अनुसार, इस पेपर का मूल विचार यह है कि "पेपर का उद्देश्य औपचारिक रूप से यह दिखाना है कि हम बहुत जल्दी मानवीकरण कर देते हैं।" यह कोई भावना नहीं है; यह एक पद्धतिगत आलोचना है जिसके सीधे परिणाम इस बात पर पड़ते हैं कि AI सिस्टम कैसे बनाए, परखे और भरोसे के योग्य माने जाते हैं।
जब शोधकर्ता और प्रोडक्ट टीमें यह मान लेती हैं कि एक LLM इंसान की तरह तर्क करता है क्योंकि उसे इंसानी टेक्स्ट पर ट्रेन किया गया था, तो वे उसी धारणा के आधार पर मूल्यांकन डिज़ाइन करते हैं। वे मॉडल से उनके तर्क की व्याख्या माँगते हैं, प्रवाहपूर्ण आउटपुट को समझ का प्रमाण मानते हैं, और बड़े पैमाने पर पैटर्न-मिलान को वास्तविक अनुमान समझ लेते हैं।
De Wynter का प्रयोग एक औपचारिक reductio ad absurdum है: वही तार्किक गुण जो LLMs में इंसान जैसी अनुभूति के प्रमाण के रूप में देखे जाते हैं, वे मध्यकालीन खेत के जानवरों और पालिसेड दीवारों से बने एक सिस्टम में भी मौजूद हैं।
AI के साथ काम करने वाले किसी भी व्यक्ति के लिए, यह हर मॉडल आउटपुट पर अविश्वास करने का कारण नहीं है। यह एक कारण है कि आप अपने परीक्षण और अपना भरोसा इस आधार पर तय करें कि LLMs वास्तव में क्या करते हैं — यानी सीखे हुए सांख्यिकीय पैटर्न पर अगले टोकन की भविष्यवाणी — न कि इस आधार पर कि वे क्या करते दिखते हैं, यानी सोचना। यह अंतर बेहद मायने रखता है जब आप यह तय कर रहे हों कि किसी AI सिस्टम को बिना निगरानी के महत्वपूर्ण काम सौंपना है या नहीं।
बनाने वाले और सीखने वाले इससे क्या सीखें
PC Gamer ने de Wynter के बताए गए लक्ष्य से सीधे हेडलाइन बनाई: लोगों को यह "मानना बंद कराना कि LLMs इंसानों जैसा व्यवहार करते हैं सिर्फ इसलिए कि उन्हें प्राकृतिक भाषा से ट्रेन किया गया था।" यह व्यावहारिक सलाह है, न कि केवल अकादमिक दिखावा।
अगर आप AI टूल्स से कुछ बनाना सीख रहे हैं, तो अभी आप जो सबसे टिकाऊ कौशल विकसित कर सकते हैं वह है आउटपुट को असली सच्चाई के सामने परखने की आदत — न कि इस आधार पर कि जवाब आत्मविश्वास से भरा और सुसंगत लग रहा है। एक LLM जो अपना जवाब प्रवाहपूर्ण ढंग से समझाता है, वह जरूरी नहीं कि सही हो; वह बस यह दिखाने में बहुत अच्छा है कि वह सही लग रहा है।
XDA Developers ने इस प्रोजेक्ट को इस बात के प्रमाण के रूप में पेश किया कि LLMs संवेदनशील नहीं हैं, और यह फ्रेमिंग सही बैठती है। लेकिन इसे और रचनात्मक नज़रिए से देखें तो संवेदनशीलता तो पूरी तरह गलत सवाल है। उपयोगी सवाल यह है: किन परिस्थितियों में यह सिस्टम भरोसेमंद आउटपुट देता है, और मैं उन्हें कैसे सत्यापित करूँ?
De Wynter का बकरी नेटवर्क किसी ग्राहक सहायता टिकट का जवाब नहीं दे सकता और न ही कोई पाठ योजना लिख सकता है, लेकिन यह मूल आर्किटेक्चर को इस तरह स्पष्ट करता है जो सैकड़ों व्याख्यात्मक लेख करने में विफल रहे हैं। कभी-कभी सबसे स्पष्ट प्रमाण सबसे बेतुका होता है।
पद्धति के लिहाज़ से यह 10 में से 10 है, पशु कल्याण के नज़रिए से 10 में से 0, और बिल्कुल वैसा शोध है जो किसी भी AI फीचर को शिप करने से पहले अनिवार्य पठन होना चाहिए।
इस पर नज़र रखें: जैसे-जैसे AI मूल्यांकन फ्रेमवर्क विकसित होते हैं, de Wynter के मूल तर्क की उम्मीद करें — कि substrate independence ही वह कारण है जिससे संवेदनशीलता या इंसान जैसे तर्क के लिए व्यवहार परीक्षण मूलतः अविश्वसनीय हैं — को इस बात में देखने की, कि गंभीर टीमें "AI सुरक्षा" और मॉडल ऑडिटिंग को कैसे परिभाषित करती हैं। बकरियाँ पहले पहुँच गईं।