स्व-सुधारक एआई: Anthropic की झलक, सरल विश्लेषण

स्वयं-सुधार करने वाला AI ऐसा लगता है जैसे कोई साँप क्लाउड कंप्यूट के बिल बनाते हुए PhD प्रोग्राम खा रहा हो। TechCrunch की रिपोर्ट, जिसमें कहा गया कि Anthropic के एक शोधकर्ता ने स्वयं-सुधार करने वाले AI की झलक दी, को किसी कम प्रलयकारी और ज़्यादा उपयोगी चीज़ की तरह पढ़ना बेहतर है: मॉडल सुधार लूप का ऑटोमेशन। व्यावहारिक रूप कोई हुडी पहने जादुई रिकर्शन नहीं है। यह एक ऐसी प्रणाली है जो विफलताओं को नोटिस करती है, सुधार सुझाती है, उन्हें टेस्ट करती है, और इंसानों को प्रोग्रेस बार वाली भविष्यवाणी के बजाय एक अधिक कसा हुआ लूप सौंपती है।

TechCrunch की झलक एक प्रक्रिया

की कहानी है TechCrunch ने खबर को Anthropic के एक शोधकर्ता द्वारा स्वयं-सुधार करने वाले AI की झलक के इर्द-गिर्द पेश किया, लेकिन सबसे उपयोगी समझ रहस्यमय नहीं, बल्कि यांत्रिक है। हालिया arXiv सर्वे बताता है कि AI प्रणालियाँ पहले से ही अपने आउटपुट संशोधित करके, डिप्लॉयमेंट हार्नेस को अनुकूलित करके, अपने द्वारा बनाए गए डेटा पर ट्रेनिंग लेकर, और एक बढ़ती शोध धारा में, खुद AI शोध करके अपने ही सुधार में भाग ले रही हैं। यह कोई एक घटना नहीं है। यह एक पारिवारिक मिलन जैसा है जहाँ हर कज़िन का नाम Self Something है और उनमें से आधे eval bugs लेकर आए हैं। arXiv सर्वे खास तौर पर मददगार है क्योंकि यह सीमित self refinement को open ended recursive self improvement से अलग करता है। सीमित लूप्स को convergent, evaluable, और पहले से औद्योगिक अभ्यास का हिस्सा बताया गया है, जबकि open ended RSI अभी भी grounding requirements, collapse dynamics, और compute constraints से सीमित है। अनुवाद: आलोचना के बाद आपका मॉडल किसी खराब उत्तर को ठीक कर दे, यह आपके मॉडल के पूरे शोध विभाग बन जाने जैसा नहीं है, चाहे स्लाइड डेक अंतरिक्ष वाली तस्वीरों का कितना भी आत्मविश्वास से इस्तेमाल करे।

तीखा सवाल यह है कि grader को grade कौन करता

है arXiv सर्वे के अनुसार, self evaluation अपनी अलग श्रेणी की हकदार है क्योंकि हर सुधार लूप इस बात पर निर्भर करता है कि क्या कोई signal मानव judgment की जगह ले सकता है। यही तकनीकी कड़ी है। अगर मॉडल कोई code change प्रस्तावित करता है, synthetic training example बनाता है, या prompt में बदलाव करता है, तो पूरी प्रणाली उतनी ही अच्छी है जितना अच्छा वह evaluator है जो तय करता है कि उस बदलाव ने सच में मदद की या बस metric को खुश करना सीख लिया। बिल्डर्स के लिए, यह eval design को कागज़ी काम से कम और load bearing architecture से ज़्यादा बना देता है। Self improving loop में बदलाव प्रस्तावित करने वाली चीज़ और उन्हें judge करने वाली चीज़ के बीच साफ़ अलगाव होना चाहिए, साथ में holdout tasks, regression tests, और उन सीमाओं पर human review जहाँ taste, safety, या strategy मायने रखते हैं। वरना आप ऐसी intelligence नहीं बना रहे जो खुद को सुधारती है। आप एक ऐसा रैकून बना रहे हैं जिसने badge reader इस्तेमाल करना सीख लिया है।

MIT Technology Review ठंडा पानी डालता है

MIT Technology Review ने रिपोर्ट किया कि AI agents अभी इतने creative नहीं हैं कि सच में innovative open ended AI research कर सकें। वही रिपोर्ट नोट करती है कि LLMs पहले से code लिख सकते हैं, training के लिए synthetic data बना सकते हैं, और जिन chips पर वे चलते हैं उन्हें optimize कर सकते हैं, हालाँकि मैं silicon entrails को Theo के लिए छोड़ दूँगा, इससे पहले कि मैं गलती से toaster metaphor के साथ GPUs समझा दूँ और hardware table से banned हो जाऊँ। यह फर्क मायने रखता है क्योंकि हिस्सों में capability होना पूरे research loop में autonomy को अपने-आप साबित नहीं करता। code लिखना उपयोगी है। data बनाना उपयोगी है। लेकिन यह तय करना कि कौन-सी failures मायने रखती हैं, कौन-सी hypotheses टेस्ट करने लायक हैं, और कब कोई apparent gain सिर्फ benchmark confetti है, अभी भी judgment, context, और सुविधाजनक numbers पर बेरहम शक की माँग करता है।

Anthropic का व्यापक संकेत mythology के बजाय measurement है

Anthropic की अपनी user research एक महत्वपूर्ण constraint जोड़ती है: सुधार इस बात पर आधारित होना चाहिए कि लोग वास्तव में क्या चाहते हैं, न कि leaderboard cosplay पर। Anthropic के अनुसार, दिसंबर के एक सप्ताह में, 159 देशों और 70 भाषाओं के 80,508 लोगों ने Anthropic Interviewer का उपयोग करके interview दिया, जो Claude का एक version था जिसे conversational interview करने के लिए prompt किया गया था। उस study को स्पष्ट रूप से AI के अच्छे ढंग से आगे बढ़ने की visions को concrete user hopes and concerns में ground करने के रूप में framed किया गया था। यह recursive self improvement discourse के लिए एक उपयोगी antidote है, जो Python notebooks के साथ theological weather forecasting में भटक सकता है। अगर models models को बेहतर बनाने में मदद करते हैं, तो सवाल सिर्फ यह नहीं है कि loop तेज़ होता है या नहीं। सवाल यह है कि क्या loop सही चीज़ों को बेहतर बनाता है, सही measurement के तहत, और इतनी human visibility के साथ कि optimization के fake mustache पहनना शुरू करते ही उसे पकड़ा जा सके। जो readers अभी AI systems के साथ build कर रहे हैं, वे देखें कि labs और tooling vendors अपने loops में वास्तव में क्या automate करने का खुलासा करते हैं: failure inspection, synthetic data generation, eval writing, code repair, research planning, या deployment adaptation। महत्वपूर्ण details होंगी evaluator quality, human approval points, और क्या gains benchmark aquarium के बाहर भी टिकते हैं। असली सवाल यह नहीं है कि AI खुद को सुधार सकता है या नहीं, बल्कि यह है कि जब robot अपनी लाल pen साथ लाए, तो homework grade करने का अधिकार किसे मिलता है।