एआई मूल्यांकन विश्लेषण: सोलेमान खुले मानक चाहते हैं

कॉन्फ्रेंस का मंच AI उद्योग को यह बताने के लिए एक साहसी जगह है कि उसका नापने वाला फीता लिकोरिस से बना है। लेकिन Irene Solaiman की TechCrunch Disrupt उपस्थिति में यही उपयोगी तनाव था: किसी AI को काम देने से पहले, आप शायद यह जानना चाहेंगे कि जो टेस्ट कह रहा है कि वह काम कर सकता है, क्या वह टेस्ट खुद भरोसेमंद और ठीक से तैयार है।

TechCrunch के Disrupt 2026 एजेंडा के अनुसार, Hugging Face की Solaiman एक ऐसे सत्र में शामिल हुईं जो इस बात पर केंद्रित था कि किसी AI को कोई काम सौंपने से पहले यह कैसे सत्यापित किया जाए कि वह सच में उस काम को संभाल सकता है। यह फ्रेमिंग एक ऐसे बाजार में ताज़गी भरी व्यावहारिक लगती है, जहाँ benchmark चार्ट कभी-कभी कैंडी के nutrition label जैसे दिख सकते हैं। निष्कर्ष यह नहीं था कि evaluations बेकार हैं। बात यह थी कि evaluations इतने महत्वपूर्ण होते जा रहे हैं कि उन्हें leaderboard लगे हुए vendor theater पर छोड़ना ठीक नहीं है।

TechCrunch ने evaluator hype को चेतावनी दी

TechCrunch ने रिपोर्ट किया कि Hugging Face की chief policy officer Solaiman ने TechCrunch Disrupt के दौरान मौजूदा AI evaluation methods को "complicated and still maturing" बताया। यह इसलिए मायने रखता है क्योंकि TechCrunch ने यह भी रिपोर्ट किया कि AI labs benchmarking पर निर्भर करती हैं ताकि यह तर्क दे सकें कि एक product दूसरे से बेहतर है। अगर benchmarks scoreboard हैं, तो Solaiman पूछ रही हैं कि scoreboard को calibrate किसने किया, match को दोबारा कौन चला सकता है, और क्या scoreboard को चुपचाप marketing copy पर trained किया गया है।

थोड़ा उलटा लगने वाला सबक यह है कि embedded evaluators और बाहरी reviewers अपने आप trust problem को हल नहीं करते। TechCrunch के अनुसार, Solaiman ने embedded evaluator ecosystem की मांग की ओर इशारा किया, साथ ही कहा कि अलग-अलग tasks में effective evaluators की qualifications को कहीं अधिक standardization की जरूरत है। सरल builder English में: auditor जोड़ना और यह define करना कि अच्छी auditing का मतलब क्या है, दोनों एक ही बात नहीं हैं। यह oversight नहीं है, यह clipboards के साथ cosplay है।

TechCrunch कहता है कि reproducibility ही trust tax है

TechCrunch ने रिपोर्ट किया कि Solaiman ने AI evaluation results में trust को reproducibility और test किए जा रहे model तक access से जोड़ा। उन्होंने कहा कि सवाल का एक हिस्सा यह है कि क्या दूसरे लोग evaluation को reproduce कर सकते हैं और क्या उनके पास पर्याप्त model access है, साथ ही जोड़ा कि "open weights come in in a big way." Open weights कोई fairy dust नहीं हैं, दुख की बात है, क्योंकि AI industry अब भी Apache license के तहत fairy dust ship करने से इनकार कर रही है। लेकिन access यह बदल देता है कि बाहरी evaluators क्या verify कर सकते हैं, बजाय इसके कि वे velvet rope के उस पार से सिर्फ प्रशंसा करें।

Models चुनने वाली teams के लिए, इससे procurement questions “इसे क्या score मिला?” से “क्या हम समझ सकते हैं कि वह score कैसे produce हुआ?” की ओर shift होने चाहिए। अगर किसी benchmark को rerun, compare, या inspect नहीं किया जा सकता, तो वह फिर भी interesting हो सकता है, लेकिन deployment decisions के लिए वह कमजोर evidence है। सबसे अच्छी evaluation culture beauty pageant जैसी कम और lab notebook जैसी ज्यादा दिखती है: boring, repeatable, और hand waving के खिलाफ सख्त।

SiliconReport कहता है कि लक्ष्य model से आगे बढ़ रहा है

SiliconReport ने रिपोर्ट किया कि Solaiman ने चेतावनी दी कि AI testing standalone models से आगे बढ़कर अधिक complex और expensive agent systems तक फैल रही है। TechCrunch ने भी इसी तरह रिपोर्ट किया कि evaluations अब केवल model को test करने से हटकर उसके आसपास के broader system को test करने की ओर जा रही हैं, जिसमें harness और agent शामिल हैं। यह scope में एक meaningful बदलाव है। Model score आपको कुछ बता सकता है, लेकिन यह अपने आप नहीं बताता कि model को किसी system के अंदर embed करने के बाद आसपास का system कैसे behave करता है।

TechCrunch ने रिपोर्ट किया कि Solaiman ने agentic evaluations को hard और expensive कहा, जो ऐसा वाक्य है जो researchers और finance departments दोनों को coffee की ओर हाथ बढ़ाने पर मजबूर कर देता है। Industry ने पहले ही सीख लिया है कि capabilities, prompts, और products बदलने के साथ model benchmarks जल्दी पुराने हो सकते हैं। Agent systems evaluation complexity की एक और layer जोड़ते हैं क्योंकि test अब isolation में केवल model का नहीं रह जाता। यह model plus system context है, जो outputs को actions में बदलता है।

TechCrunch कहता है कि standards ही missing API हैं

TechCrunch ने रिपोर्ट किया कि Solaiman ने evaluations को एक evolving science बताया और कहा कि industry के पास अभी भी अलग-अलग evaluation approaches की तुलना करने का कोई meaningful तरीका नहीं है। असली बात यही है: third party review तभी useful है जब methods इतने comparable हों कि builders, customers, और policymakers उन्हें interpret कर सकें। वरना हर lab अपना ruler लाती है, हर ruler का sponsored podcast होता है, और कोई इस पर सहमत नहीं होता कि table कितनी ऊँची है।

TechCrunch के अनुसार, अगर benchmarking को leaders के लिए useful बनाए रखना है, तो शायद अधिक uniform industry wide approach की जरूरत हो सकती है। इसका मतलब यह नहीं कि हर organization हमेशा identical tests चलाए, क्योंकि वह science को DMV line में बदलने जैसा होगा। इसका मतलब यह है कि AI teams को clearer documentation, reproducible procedures, जहाँ संभव हो adequate model access, और task being assessed से match करने वाले evaluator standards की मांग करनी चाहिए।

Builders के लिए, तुरंत उठाया जाने वाला कदम सरल है: evals को launch confetti नहीं, operational infrastructure समझें। पूछें कि क्या results reproduce किए जा सकते हैं, क्या evaluators के पास पर्याप्त access था, कौन-सा system test किया गया, और क्या benchmark सच में आपके use case से map करता है। अगला उपयोगी AI eval सबसे loudest chart नहीं होगा। वह होगा जो किसी और के rerun दबाने के बाद भी बचा रहे।