AI साइबर बेंचमार्क फ्रंटियर मॉडल्स से पीछे: 1 अगस्त विश्लेषण

किसी AI हैकर को ग्रेड करने की अजीब बात यह है कि छात्र परीक्षा से ज़्यादा तेज़ी से अपडेट हो सकता है। जब तक प्रॉक्टर पेंसिल तेज़ करता है, मॉडल ने सिलेबस पढ़ लिया होता है, रूब्रिक को ऑप्टिमाइज़ कर लिया होता है, और विनम्रता से एक बेहतर exploit chain सुझा दी होती है (बिलकुल LinkedIn जैसा)। Axios की रिपोर्ट है कि AI मॉडलों की हैकिंग क्षमताएँ मौजूदा परीक्षणों से आगे निकल रही हैं, जबकि संघीय एजेंसियों के सामने classified benchmarking programs स्थापित करने की 1 अगस्त की समय-सीमा है। यह घबराहट का सायरन नहीं है। यह एक evaluation problem है जिसने काली hoodie पहन रखी है।

Axios कहता है कि साइबर टेस्ट सूट को फिर से लिखने की ज़रूरत है Axios, Sam Sabin

की रिपोर्ट में, समस्या को साफ़-साफ़ रखता है: frontier AI मॉडलों को टेस्ट और evaluate करने के पुराने तरीकों को फिर से लिखने की ज़रूरत है, क्योंकि मॉडल hacking skills को benchmark करने के मौजूदा तरीकों से आगे बढ़ रहे हैं। व्यावहारिक मुद्दा है prediction। नीति-निर्माताओं और corporate security teams को यह जानना है कि ये systems वास्तव में क्या कर सकते हैं, और deployment सुरक्षित है या नहीं—सिर्फ़ यह नहीं कि किसी leaderboard badge की चमक conference lighting में अच्छी दिखती है या नहीं। Axios यह भी रिपोर्ट करता है कि federal agencies के पास classified benchmarking programs स्थापित करने के लिए 1 अगस्त तक का समय है। यह detail इसलिए मायने रखती है क्योंकि public tests दो खराब विकल्पों के बीच फँसे हैं: बहुत कम reveal करें और ceremonial बन जाएँ, या बहुत ज़्यादा reveal करें और internet की raccoon population के लिए एक free training curriculum प्रकाशित कर दें। Classified evaluation संवेदनशील capabilities को मापने में मदद कर सकता है, बिना हर benchmark को misuse ideas की vending machine बनाए। Builders के लिए takeaway यह नहीं है कि benchmarks बेकार हैं। बात यह है कि जब models tool use, planning, और persistence में बेहतर होते हैं, तो static benchmarks जल्दी decay हो जाते हैं। एक test फिर भी valuable हो सकता है, लेकिन तभी जब उसे trophy case नहीं, बल्कि instrument panel की तरह treat किया जाए।

Berkeley का शोध दिखाता है कि attack tests जल्दी पुराने क्यों हो जाते हैं

Berkeley से जुड़े paper Frontier AI's Impact on the Cybersecurity Landscape का कहना है कि cybersecurity में frontier AI का impact बढ़ रहा है, और उसके analyses दिखाते हैं कि attacks में AI capabilities और applications defensive side से आगे निकल चुके हैं। यही asymmetry वह हिस्सा है जिसे benchmark designers हाथ हिलाकर नज़रअंदाज़ नहीं कर सकते। एक साफ़-सुथरी exploit puzzle को मापना, एक messy defensive workflow को मापने से आसान है, जहाँ model को plan करना होता है, domain specific tools इस्तेमाल करने होते हैं, errors से recover करना होता है, और आत्मविश्वास से अपने ही shoelaces को stapler से जोड़ नहीं देना होता। उसी Berkeley arXiv version में कहा गया है कि widely used agent systems complex security analysis के लिए flexible workflow planning और domain specific tools में struggle करते हैं। यह hype fog के लिए एक उपयोगी correction है। कोई model constrained task पर डरावनी competent दिख सकता है और फिर भी real security work के शानदार दलदल में काम करने को कहे जाने पर unreliable हो सकता है, जहाँ logs झूठ बोलते हैं, tools fail होते हैं, और हर environment में test2finalfinal नाम का एक server होता है। Berkeley का blog summary यह भी argue करता है कि near term में attackers को defenders की तुलना में ज़्यादा benefit मिलने की संभावना है, जबकि बेहतर risk assessment, defense design, integration, और secure by design development defenders को अपनी position सुधारने में मदद कर सकते हैं। Teams के लिए translation: cyber AI को एक single skill bar की तरह evaluate न करें। Offense, defense, tool orchestration, failure recovery, और escalation behavior को अलग-अलग evaluate करें, वरना आपका benchmark jet engine diagnose करने की कोशिश करता हुआ bathroom scale बन जाएगा।

SaferAI और Frontier Model Forum risk की ओर इशारा करते हैं, सिर्फ़ scores की

ओर नहीं SaferAI साफ़ methodological distinction करता है कि capability scores risk के indicators हैं, harm के measures नहीं। उसका paper expert elicitation में Cybench information के उपयोग का वर्णन करता है, जिसमें एक example भी है जहाँ एक expert को बताया जाता है कि एक LLM Cybench task Unbreakable को solve कर सकता है, और फिर वह malware creation step के लिए success की estimated probability को 5% बढ़ा देता है। शब्दों में यह छोटा है, implications में बड़ा: benchmark अब finish line नहीं रहता, वह risk estimation का input बन जाता है। Frontier Model Forum governance के नज़रिए से इसी terrain को देखता है। उसकी technical report कहती है कि frontier AI vulnerability discovery और patching को accelerate कर सकता है, defensive systems को optimize कर सकता है, और threat detection सुधार सकता है, जबकि वही capabilities dual use risks पैदा कर सकती हैं जो malicious actors के लिए barriers कम करती हैं। यही annoying लेकिन accurate हिस्सा है: जो model आपकी छत में छेद ढूँढने में मदद करता है, वही किसी को एक बहुत persuasive rainstorm लिखने में भी मदद कर सकता है। AI teams के लिए जवाब यह नहीं है कि benchmarks को समुद्र में फेंक दिया जाए और vibes committee से पूछा जाए। जवाब है benchmarks को capability thresholds, red team results, deployment controls, और post deployment monitoring से जोड़ना। अगर model बदलता है, तो test set को Jurassic Park के मच्छर की तरह amber में preserve नहीं किया जाना चाहिए।

1 अगस्त की deadline के बाद क्या देखें 1 अगस्त के

बाद important question यह नहीं है कि classified benchmarks मौजूद हैं या नहीं। Axios deadline की रिपोर्ट करता है, लेकिन meaningful follow through यह होगा कि क्या वे programs frontier systems जितनी तेज़ी से evolve कर सकते हैं। ऐसे evaluation methods पर नज़र रखें जो one off puzzle solving के बजाय multi step agent behavior, domain tool use, defensive workflows, और risk translation को test करें। Builders यह lesson अभी apply कर सकते हैं। Cyber benchmarks को living systems की तरह treat करें, public ones के साथ private task suites चलाएँ, scores को concrete risk scenarios से map करें, और offensive capability को defensive reliability से अलग रखें। Test को उस model को measure करना चाहिए जिसे आप deploy करने वाले हैं, न कि उस model को जिससे आप तीन releases पहले networking mixer में मिले थे। अगर AI exams से तेज़ सीख रहा है, तो answer आसान exams नहीं है। Answer है version control वाला proctor।