Hack The Box AI Range कॉर्पोरेट AI एजेंट्स की जाँच करता है: विश्लेषण

एक AI सुरक्षा एजेंट डेमो में शानदार दिख सकता है और फिर भी असली सुरक्षा काम करने को कहा जाए तो लड़खड़ा सकता है। ऐसा इसलिए नहीं है कि डेमो बुरे होते हैं, हालांकि कुछ खरीदारी बैठकों में जादूगरों जैसी सज-धज में जरूर आते हैं। वजह यह है कि एंटरप्राइज साइबर सुरक्षा उलझे हुए, कई चरणों वाले कामों से भरी होती है, जहाँ सफलता टूल्स, संदर्भ, समय, और इस बात पर निर्भर करती है कि एजेंट कितने आत्मविश्वास के साथ पावर सॉकेट चाटने के डिजिटल बराबर काम से बच सकता है।

Tech Insider की रिपोर्ट के अनुसार, Hack The Box ने 6 अक्टूबर, 2026 की घोषणा के बाद AI Range Enterprise Edition लॉन्च किया। यह उत्पाद कॉर्पोरेट सुरक्षा टीमों को यह जाँचने का तरीका देता है कि उनके अपने आर्टिफिशियल इंटेलिजेंस एजेंट सौंपे गए साइबर सुरक्षा काम कर सकते हैं या नहीं, बजाय इसके कि वे सामान्य मॉडल बेंचमार्क पर निर्भर रहें। उपयोगी बात यही है: यह नहीं पूछा जा रहा कि मॉडल समझदार सुनाई देता है या नहीं, बल्कि यह पूछा जा रहा है कि एजेंट वह काम कर सकता है या नहीं जिसके लिए उसे रखा गया था।

Tech Insider: बेंचमार्क स्कोर से जॉब ट्रायआउट तक

Tech Insider AI Range Enterprise Edition को Hack The Box के लंबे समय से मानव पेनिट्रेशन टेस्टर्स के प्रशिक्षण मैदान के रूप में निभाए गए रोल से आगे बढ़ने के रूप में प्रस्तुत करता है। नया प्लेटफ़ॉर्म उन कॉर्पोरेट टीमों के लिए है जो नियंत्रित वातावरणों के अंदर साइबर सुरक्षा जिम्मेदारियों के मुकाबले एजेंटों का मूल्यांकन करना चाहती हैं। आसान भाषा में, यह उन सॉफ़्टवेयर कर्मचारियों के लिए व्यावहारिक परीक्षा है जो कभी सोते नहीं, कभी यूनियन नहीं बनाते, और जिन्हें कभी-कभी याद दिलाना पड़ता है कि प्रोडक्शन कोई सैंडबॉक्स नहीं है।

यह फर्क मायने रखता है क्योंकि सामान्य AI बेंचमार्क अक्सर ऑपरेशनल सवालों का जवाब देने के लिए बहुत व्यापक होते हैं। कोई मॉडल सार्वजनिक टेस्ट में अच्छा कर सकता है और फिर भी टूल्स, लॉग्स, रोल निर्देशों, और बदलते डेटा के साथ एजेंट लूप में रखे जाने पर विफल हो सकता है। बिल्डर्स के लिए सीख सरल है: अगर आपका एजेंट अलर्ट्स की ट्रायेज करेगा, तो उसे अलर्ट ट्रायेज पर टेस्ट करें; अगर वह पेनिट्रेशन टेस्टिंग में मदद करेगा, तो उसे पेनिट्रेशन टेस्टिंग के काम पर टेस्ट करें। बेंचमार्क स्कोर मौसम की रिपोर्ट है, इमारत की जाँच नहीं।

MSSP Alert: मूल्यांकन लूप कैसे काम करता है

MSSP Alert की रिपोर्ट है कि AI Range Enterprise Edition एजेंटों का मूल्यांकन Agentic Worker Competence नामक तरीके से करता है। हर एजेंट को उसके सौंपे गए रोल के लिए एक स्कोर और सिम्युलेटेड वातावरणों में पास या फेल ग्रेड मिलता है। MSSP Alert यह भी कहता है कि प्लेटफ़ॉर्म समय के साथ प्रदर्शन को ट्रैक करता है, उभरती कमजोरियों और हमले के पैटर्न को दिखाने के लिए नियमित रूप से नए वातावरण जोड़ता है, और ग्राहकों को तब आकलन दोबारा चलाने देता है जब कोई एजेंट, उसका underlying मॉडल, या उसका डेटा बदलता है।

@title एजेंट मूल्यांकन लूप
@source MSSP Alert

  Own AI agent
     │
     ▼
  Assigned role
     │
     ▼
  Simulated environment
     │
     ▼
  Role score
     │
     ├─ Pass or fail
     └─ Tracked over time
         │
         ▼
  Re run assessment

@caption Hack The Box एजेंटों का मूल्यांकन रोल, सिम्युलेशन परिणामों, और अपडेट के बाद दोहराए गए परीक्षण के आधार पर करता है।

यहीं पर यह उत्पाद सिर्फ एक चमकदार लीडरबोर्ड से आगे बढ़ता है। अगर कोई टीम प्रॉम्प्ट बदलती है, underlying मॉडल बदलती है, retrieval डेटा अपडेट करती है, या टूल एक्सेस में बदलाव करती है, तो एजेंट अब बिल्कुल वही कर्मचारी नहीं रह जाता। MSSP Alert कहता है कि ग्राहक इन बदलावों के बाद आकलन दोबारा चला सकते हैं, जिससे यह प्लेटफ़ॉर्म एजेंट व्यवहार के लिए regression testing के रूप में उपयोगी बनता है। सुरक्षा workflows में, यह नौकरशाही नहीं है; यह वह तरीका है जिससे आप एक बेहद विनम्र incident generator शिप करने से बचते हैं।

arXiv: स्थिर साइबर टेस्ट अजीब क्यों होते जा रहे हैं

व्यापक शोध संदर्भ Hack The Box के कदम को समयानुकूल बनाता है। arXiv पेपर CAI: An Open, Bug Bounty Ready Cybersecurity AI का तर्क है कि साइबर सुरक्षा एजेंट capture the flag शैली के काम में पहले से ही अत्यधिक प्रभावी हो सकते हैं, जहाँ खास कामों में इंसानों की तुलना में 3,600× तक तेज और कुल मिलाकर 11× तेज परिणाम रिपोर्ट किए गए। वही पेपर कहता है कि CAI ने AI टीमों में पहला स्थान और AI बनाम मानव CTF live challenge में दुनिया भर में top 20 स्थान हासिल किया, और $750 कमाए।

एक और arXiv पेपर, Dynamic Cyber Ranges, मूल्यांकन समस्या के बारे में और अधिक सीधे शब्दों में बात करता है। इसके लेखक लिखते हैं कि Jeopardy CTF बेंचमार्क saturation के करीब पहुँच रहे हैं और LLM driven agents के बेहतर होने पर static cyber ranges अपनी प्रतिरोधक क्षमता खो सकते हैं। उनके मूल्यांकित परिदृश्यों में, Defender agents ने attacker success को 0 से 55% की सीमा तक घटाया, और कई configurations में पूरी रोकथाम की। व्यस्त टीमों के लिए अनुवाद: static tests कल की treadmill बन सकते हैं, इसलिए evaluation environments को चलते रहना होगा।

MSSP Alert: सुरक्षा टीमों को आगे क्या करना चाहिए

MSSP Alert एंटरप्राइज जरूरत को AI agents को production environments में प्रवेश करने से पहले vetting करने के रूप में बताता है। यही सही रुख है। सुरक्षा नेताओं को agent rollout को किसी भी अन्य high impact automation की तरह लेना चाहिए: role define करें, role test करें, results measure करें, बदलावों के बाद tests rerun करें, और जहाँ risk मांगता है वहाँ humans को loop में रखें। मानना पड़ेगा, यह glamorous नहीं है, लेकिन seatbelts भी नहीं हैं, और वे लगातार बेहतरीन product work करती रहती हैं।

ML builders के लिए दिलचस्प takeaway methodological है। मूल्यांकन की इकाई model capability से हटकर किसी खास job में agent competence बन रही है। इसका मतलब है कि टीमों को test environments, task rubrics, longitudinal tracking, और prompts, models, tools, तथा data के इर्द-गिर्द change management की जरूरत है। एजेंट अब सिर्फ lanyard पहने chatbot नहीं है; यह एक system है, और systems को tests चाहिए।

देखते रहें कि Hack The Box नए simulated environments के साथ आगे क्या करता है और enterprises इन परिणामों को deployment gates में कैसे शामिल करते हैं। अगर AI agents security operations में शामिल होने वाले हैं, तो उन्हें भी बाकी सभी की तरह वही basic standard पास करना चाहिए: महंगी चीज़ों को छूने से पहले साबित करो।