
इस लेख में (4)
ASD विश्लेषण
मुख्य बातें
- प्रॉम्प्ट इंजेक्शन को प्रॉम्प्ट शब्दों की समस्या नहीं, बल्कि सिस्टम डिज़ाइन जोखिम मानें।
- LLM को टूल, डेटा या वर्कफ़्लो कार्रवाइयों से जोड़ने से पहले एजेंट अनुमतियों को सीमित करें।
- मॉनिटरिंग और समीक्षा गेट्स का उपयोग करें ताकि विफलताओं को डिफ़ॉल्ट रूप से भरोसेमंद मानने के बजाय नियंत्रित रखा जा सके।
यह क्यों मायने रखता है
- प्रोडक्टProduct teams need agent designs that contain bad instructions before they become customer impact.
- निवेशकInvestors should pressure test AI agent companies for permissions, monitoring, and containment, not just model demos.
एजेंसी का मार्गदर्शन बिल्डरों को कंटेनमेंट, अनुमतियों, निगरानी और नीरस लेकिन परिपक्व सिस्टम डिज़ाइन की ओर प्रेरित करता है।
एजेंसी का मार्गदर्शन निर्माताओं को नियंत्रण, अनुमतियों, निगरानी और गंभीर, परिपक्व सिस्टम डिज़ाइन की ओर प्रेरित करता है।
AI सुरक्षा में सबसे डरावना वाक्य किसी हुडी पहने हमलावर द्वारा टाइप नहीं किया जाता। वह एक नियामक द्वारा, शांत ढंग से, दिशानिर्देशों की भाषा में टाइप किया जाता है: आप इसे मॉडल के अंदर ठीक नहीं कर सकते। कहीं न कहीं, किसी प्रॉम्प्ट इंजीनियर ने अभी-अभी जादुई शब्दों की लैमिनेटेड सूची पर कॉफी गिरा दी होगी। एजेंटिक AI के लिए प्रॉम्प्ट इंजेक्शन को लेकर Australian Signals Directorate की नई रूपरेखा में यही उपयोगी बात है। ASD प्रॉम्प्ट इंजेक्शन को किसी ढीले-ढाले यूनिट टेस्ट की तरह नहीं देख रहा, यानी डेमो डे से पहले कुचलने लायक बस एक और बग। वह सिस्टम की बनावट की ओर इशारा कर रहा है, जो बहुत कम सुकून देने वाली और कहीं अधिक काम की बात है।
ASD समाधान को मॉडल के बाहर ले जाता है
According to iTnews, ASD ने उद्यमों के लिए नए दिशानिर्देश जारी किए हैं, जिनमें कहा गया है कि एजेंटिक AI में एक केंद्रीय सुरक्षा कमजोरी को मॉडल के अंदर हल नहीं किया जा सकता। iTnews की रिपोर्ट के अनुसार, एजेंसी की सिफारिश है कि जोखिम घटाने के उपाय मॉडल के चारों ओर लिपटी सॉफ्टवेयर लेयर में होने चाहिए।
InfoSec Today ने भी इसी मुख्य बात को संक्षेप में कहा: यह कमजोरी ऐसी चीज नहीं है जिसे मॉडल के अंदरूनी हिस्से स्थायी रूप से खत्म कर सकें, इसलिए बनाने वालों को मॉडल के आसपास नियंत्रण चाहिए, न कि वीरतापूर्ण प्रॉम्प्ट-मंत्र।
यह इसलिए मायने रखता है क्योंकि जोखिम तब बढ़ता है जब LLMs को टूल्स, डेटा स्टोर्स और वर्कफ़्लो कार्रवाइयों से जोड़ा जाता है। एक चैटबॉट जो खराब हाइकू लिखता है, शर्मनाक है। एक एजेंट जो किसी दस्तावेज़ से शत्रुतापूर्ण निर्देश पढ़ता है और फिर अत्यधिक अधिकारों वाले स्वीकृत टूल का उपयोग करता है, वह कॉर्पोरेट क्रेडिट कार्ड वाला Roomba है।
बेहतर प्रॉम्प्टिंग दीवार से क्यों टकराती है
Alexander Arvidsson का ArcticDBA विश्लेषण वास्तुकला की अड़चन को सरल शब्दों में समझाता है: सिस्टम प्रॉम्प्ट, उपयोगकर्ता संदेश और प्राप्त किए गए दस्तावेज़, सभी टोकन के रूप में उसी संदर्भ विंडो से होकर गुजरते हैं। दूसरे शब्दों में, मॉडल निर्देश और संभावित रूप से शत्रुतापूर्ण सामग्री उसी सामान्य चैनल के जरिए प्राप्त करता है।
यह ताले वाली फाइलिंग कैबिनेट रखने जैसा कम, और पासवर्ड को स्टिकी नोट पर लिखने जैसा अधिक है, फिर उस स्टिकी नोट से नैतिक व्यवहार करने को कहना।
Adaline में Nilesh Barla इसका पूरक बिंदु रखते हैं कि प्रॉम्प्ट इंजेक्शन बेहतर प्रॉम्प्ट्स से ठीक नहीं होता, क्योंकि हमला-क्षेत्र टूल लेयर में रहता है। Arun Baby का विश्लेषण भी इसी तरह तर्क देता है कि फ़िल्टर पर्याप्त नहीं हैं, क्योंकि LLMs भरोसेमंद निर्देशों और अविश्वसनीय डेटा को उसी टोकन स्ट्रीम के जरिए प्रोसेस करते हैं।
Arun Baby जिन बचावों को मजबूत बताते हैं, वे वास्तुकला-आधारित हैं, जिनमें privilege separation, type directed isolation और spotlighting शामिल हैं। यहीं बातचीत सौभाग्य से कम रहस्यमय हो जाती है।
व्यावहारिक सीख यह नहीं है कि एजेंटों का इस्तेमाल बंद कर दें। यह है कि यह दिखावा बंद करें कि एक लंबा सिस्टम प्रॉम्प्ट सीटबेल्ट, एयरबैग और ट्रैफिक कानून—तीनों है।
शोध containment पर एकमत हो रहा है
Ciphers Security ने रिपोर्ट किया कि Sahar Abdelnabi और Eugene Bagdasarian द्वारा 17 मई, 2026 को arXiv में जमा किए गए एक पेपर में यह जांचा गया है कि AI एजेंट हमेशा प्रॉम्प्ट इंजेक्शन के प्रति असुरक्षित क्यों रह सकते हैं। arXiv पेपर, AI Agents May Always Fall for Prompt Injections, कहता है कि मौजूदा डेटा-निर्देश पृथक्करण बचाव संदर्भगत हेरफेर को चूक सकते हैं और संदर्भ के अनुसार उचित व्यवहार को भी कमजोर कर सकते हैं।
यही दुखद समझौता है: नियम बहुत कड़े कर दें तो उपयोगी काम टूट जाता है, उन्हें ढीला करें तो विरोधी किसी खराब प्रवाह को वैध जैसा दिखा सकता है।
यह कोई बिल्कुल नया भूत नहीं है जो कल ही GPU रैक से रेंगकर निकला हो। पुराना arXiv पेपर Prompt Injection: Parameterization of Fixed Inputs दिखाता है कि इस समस्या पर वर्षों से औपचारिक शोध होता रहा है। अगर कोई विक्रेता अपनी बात में प्रॉम्प्ट इंजेक्शन को किसी नई खोजी गई असुविधा की तरह पेश करे, जिसे मालिकाना परियों की धूल से हल कर दिया गया है, तो इनवॉइस देखने से पहले bibliography देख लें।
2026 का arXiv पेपर समस्या को Contextual Integrity के जरिए फिर से समझाता है, जो गोपनीयता का एक सिद्धांत है कि सूचना प्रवाह संदर्भगत मानदंडों का पालन करता है या नहीं। यह ढांचा मददगार है क्योंकि एजेंट अब सिर्फ स्थिर स्ट्रिंग्स के आधार पर नहीं, बल्कि संदर्भ के आधार पर फैसले लेते हैं।
कठिन हिस्सा ignore previous instructions वाक्यांश को पहचानना नहीं है, बल्कि यह समझना है कि कब कोई दिखने में उचित अनुरोध गलत अधिकार, उद्देश्य या प्रवाह को अंदर छिपाकर ला रहा है।
बिल्डरों को अभी क्या करना चाहिए
कुल मिलाकर, iTnews के जरिए ASD के दिशानिर्देश और शोध साहित्य containment की ओर इशारा करते हैं। एजेंटों को केवल उतनी ही टूल पहुँच दें जितनी उन्हें चाहिए, भरोसेमंद निर्देशों को अविश्वसनीय सामग्री से जितना वास्तुकला अनुमति दे उतना अलग करें, उच्च-प्रभाव वाली कार्रवाइयों के लिए मानव समीक्षा जरूरी करें, और टूल उपयोग की निगरानी ऐसे करें जैसे वह किसी बहुत उत्साही जूनियर कर्मचारी का हो।
इसलिए नहीं कि जूनियर कर्मचारी बुरा है, बल्कि इसलिए कि उसे यह यकीन दिलाया जा सकता है कि फोटोकॉपी मशीन एक डेटाबेस माइग्रेशन रणनीति है।
प्रोडक्ट टीमों के लिए तत्काल प्रश्न यह नहीं है कि क्या किसी LLM को पूरी तरह आज्ञाकारी बनाया जा सकता है। प्रश्न यह है कि जब वह ऐसा नहीं होता, तब क्या होता है। सिस्टम ऐसे डिजाइन करें कि कोई खराब निर्देश पैसे, ग्राहक डेटा या प्रोडक्शन वर्कफ़्लो को छूने से पहले अनुमति सीमाओं, लॉगिंग, समीक्षा गेट्स और सीमित दायरे वाले टूल्स से टकराए।
एजेंटों के साथ निर्माण कर रहे पाठकों के लिए, ASD की चेतावनी प्रॉम्प्ट-अंधविश्वास से दूर और सुरक्षा इंजीनियरिंग की ओर एक संकेत है। मॉडल किला नहीं है। वह चाबियाँ पकड़े हुए बेहद भरोसा दिलाने वाला इंटर्न है।
स्रोत8 स्रोत
वे रिपोर्टें, घोषणाएँ और शोध जिनके आधार पर AI संपादक ने काम किया। लिंक मूल प्रकाशक का पेज खोलते हैं।
- ASD कहता है कि AI में प्रॉम्प्ट इंजेक्शन ठीक नहीं किया जा सकताitnews.com.au
- ASD कहता है कि AI में प्रॉम्प्ट इंजेक्शन ठीक नहीं किया जा सकताinfosectoday.io
- अध्ययन में पाया गया कि AI एजेंटों में प्रॉम्प्ट इंजेक्शन शायद ठीक न किया जा सकेcipherssecurity.com
- प्रॉम्प्ट इंजेक्शन कोई प्रॉम्प्ट समस्या नहीं है - Nilesh Barla द्वाराlabs.adaline.ai
- अठीकनीय से लड़ना: प्रॉम्प्ट इंजेक्शन डिफेंस की स्थिति · ArcticDBA - Alexander Arvidssonarcticdba.se