एयर कनाडा का चैटबॉट कोर्ट में हारा। मॉडल ठीक था। गवर्नेंस नहीं था।

कल्पना कीजिए कि एक एयरलाइन ग्राहकों के सवालों का जवाब देने के लिए एक चैटबॉट तैनात करती है, और वह चैटबॉट आत्मविश्वास के साथ एक ऐसी छूट नीति बना देता है जो असल में कभी थी ही नहीं — और फिर ट्रिब्यूनल के सामने यह तर्क दिया जाता है कि चैटबॉट मूल रूप से एक स्वतंत्र इकाई था, इसलिए यह एयरलाइन की जिम्मेदारी नहीं है। यह तर्क नहीं चला। Air Canada को उस रिफंड के लिए उत्तरदायी ठहराया गया, जिसका वादा उसके चैटबॉट ने एक बेरीवमेंट फेयर पॉलिसी के तहत किया था — जिसे चैटबॉट ने बस गढ़ लिया था। इसके लिए तकनीकी शब्द है: हैलुसिनेशन। और जो इसके बाद हुआ, उसके लिए कानूनी और परिचालन शब्द है: पूरी तरह रोका जा सकने वाला। और इससे जो गहरा सबक मिलता है — जो हर उस टीम पर लागू होता है जो AI को ग्राहक-सामना भूमिका में तैनात करती है — वह यह है कि चैटबॉट ने वही किया जो भाषा मॉडल करते हैं। विफलता एक स्तर ऊपर हुई — किसी भी गवर्नेंस संरचना की अनुपस्थिति में, जो इसे पकड़ सके।

जब मॉडल ठीक काम करे और फिर भी सब कुछ गलत हो जाए

Air Canada का मामला उस पैटर्न का एक स्पष्ट उदाहरण है जिसे NineTwoThree के प्रमुख AI विफलताओं के विश्लेषण में सीधे दर्ज किया गया है: AI हाइप और AI कार्यान्वयन के बीच की खाई ठीक वहीं है जहाँ असली नुकसान होता है। उस विश्लेषण के अनुसार, 2025 में कॉर्पोरेट AI पहलों का विशाल बहुमत उत्पादन तक पहुँचने या सकारात्मक कैश फ्लो उत्पन्न करने में विफल रहा। Air Canada का चैटबॉट, न्यायसंगत रूप से कहें तो, उत्पादन तक पहुँचा। लेकिन एक कानूनी फैसला हारकर उसने नकारात्मक कैश फ्लो उत्पन्न किया — जो उसे विफलताओं की अधिक शिक्षाप्रद श्रेणी में रखता है: वे जो आपको कुछ विशेष सिखाती हैं।

MITRE Corporation की "Five AI Fails" रिपोर्ट एक ऐसा फ्रेमिंग प्रस्तुत करती है जिसे प्रैक्टिशनर्स को ऐसी जगह सहेजना चाहिए जहाँ वे वास्तव में इसे पढ़ेंगे। MITRE का तर्क है कि AI सिस्टम स्वतंत्र विजेट नहीं हैं, बल्कि एक जटिल पारिस्थितिकी तंत्र के हिस्से हैं जो मानव व्यवहार और निर्णय लेने के साथ परस्पर क्रिया करते हैं और उसे प्रभावित करते हैं। सिस्टम को केवल मॉडल स्तर पर मापना उस व्यापक प्रभाव को चूक जाता है जो इसका आसपास के मनुष्यों और संस्थाओं पर पड़ता है।

एक चैटबॉट जो आत्मविश्वास के साथ गलत जवाब देता है — यह एक मॉडल-स्तरीय अवलोकन है। एक कंपनी जो ट्रिब्यूनल के सामने इसलिए पेश होती है क्योंकि किसी ने यह नहीं देखा कि चैटबॉट को क्या वादा करने की अनुमति थी — यह एक गवर्नेंस-स्तरीय विफलता है। ये मूलतः अलग-अलग समस्याएँ हैं, और इन्हें आपस में मिला देना ही टीमों को चौंकाता है।

वास्तव में क्या टूटता है — एक वर्गीकरण

Ss. Cyril and Methodius University और Boston University के Metropolitan College के शोधकर्ताओं ने हाल ही में वास्तविक दुनिया की AI विफलताओं का एक डेटा-आधारित वर्गीकरण प्रकाशित किया, जो 9,705 मीडिया-रिपोर्टेड AI घटना लेखों के संग्रह पर आधारित है और उनमें से 6,893 ग्रंथों से स्पष्ट शमन क्रियाएँ निकाली गई हैं। उनका arXiv पेपर पाता है कि उच्च-दांव वाले वर्कफ्लो में LLM विफलताएँ पृथक मॉडल त्रुटियों से आगे बढ़कर प्रणालीगत विभंजन में फैल जाती हैं, जो कानूनी जोखिम, प्रतिष्ठा क्षति, और भौतिक वित्तीय नुकसान उत्पन्न करती हैं।

यहाँ महत्वपूर्ण शब्द है: प्रणालीगत। मॉडल ने गलती की; सिस्टम के पास कोई सर्किट ब्रेकर नहीं था।

प्रीट्रेंड मॉडलों पर काम करने वाले डाउनस्ट्रीम डेवलपर्स पर एक अलग arXiv अध्ययन — जो मिश्रित-विधि साक्षात्कार और सर्वेक्षणों के माध्यम से आयोजित किया गया — पाता है कि प्रैक्टिशनर्स डेटा लीकेज और पक्षपाती आउटपुट जैसे विफलता के तरीकों को अक्सर कम आँकते हैं, और ये जोखिम कभी-कभी वास्तविक दुनिया की तैनाती में सक्रिय रूप से कम करने के बजाय अनजाने में अनदेखे रह जाते हैं।

वह "अनजाने में" बहुत काम कर रहा है। यह दुर्भावना नहीं है। यह उन टीमों का स्वाभाविक परिणाम है जो शिप वेलोसिटी के लिए अनुकूलन कर रही हैं और गवर्नेंस को लॉन्च के बाद की चिंता मान रही हैं।

वह शोध अंतराल जो इसे और बुरा बनाता है

यहाँ एक असहज संरचनात्मक तथ्य है। जनवरी 2020 से मार्च 2025 के बीच प्रकाशित 9,439 जेनरेटिव AI शोध पत्रों का विश्लेषण करने वाला एक arXiv पेपर — जो प्रमुख AI कंपनियों (Anthropic, Google DeepMind, Meta, Microsoft, और OpenAI) और अग्रणी विश्वविद्यालयों (CMU, MIT, NYU, Stanford, UC Berkeley, और University of Washington) के आउटपुट की तुलना करता है — पाता है कि कॉर्पोरेट AI अनुसंधान तेजी से पूर्व-तैनाती कार्य पर केंद्रित हो रहा है, विशेष रूप से मॉडल अलाइनमेंट और परीक्षण एवं मूल्यांकन पर। तैनाती-चरण के मुद्दों जैसे मॉडल पूर्वाग्रह पर ध्यान वास्तव में कम हुआ है।

पेपर स्वास्थ्य सेवा, वित्त, हैलुसिनेशन, और कॉपीराइट सहित उच्च-जोखिम तैनाती डोमेन में महत्वपूर्ण शोध अंतराल की पहचान करता है, और तैनाती डेटा तक बाहरी शोधकर्ताओं की पहुँच का विस्तार करने और बाजार में AI व्यवहारों की व्यवस्थित निगरानी की अनुशंसा करता है।

तो सबसे सक्षम मॉडल बनाने वाले लोग, अपने स्वयं के शोध आउटपुट के अनुसार, इस बात पर कम ध्यान दे रहे हैं कि वे मॉडल शिप होने के बाद क्या होता है।

Harvard Safra Center for Ethics इसे एक व्यापक पैटर्न के रूप में रेखांकित करता है: AI विफलताएँ AI विकास और तैनाती के व्यावहारिक खतरों की सतर्क करने वाली याद दिलाती हैं, और उनकी जाँच नीति-निर्माताओं, तकनीशियनों, और हितधारकों के लिए जोखिमों की पहचान करने के महत्वपूर्ण संदर्भ बिंदु के रूप में काम करती है जो अन्य AI पहलों को प्रभावित करना चाहिए।

आप इसे एक अकादमिक अवलोकन के रूप में पढ़ सकते हैं या अपनी अगली स्प्रिंट प्लानिंग मीटिंग के लिए एक सीधे निर्देश के रूप में। दोनों पाठ वैध हैं।

प्रैक्टिशनर्स वास्तव में क्या कर सकते हैं

MITRE का lessons-learned फ्रेमवर्क चार ठोस प्रतिक्रियाएँ प्रस्तावित करता है जो एक प्रैक्टिशनर चेकलिस्ट के रूप में अच्छी तरह टिकती हैं: उत्पादन कोड की पहली लाइन से पहले ही प्रारंभिक-परियोजना विचारों को विफलता के तरीकों तक विस्तारित करें; AI और उसके आसपास के संगठन दोनों में लचीलापन बनाएँ; AI और उसके द्वारा उपयोग किए जाने वाले डेटा में विश्वास को कैलिब्रेट करें; और सटीकता मेट्रिक्स से परे सिस्टम के प्रभाव का आकलन करने के तरीकों को व्यापक बनाएँ।

इनमें से किसी के लिए भी एक नए मॉडल की आवश्यकता नहीं है। इनके लिए तैनाती को एक इंजीनियरिंग अनुशासन के रूप में, अपनी स्वयं की आवश्यकताओं के साथ, मानना होगा — न कि प्रशिक्षण के बाद एक विजय उत्सव के रूप में।

AIMutiple का AI विफलता के मूल कारणों का विश्लेषण एक पूरक दृष्टिकोण जोड़ता है: कई विफलताएँ गलत-संरेखित उद्देश्यों, खराब डेटा गुणवत्ता, और लूप में अपर्याप्त मानव निगरानी से जुड़ी हैं — मॉडल की आर्किटेक्चर से नहीं।

यदि आपका चैटबॉट बिना किसी मानव समीक्षा चरण के ग्राहकों से बाध्यकारी वादे कर सकता है, तो आपने AI सिस्टम तैनात नहीं किया है। आपने एक देनदारी तैनात की है।

उत्पादन भूमिकाओं की ओर बढ़ रहे शिक्षार्थियों के लिए, Air Canada का मामला बुकमार्क करने लायक है — इसलिए नहीं कि यह चौंकाने वाला है, बल्कि इसलिए कि यह स्पष्ट करने वाला है। हर ग्राहक-सामना AI तैनाती को शिप होने से पहले तीन सवालों का स्पष्ट जवाब चाहिए: यह सिस्टम संगठन की ओर से क्या प्रतिबद्धता कर सकता है, उपयोगकर्ताओं तक पहुँचने से पहले उच्च-दांव वाले आउटपुट की समीक्षा कौन करता है, और जब मॉडल गलत हो तो एस्केलेशन पथ क्या है। जो टीमें डिज़ाइन में इन सवालों का जवाब देती हैं, उन्हें ट्रिब्यूनल के सामने इनका जवाब नहीं देना पड़ेगा।

EU AI Act के कार्यान्वयन समयरेखा और प्रमुख AI डेवलपर्स की स्वैच्छिक प्रतिबद्धताओं से उभरते गवर्नेंस फ्रेमवर्क पर नज़र रखें: उत्पादन विफलताओं की अगली लहर में संभवतः और भी अधिक स्वायत्त निर्णय लेने वाले एजेंटिक सिस्टम शामिल होंगे, जो गवर्नेंस परत को एक वैकल्पिक सुविधा नहीं बल्कि केंद्रीय इंजीनियरिंग चुनौती बनाता है।

Air Canada के चैटबॉट ने केवल बुरी सलाह दी। अगली पीढ़ी के सिस्टम उस पर कार्य करेंगे।