सेल्सफोर्स AI 70% पर दोहरा रहा है: मेट्रिक्स इसे नहीं पकड़ते

दो LLM एजेंट एक वर्कफ़्लो में प्रवेश करते हैं। एक को बातचीत करके समझौता करना है, दूसरे को सलाह देनी है, और काफी देर तक आगे-पीछे बातचीत के बाद वे कॉन्फ़्रेंस में लैनयार्ड बदलने जैसी कम्प्यूटेशनल हरकत करने लगते हैं। Salesforce AI Research ने इसके लिए एक नाम दिया है: echoing, जहाँ एजेंट अपनी निर्धारित भूमिकाएँ छोड़ देते हैं और अपने बातचीत-साथी की नकल करने लगते हैं। परेशान करने वाली बात यह नहीं है कि एजेंट असफल होते हैं, क्योंकि सॉफ़्टवेयर की दुनिया में आपका स्वागत है, कृपया एक पेजर ले लें। परेशान करने वाली बात यह है कि पेपर में echoing दरें 70% तक बताई गई हैं, जबकि Salesforce AI Research का कहना है कि मानक task-completion metrics पहचान की सीमा वाली इस विफलता को पूरी तरह मिस कर सकते हैं।

Salesforce ICLR 2026 में क्या ला रहा है

Salesforce के अनुसार, उसकी AI Research टीम ICLR 2026 में 21 स्वीकृत पेपर प्रस्तुत करेगी, जो 23 अप्रैल से 27 अप्रैल तक ब्राज़ील के रियो डी जेनेरो में Riocentro Convention and Event Center में आयोजित होगा। कंपनी का कहना है कि agent identity failures पर उसका काम Agents in the Wild: Safety, Security, and Beyond workshop में स्वीकार किया गया था। इससे Echoing: Identity Failures when LLM Agents Talk to Each Other AI शोध के कम चमकदार, लेकिन अधिक उपयोगी हिस्से में आता है: वह जगह जहाँ एजेंट demo confetti होना बंद करते हैं और ऐसे सिस्टम बनना शुरू करते हैं जिन्हें invariants की ज़रूरत होती है। Salesforce AI Research के publication page में यह पेपर ICLR Workshop 2026 के तहत सूचीबद्ध है और Sarath Shekkizhar, Romain Cosentino, Adam Earle, और Silvio Savarese को लेखक बताया गया है। वही पेज कहता है कि पेपर echoing को agent-agent interactions में एक emergent failure के रूप में formalize करता है, जहाँ मॉडल अपनी identity छोड़ देते हैं और conversational partners को mirror करते हैं। यह शब्दावली मायने रखती है क्योंकि यह सिर्फ खराब roleplay नहीं है। यह एक ऐसे सिस्टम में boundary failure है जिसकी पूरी बुनियाद इस बात पर टिकी है कि भूमिकाएँ अर्थपूर्ण रूप से अलग बनी रहें।

arXiv के अनुसार असहज mirror test Echoing: Identity Failures

when LLM Agents Talk to Each Other के arXiv abstract के अनुसार, लेखकों ने autonomous agent-agent conversations का अध्ययन किया और बड़े LLM providers में echoing पाया। पेपर में model और domain के आधार पर echoing rates 70% तक बताई गई हैं। इसमें यह भी बताया गया है कि advanced reasoning models में echoing 32.8% पर बनी रहती है, और increased reasoning effort ने उन दरों को कम नहीं किया। जाहिर है, ज़्यादा मेहनत से सोचना और यह याद रखना कि आप कौन हैं, एक ही चीज़ नहीं हैं, जो पारिवारिक शादियों में भी सच है। arXiv abstract कहता है कि interactions लंबे होने पर यह failure अधिक likely हो जाता है, खासकर 7+ agent turns पर। यह उन सभी लोगों के लिए उपयोगी चेतावनी है जो लंबी deliberation loops, review chains, negotiation agents, या नरक जैसी synthetic committee meetings वाले multi-agent workflows बना रहे हैं। एक अकेला एजेंट unit test पास कर सकता है, फिर किसी दूसरे model के साथ जोड़े जाने पर drift कर सकता है, जिसकी conversational gravity conflicting हो। इसलिए agent-agent evaluation, single-agent evaluation में बस extra chairs जोड़ देना नहीं है।

Salesforce AI Research के अनुसार standard metrics बहुत शिष्ट हैं Salesforce AI

Research का publication page कहता है कि echoing standard task-completion metrics से undetected रह सकता है। यह पेपर की builders के लिए सबसे अहम punchline है, क्योंकि task success एक बहुत महंगी participation trophy बन सकती है। अगर agent A booking पूरी करता है, agent B case summarize करता है, और दोनों रास्ते में चुपचाप अपनी identities बदलते रहते हैं, तो metric फिर भी मुस्कुरा कर approved की मोहर लगा सकता है। सिस्टम ने काम कर दिया, लेकिन ज़रूरी नहीं कि उस सिस्टम की तरह किया हो जिसे आपने design किया था। यह finding multi-agent LLM fragility से जुड़े व्यापक research thread से मेल खाती है। Why Do Multi-Agent LLM Systems Fail? में, लेखक 150 से अधिक tasks में पाँच लोकप्रिय multi-agent system frameworks का विश्लेषण बताते हैं, जिसमें छह expert human annotators शामिल थे। वे 14 unique failure modes की पहचान करते हैं, जिन्हें specification और system design failures, inter-agent misalignment, और task verification और termination में समूहित किया गया है। Echoing असहज बीच वाले हिस्से में ठीक से फिट बैठता है: एजेंट communicate कर सकते हैं, collaborate कर सकते हैं, और फिर भी एक खराब trained improv troupe की तरह एक-दूसरे में धुंधला सकते हैं।

Echoing paper के अनुसार builders को क्या देखना चाहिए

Echoing arXiv abstract कहता है कि लेखक targeted structured response का उपयोग करके एक protocol-level mitigation पेश करते हैं, जिससे echoing घटकर 9% रह जाती है। यह एक practical clue है, कोई जादुई ताबीज़ नहीं। Structured responses एजेंटों को communication protocol में identity को relevant बनाए रखने के लिए मजबूर कर सकते हैं, बजाय इसके कि prompt header पर भरोसा किया जाए कि वह legal contract की तरह व्यवहार करेगा। अगर आपकी agent architecture मुख्य guardrail के रूप में please remain in role पर निर्भर करती है, तो बधाई हो, आपने tornado के लिए Post-it note invent कर लिया है। Builders के लिए takeaway साफ है: identity preservation को अपनी अलग property के रूप में evaluate करें, खासकर लंबी agent-agent conversations में। यह track करें कि agents role, objective, और authority boundaries बनाए रखते हैं या नहीं, सिर्फ यह नहीं कि final answer plausible दिखता है या नहीं। देखें कि vendors और frameworks AxA identity tests, structured response protocols, और ऐसे task metrics जोड़ते हैं या नहीं जो completion को role collapse से अलग पहचान सकें। Multi-agent systems doomed नहीं हैं, लेकिन उन्हें बेहतर mirrors की ज़रूरत है, बेहतर होगा ऐसे mirrors की जो गलत आवाज़ में जवाब देना शुरू न कर दें।