Gaung AI Salesforce di 70%: Metrik Melewatkannya

Dua agen LLM masuk ke sebuah alur kerja. Yang satu seharusnya bernegosiasi, yang lain seharusnya memberi saran, dan setelah cukup banyak bolak-balik, mereka mulai melakukan padanan komputasional dari saling menukar lanyard di konferensi. Salesforce AI Research punya nama untuk ini: echoing, yaitu ketika agen meninggalkan peran yang ditugaskan dan meniru lawan bicaranya. Bagian yang meresahkan bukanlah bahwa agen bisa gagal, karena selamat datang di dunia perangkat lunak, silakan ambil pager. Bagian yang meresahkan adalah bahwa makalah tersebut melaporkan tingkat echoing setinggi 70%, sementara Salesforce AI Research mengatakan metrik penyelesaian tugas standar bisa sepenuhnya melewatkan kegagalan batas identitas ini.

Apa yang dibawa Salesforce ke ICLR 2026 Menurut Salesforce, tim AI Research

mereka akan mempresentasikan 21 makalah yang diterima di ICLR 2026, yang berlangsung pada 23 April hingga 27 April di Riocentro Convention and Event Center di Rio de Janeiro, Brasil. Perusahaan tersebut mengatakan karyanya tentang kegagalan identitas agen diterima di lokakarya Agents in the Wild: Safety, Security, and Beyond. Itu menempatkan Echoing: Identity Failures when LLM Agents Talk to Each Other di sudut riset AI yang kurang glamor tetapi lebih berguna: tempat di mana agen berhenti menjadi konfeti demo dan mulai menjadi sistem yang membutuhkan invariant. Halaman publikasi Salesforce AI Research mencantumkan makalah tersebut di bawah ICLR Workshop 2026 dan menyebut Sarath Shekkizhar, Romain Cosentino, Adam Earle, dan Silvio Savarese sebagai penulisnya. Halaman yang sama mengatakan makalah itu memformalkan echoing sebagai kegagalan emergen dalam interaksi agen-ke-agen, ketika model meninggalkan identitasnya dan meniru lawan bicara. Pilihan kata itu penting karena ini bukan sekadar roleplay yang buruk. Ini adalah kegagalan batas dalam sistem yang seluruh premisnya bergantung pada peran yang tetap berbeda secara bermakna.

Tes cermin yang canggung, menurut arXiv Menurut abstrak

arXiv untuk Echoing: Identity Failures when LLM Agents Talk to Each Other, para penulis mempelajari percakapan otonom agen-ke-agen dan menemukan echoing di berbagai penyedia LLM besar. Makalah tersebut melaporkan tingkat echoing setinggi 70%, bergantung pada model dan domain. Makalah itu juga melaporkan bahwa echoing tetap terjadi pada model penalaran lanjutan sebesar 32,8%, dan bahwa peningkatan upaya penalaran tidak menurunkan angka tersebut. Rupanya, berpikir lebih keras tidak sama dengan mengingat siapa dirimu, yang juga benar di pesta pernikahan keluarga. Abstrak arXiv mengatakan kegagalan ini menjadi lebih mungkin terjadi saat interaksi makin panjang, khususnya pada 7+ giliran agen. Itu adalah peringatan yang berguna bagi siapa pun yang membangun alur kerja multi-agen dengan loop deliberasi panjang, rantai tinjauan, agen negosiasi, atau rapat komite sintetis dari neraka. Satu agen bisa lulus unit test, lalu mulai menyimpang ketika dipasangkan dengan model lain yang memiliki gravitasi percakapan yang bertentangan. Inilah mengapa evaluasi agen-ke-agen bukan sekadar evaluasi agen tunggal dengan kursi tambahan.

Mengapa metrik standar terlalu sopan, menurut Salesforce AI Research Halaman

publikasi Salesforce AI Research mengatakan echoing dapat tetap tidak terdeteksi oleh metrik penyelesaian tugas standar. Itulah poin paling relevan bagi pembangun dari makalah ini, karena keberhasilan tugas bisa berubah menjadi piala partisipasi yang sangat mahal. Jika agen A menyelesaikan pemesanan, agen B merangkum kasus, dan keduanya diam-diam mengubah identitas mereka di sepanjang jalan, metrik mungkin tetap tersenyum dan memberi stempel disetujui. Sistemnya memang melakukan tugasnya, tetapi belum tentu sebagai sistem yang kamu rancang. Temuan itu sejalan dengan benang riset yang lebih luas seputar kerapuhan LLM multi-agen. Dalam Why Do Multi-Agent LLM Systems Fail?, para penulis melaporkan analisis terhadap lima framework sistem multi-agen populer di lebih dari 150 tugas, dengan enam anotator manusia ahli. Mereka mengidentifikasi 14 mode kegagalan unik yang dikelompokkan ke dalam kegagalan spesifikasi dan desain sistem, ketidakselarasan antar-agen, serta verifikasi dan terminasi tugas. Echoing cocok berada di tengah yang tidak nyaman: agen dapat berkomunikasi, berkolaborasi, dan tetap melebur satu sama lain seperti kelompok improv yang dilatih dengan buruk.

Apa yang perlu diperhatikan pembangun, menurut makalah Echoing Abstrak arXiv

Echoing mengatakan para penulis memperkenalkan mitigasi tingkat protokol menggunakan respons terstruktur yang ditargetkan, sehingga mengurangi echoing menjadi 9%. Itu adalah petunjuk praktis, bukan jimat ajaib. Respons terstruktur dapat memaksa agen menjaga identitas tetap relevan dalam protokol komunikasi, alih-alih memercayai header prompt untuk berperilaku seperti kontrak hukum. Jika arsitektur agenmu mengandalkan “tolong tetap berada dalam peran” sebagai pagar pengaman utama, selamat, kamu telah menciptakan Post-it note untuk menghadapi tornado. Bagi pembangun, kesimpulannya jelas: evaluasi pelestarian identitas sebagai properti tersendiri, terutama dalam percakapan agen-ke-agen yang lebih panjang. Lacak apakah agen mempertahankan batas peran, tujuan, dan otoritas, bukan hanya apakah jawaban akhirnya terlihat masuk akal. Perhatikan apakah vendor dan framework menambahkan tes identitas AxA, protokol respons terstruktur, dan metrik tugas yang membedakan penyelesaian dari runtuhnya peran. Sistem multi-agen tidak ditakdirkan gagal, tetapi mereka memang membutuhkan cermin yang lebih baik, sebaiknya cermin yang tidak mulai membalas dengan suara yang salah.