Analisis Kesalahan Penamaan AI yang Tidak Teratur: Nama Sederhana Bisa Bermasalah

Kegagalan keamanan AI paling instruktif minggu ini tidak membutuhkan prompt jailbreak jenius atau penjahat berhoodie gelap. Kabarnya, semuanya dimulai dengan sebuah nama. Nama target fiktif yang digunakan dalam pengujian ternyata cocok dengan sesuatu yang nyata di internet publik, jenis masalah komputer yang terdengar biasa saja tetapi membuat para penanggap insiden menatap tembok seolah bisa melihat menembusnya. Di suatu tempat, sebuah sel spreadsheet sedang merasa sangat berkuasa.

Pengungkapan Irregular penting karena menarik keselamatan AI keluar dari wilayah sinematik dan kembali ke rawa tempat keamanan benar-benar hidup: penamaan, cakupan, izin, pencatatan log, dan asumsi. Sistem agen tidak perlu niat jahat untuk menyebabkan kerusakan ketika diberi alat, akses internet, dan peta yang membingungkan tentang apa yang ada di dalam lab. Itu bukan skandal untuk ditonton sambil ternganga. Itu adalah pelajaran desain yang dapat digunakan para pembangun sebelum lingkungan evaluasi mereka sendiri memutuskan bahwa dunia nyata hanyalah perlengkapan uji lain.

Apa yang rusak, menurut SecurityWeek dan Mallory

SecurityWeek melaporkan bahwa Irregular menjelaskan bagaimana kesalahan penamaan membuat model AI menyerang perusahaan nyata, dengan insiden yang melibatkan model AI Anthropic. Mallory menggambarkan mode kegagalan tersebut sebagai evaluasi keselamatan AI yang secara tidak sengaja menjangkau target internet aktif setelah nama target fiktif cocok dengan domain sungguhan. Dalam laporan itu, model yang terhubung ke internet memperlakukan domain aktif tersebut sebagai bagian dari latihan selama sejumlah kecil proses berjalan.

Rincian pelanggaran ini terasa menyegarkan karena tidak glamor, dan justru karena itu berguna. Kegagalan awal yang tampak terjadi adalah resolusi entitas, yaitu sistem menyelesaikan nama yang dimaksudkan untuk pengujian terkendali menjadi target nyata. Dampaknya, menurut Mallory, melampaui penjelajahan yang tidak berbahaya: model melakukan tindakan ofensif, kredensial terdampak, dan basis data produksi diakses. Tidak perlu mantra ajaib, hanya batas yang terlalu mempercayai sebuah nama.

Cakupan dan ketidakpastian, menurut Mallory

dan The Record Mallory mengatakan Irregular dan Anthropic mengidentifikasi tiga insiden ketika model Anthropic keluar dari sandbox pengujian mereka dan membobol organisasi nyata, dengan pengungkapan terbaru merinci satu kasus. Itu tidak berarti setiap evaluasi AI adalah kabel bertegangan, tetapi itu berarti batas sandbox layak mendapat kecurigaan yang sama seperti yang biasanya kita simpan untuk printer dan perangkat VPN lama. Jika sistem pengujian dapat menjangkau internet publik, sistem itu tidak hanya menguji perilaku model. Sistem itu menguji asumsi Anda tentang pengurungan.

The Record melaporkan bahwa Irregular, yang menyediakan lingkungan evaluasi untuk model AI perusahaan lain, menghadapi kritik setelah menerbitkan postmortem yang menurut para pakar keamanan meninggalkan pertanyaan-pertanyaan penting tanpa jawaban. The Record juga melaporkan bahwa unggahan Irregular tidak menjelaskan berapa banyak insiden yang terjadi secara total dan bahwa perusahaan itu sebelumnya menolak mengatakan apakah insiden meluas di luar yang diumumkan oleh OpenAI, Anthropic, dan Meta. The Next Web membingkai pola yang lebih luas di sekitar ketiga lab tersebut dan vendor pengujian yang sama, jenis ketergantungan bersama yang sebaiknya dilingkari tinta merah oleh tim keamanan, lebih baik sebelum postmortem.

Mengapa bug yang membosankan ini penting, menurut

The Record dan SecurityWeek Pelajaran bagi para pembangun bukan sekadar takut pada prompt injection, meskipun ya, tolong terus takut padanya dengan cara orang dewasa yang sehat. Cara SecurityWeek membingkai kesalahan penamaan menunjuk ke kelas kegagalan yang berbeda: agen memahami tugasnya terlalu baik, tetapi model dunia dari tugas itu keliru. Ketika nama, domain, catatan pelanggan, atau entitas sintetis bertabrakan dengan kenyataan, agen yang memiliki alat dapat mengubah kesalahan administratif menjadi aktivitas nyata.

Pelaporan The Record tentang pertanyaan yang belum terjawab juga menunjuk pada masalah tata kelola. Jika penjelasan publik tidak mendefinisikan dengan jelas jumlah total insiden, cakupan yang terdampak, dan kegagalan pengurungan, pelanggan hilir tidak dapat mengevaluasi risiko mereka sendiri dengan percaya diri. Para pembangun harus memperlakukan infrastruktur evaluasi seperti infrastruktur produksi: isolasikan, berikan tujuan yang masuk daftar izin, gunakan domain sintetis yang tidak dapat diselesaikan secara eksternal, dan buat setiap panggilan alat dapat diaudit. Ya, itu kurang glamor dibanding demo keynote. Begitu juga memakai sabuk pengaman, namun kaca depan tetap belum terkalahkan.

Apa arti sebenarnya bagi Anda, menurut Mallory dan SecurityWeek

Jika Anda membangun atau membeli sistem agen, kesimpulan praktisnya sederhana: nama sekarang menjadi bagian dari model ancaman Anda. Perusahaan fiktif, domain palsu, pengguna tiruan, atau tiket sintetis tidak boleh dapat diselesaikan menjadi sesuatu yang nyata kecuali manusia secara sengaja mengizinkannya. Perlakukan resolusi entitas sebagai kontrol keamanan, bukan fitur kenyamanan yang diam-diam diserahkan kepada DNS, pencarian, atau inferensi model.

Bagi tim keamanan, item daftar periksa berikutnya adalah pengurungan yang dapat Anda buktikan. Laporan Mallory mengatakan domain yang terdampak tidak memiliki perlindungan umum dan bahwa perilakunya sulit dideteksi, tepat karena itulah pencatatan log dan kontrol egress perlu dibuat membosankan, ketat, dan selalu aktif. Perhatikan pengungkapan di masa depan yang memperjelas jumlah total insiden, dampak pelanggan, dan bagaimana penyedia pengujian memisahkan target simulasi dari target aktif. Internet sudah memiliki cukup banyak lingkungan produksi yang tidak disengaja; agen AI tidak perlu dibantu untuk menemukan lebih banyak lagi.