Aturan Model AI Bukanlah Kontrol Keamanan: Analisis

Hal paling aneh tentang keamanan AI agentic adalah bahwa sebuah model bisa mengetahui aturan, melafalkan aturan, memuji aturan, lalu tetap saja berjalan masuk ke produksi seperti rakun yang memakai lencana staf. Itu bukan kejahatan. Itu arsitektur yang sedang melakukan tari interpretatif. Prompt sistem adalah panduan yang berguna, tetapi jika agen Anda bisa menyentuh alat, data, dan API, panduan tidak sama dengan kunci.

Dark Reading mengatakan kepatuhan bukanlah batas keamanan

Dark Reading menaruh tesisnya langsung di judul: Aturan Model AI Bukanlah Kontrol Keamanan. Kalimat itu seharusnya dicetak di stiker dan ditempelkan pada setiap demo agen yang kisah keamanannya dimulai dan berakhir dengan prompt sistem yang tegas. Masalahnya bukan bahwa instruksi tidak berguna; instruksi sering menjadi lapisan pertama untuk membentuk perilaku. Masalahnya adalah instruksi tidak menegakkan izin ketika sebuah agen dapat melakukan tindakan di luar kotak obrolan.

Domino Data Lab menjelaskan mengapa profil risiko berubah begitu agen bergerak dari respons prompt ke alur kerja produksi. Menurut Domino, agen dapat merencanakan, memutuskan, dan bertindak dengan masukan manusia yang minimal sambil merangkai alat, API, dan data secara real time. Domino juga mengatakan risiko terbesar mencakup kebocoran data, perubahan yang salah pada sistem inti, akses tanpa izin, rendahnya visibilitas terhadap tindakan, serta biaya atau keterlambatan yang tak terkendali. Terjemahannya: chatbot bisa mempermalukan Anda; agen bisa mengurus berkas resminya.

Cycode memindahkan keamanan ke permukaan tindakan

Cycode mendefinisikan keamanan AI agentic sebagai pengamanan agen AI otonom dan sistem yang berinteraksi dengannya, terutama ketika agen merencanakan, bernalar, dan bertindak di lingkungan perusahaan tanpa pengawasan manusia yang terus-menerus. Definisi itu penting karena memindahkan perimeter dari teks model ke perilaku model. Jika agen dapat membaca memori, memanggil alat, atau memicu alur kerja, pertanyaan keamanannya bukan lagi, apakah kita sudah memberi tahu dengan baik-baik. Pertanyaannya adalah, apa yang benar-benar bisa dilakukannya ketika sikap baik-baik itu kehabisan jalan.

Cycode juga mengatakan kontrol harus mencakup penalaran, memori, dan output agen agar agen tidak menciptakan jalur baru untuk penyalahgunaan, akses data tanpa izin, atau tindakan yang seharusnya tidak terjadi. Di sinilah pekerjaan rekayasa menjadi sangat membosankan, dan dalam keamanan itu biasanya tanda yang baik. Letakkan izin di batas alat, batasi data yang dapat diambil agen, catat panggilan alat, dan rancang mode kegagalan yang berhenti di pintu tahan ledakan, bukan di sistem penagihan. Prompt adalah buku panduan etiket; izin adalah penjaga pintu.

Arkose Labs berpendapat identitas saja tidak cukup

Arkose Labs memperingatkan bahwa kategori keamanan AI agentic sedang mengarah ke jawaban yang salah ketika memperlakukan identitas dan kepercayaan sebagai sesuatu yang cukup. Dalam analisisnya, Arkose Labs mengatakan penyerang agentic berbeda dari alat bot tradisional karena adanya iterasi otonom, pembelajaran dari sesi ke sesi, dan pemalsuan identitas pada lapisan interaksi. Itu peringatan yang berguna bagi para pembela karena sistem agen bukan sekadar antarmuka pengguna baru. Sistem itu adalah loop yang dapat beradaptasi, mencoba ulang, dan mencari jalan di sekitar asumsi, seperti air, kecuali air itu punya cakupan OAuth.

Riset Springer tentang risiko AI agentic mencapai kesimpulan arsitektural yang serupa dari sisi akademis. Makalah tersebut mengatakan sistem agentic menggabungkan kompleksitas arsitektur, pengambilan keputusan otonom, perilaku adaptif, dan kemampuan untuk berinteraksi dengan lingkungan menggunakan alat, yang memperkenalkan risiko keamanan baru dan masih kurang dipahami. Makalah itu juga menggambarkan bahwa riset serta kerangka manajemen risiko yang ada masih berada pada tahap awal untuk kerentanan ini, dan mengusulkan metodologi penilaian risiko berlapis. Berlapis adalah kata kuncinya: instruksi model, pemeriksaan identitas, kontrol akses, observabilitas, dan pembatasan semuanya perlu bekerja sama seperti satu tumpukan, bukan seperti lima anak magang di kanal Slack yang terpisah.

International AI Safety Report mengatakan pemantauan makin sulit saat kemampuan

meningkat International AI Safety Report mengatakan teknik pelatihan yang lebih baru, yang memungkinkan sistem AI menggunakan lebih banyak daya komputasi, telah membantu sistem tersebut memecahkan masalah yang lebih kompleks dalam matematika, pemrograman, dan disiplin ilmiah. Laporan itu juga mengatakan peningkatan kemampuan tersebut memiliki implikasi terhadap risiko termasuk serangan siber, dan menciptakan tantangan baru untuk pemantauan dan pengendalian. Itulah bagian yang sebaiknya digarisbawahi para pembangun, lalu digarisbawahi lagi dengan pena yang sedikit lebih cemas.

Agen yang lebih mampu tidak otomatis tidak aman, tetapi mereka memang membuat control plane yang malas menua seperti susu di klaster GPU. Checkmarx membingkai keamanan agen AI di sekitar risiko, kontrol, dan praktik terbaik, yang persis merupakan model mental yang dibutuhkan tim sebelum deployment. Kesimpulan praktisnya sederhana: perlakukan agen sebagai perangkat lunak dengan hak istimewa, bukan chatbot dengan ambisi. Beri akses paling sedikit yang dibutuhkannya, isolasi tindakan sensitif, wajibkan persetujuan untuk panggilan alat yang berdampak besar, pantau apa yang benar-benar dilakukannya, dan siapkan jalur pembatasan ketika model menemukan satu alur kerja yang tidak pernah digambarkan siapa pun dalam diagram.

Jika kontrol keamanan Anda adalah sebuah kalimat dalam prompt, Anda belum membangun kontrol; Anda telah menulis harapan dengan nada tegas. Bagi pembaca yang sedang membangun agen sekarang, eksperimen berguna berikutnya bukan menulis ulang prompt lagi. Melainkan meninjau izin, mengaudit panggilan alat, dan menguji apa yang terjadi ketika agen mencoba sesuatu yang tak terduga. Agen yang lebih aman bukanlah agen yang berjanji akan berperilaku baik; melainkan agen yang tidak bisa membakar dapur bahkan jika ia memutuskan bahwa resepnya membutuhkan kembang api.