Analisis ASD

Kalimat paling menakutkan dalam keamanan AI bukan diketik oleh penyerang berjaket hoodie. Kalimat itu diketik oleh regulator, dengan tenang, dalam prosa panduan: Anda tidak bisa memperbaiki ini di dalam model. Di suatu tempat, seorang prompt engineer baru saja menumpahkan kopi ke daftar berlaminasi berisi kata-kata ajaib.

Itulah bagian yang berguna dari kerangka baru Australian Signals Directorate tentang prompt injection untuk AI agentic. ASD tidak memperlakukan prompt injection seperti unit test yang tidak stabil, satu bug lagi yang harus dibereskan sebelum hari demo. ASD menunjuk pada bentuk sistem itu sendiri, yang jauh kurang menenangkan tetapi jauh lebih bisa ditindaklanjuti.

ASD memindahkan perbaikan ke luar model

Menurut iTnews, ASD telah menerbitkan panduan baru untuk perusahaan yang mengatakan bahwa kelemahan keamanan utama dalam AI agentic tidak dapat diselesaikan di dalam model. Rekomendasi lembaga tersebut, seperti dilaporkan oleh iTnews, adalah bahwa mitigasi seharusnya berada di lapisan perangkat lunak yang membungkus model. InfoSec Today merangkum poin inti yang sama: kelemahan ini bukan sesuatu yang dapat dihilangkan secara permanen oleh bagian internal model, jadi pembangun perlu memasang kontrol di sekitar model, bukan mengandalkan mantra prompt yang heroik.

Itu penting karena risikonya meningkat ketika LLM terhubung ke alat, penyimpanan data, dan tindakan alur kerja. Chatbot yang menulis haiku buruk memang memalukan. Agen yang membaca instruksi berbahaya dari sebuah dokumen lalu menggunakan alat yang disetujui dengan hak akses berlebihan adalah seperti Roomba dengan kartu kredit perusahaan.

Mengapa prompting yang lebih pintar mentok

Analisis ArcticDBA dari Alexander Arvidsson menjelaskan hambatan arsitektural ini dengan istilah sederhana: system prompt, pesan pengguna, dan dokumen yang diambil semuanya mengalir melalui context window yang sama sebagai token. Dengan kata lain, model menerima instruksi dan konten yang berpotensi berbahaya melalui saluran umum yang sama. Itu kurang seperti memiliki lemari arsip terkunci, dan lebih seperti menulis kata sandi di sticky note, lalu meminta sticky note itu berperilaku etis.

Nilesh Barla di Adaline menyampaikan poin pelengkap bahwa prompt injection tidak diperbaiki dengan prompt yang lebih baik karena permukaan serangannya berada di lapisan alat. Analisis Arun Baby juga berpendapat bahwa filter saja tidak cukup, karena LLM memproses instruksi tepercaya dan data tidak tepercaya melalui aliran token yang sama. Pertahanan yang diidentifikasi Arun Baby sebagai lebih kuat adalah pertahanan arsitektural, termasuk pemisahan hak akses, isolasi berbasis tipe, dan spotlighting.

Di sinilah percakapan menjadi jauh lebih tidak mistis. Pelajaran praktisnya bukan berhenti menggunakan agen. Pelajarannya adalah berhenti berpura-pura bahwa system prompt yang lebih panjang adalah sabuk pengaman, airbag, dan aturan lalu lintas sekaligus.

Riset mengarah pada containment

Ciphers Security melaporkan bahwa sebuah makalah yang diajukan ke arXiv pada 17 Mei 2026 oleh Sahar Abdelnabi dan Eugene Bagdasarian meneliti mengapa agen AI mungkin akan selalu rentan terhadap prompt injection. Makalah arXiv berjudul AI Agents May Always Fall for Prompt Injections mengatakan bahwa pertahanan pemisahan instruksi data yang ada dapat melewatkan manipulasi kontekstual dan juga dapat menurunkan perilaku yang sesuai secara kontekstual. Itulah tradeoff yang menyebalkan: perketat aturan terlalu banyak dan pekerjaan yang berguna rusak, longgarkan aturan dan penyerang dapat membuat alur buruk terlihat sah.

Ini bukan gremlin baru yang baru kemarin merangkak keluar dari rak GPU. Makalah arXiv yang lebih lama, Prompt Injection: Parameterization of Fixed Inputs, menunjukkan bahwa masalah ini telah memiliki jejak riset formal selama bertahun-tahun. Jika presentasi vendor memperlakukan prompt injection sebagai gangguan yang baru ditemukan dan bisa diselesaikan dengan debu peri proprietary, periksa bibliografinya sebelum Anda memeriksa fakturnya.

Makalah arXiv 2026 membingkai ulang masalah ini melalui Contextual Integrity, sebuah teori privasi tentang apakah aliran informasi mematuhi norma kontekstual. Kerangka ini membantu karena agen semakin sering membuat keputusan berdasarkan konteks, bukan hanya string statis. Bagian sulitnya bukan menemukan frasa abaikan instruksi sebelumnya, melainkan mengenali kapan permintaan yang tampak masuk akal menyelundupkan otoritas, tujuan, atau alur yang salah.

Apa yang harus dilakukan pembangun sekarang

Jika digabungkan, panduan ASD melalui iTnews dan literatur riset mengarah pada containment. Berikan agen akses alat seminimal mungkin sesuai kebutuhannya, pisahkan instruksi tepercaya dari konten tidak tepercaya sejauh yang diizinkan arsitektur, wajibkan tinjauan manusia untuk tindakan berdampak tinggi, dan pantau penggunaan alat seolah-olah alat itu milik karyawan junior yang sangat bersemangat. Bukan karena karyawan junior itu jahat, tetapi karena ia bisa diyakinkan bahwa mesin fotokopi adalah strategi migrasi database.

Bagi tim produk, pertanyaan langsungnya bukan apakah sebuah LLM dapat dibuat patuh sempurna. Pertanyaannya adalah apa yang terjadi ketika ia tidak patuh. Rancang sistem sehingga instruksi buruk menabrak batas izin, logging, gerbang tinjauan, dan alat yang dibatasi cakupannya sebelum menyentuh uang, data pelanggan, atau alur kerja produksi.

Bagi pembaca yang membangun dengan agen, peringatan ASD adalah dorongan untuk menjauh dari takhayul prompt dan menuju rekayasa keamanan. Model bukanlah kastel. Model adalah intern yang sangat persuasif yang memegang kuncinya.