Tolok ukur siber AI tertinggal dari model frontier: analisis 1 Agustus

Hal yang canggung tentang menilai peretas AI adalah bahwa siswanya mungkin memperbarui diri lebih cepat daripada ujiannya. Saat pengawas baru menajamkan pensil, modelnya sudah membaca silabus, mengoptimalkan rubrik, dan dengan sopan menyarankan rantai eksploit yang lebih baik (sangat LinkedIn sekali). Axios melaporkan bahwa kemampuan peretasan model AI mulai melampaui tes yang ada, sementara lembaga federal menghadapi tenggat 1 Agustus untuk menetapkan program benchmarking rahasia. Itu bukan sirene panik. Itu adalah masalah evaluasi yang mengenakan hoodie hitam.

Axios mengatakan rangkaian tes siber perlu ditulis ulang

Axios, dalam laporan Sam Sabin, menggambarkan masalahnya secara lugas: cara lama untuk menguji dan mengevaluasi model AI frontier perlu ditulis ulang karena model-model ini melampaui metode yang ada untuk benchmarking keterampilan peretasan. Masalah praktisnya adalah prediksi. Pembuat kebijakan dan tim keamanan perusahaan perlu tahu apa yang sebenarnya bisa dilakukan sistem ini, dan apakah penerapannya aman, bukan sekadar apakah lencana leaderboard terlihat berkilau di bawah lampu konferensi.

Axios juga melaporkan bahwa lembaga federal memiliki waktu hingga 1 Agustus untuk menetapkan program benchmarking rahasia. Detail itu penting karena tes publik terjebak di antara dua pilihan buruk: mengungkapkan terlalu sedikit lalu menjadi seremonial, atau mengungkapkan terlalu banyak lalu menerbitkan kurikulum pelatihan gratis untuk populasi rakun internet. Evaluasi rahasia dapat membantu mengukur kemampuan sensitif tanpa mengubah setiap benchmark menjadi mesin penjual otomatis untuk ide penyalahgunaan.

Pelajaran bagi pembangun bukanlah bahwa benchmark tidak berguna. Pelajarannya adalah bahwa benchmark statis cepat membusuk ketika model menjadi lebih baik dalam penggunaan alat, perencanaan, dan kegigihan. Sebuah tes masih bisa bernilai, tetapi hanya jika diperlakukan seperti panel instrumen, bukan lemari piala.

Riset Berkeley menunjukkan mengapa tes serangan cepat menua

Makalah yang berafiliasi dengan Berkeley, Frontier AI's Impact on the Cybersecurity Landscape, mengatakan bahwa dampak AI frontier dalam keamanan siber sedang meningkat, dan analisisnya menunjukkan bahwa kemampuan serta aplikasi AI dalam serangan telah melampaui yang ada di sisi pertahanan. Asimetri inilah bagian yang tidak bisa begitu saja diabaikan oleh perancang benchmark. Mengukur satu teka-teki eksploit yang bersih lebih mudah daripada mengukur alur kerja pertahanan yang berantakan, ketika model harus merencanakan, menggunakan alat khusus domain, pulih dari kesalahan, dan tidak dengan percaya diri menjepit tali sepatunya sendiri.

Versi arXiv Berkeley yang sama mengatakan bahwa sistem agen yang banyak digunakan kesulitan dengan perencanaan alur kerja yang fleksibel dan alat khusus domain untuk analisis keamanan yang kompleks. Itu adalah koreksi yang berguna terhadap kabut hype. Sebuah model bisa tampak sangat kompeten pada tugas yang dibatasi dan tetap tidak andal ketika diminta beroperasi di rawa megah pekerjaan keamanan nyata, tempat log berbohong, alat gagal, dan setiap lingkungan memiliki satu server bernama test2finalfinal.

Ringkasan blog Berkeley juga berargumen bahwa penyerang kemungkinan akan memperoleh manfaat lebih besar daripada pembela dalam jangka pendek, sementara penilaian risiko yang lebih baik, desain pertahanan, integrasi, dan pengembangan secure by design dapat membantu pembela memperbaiki posisi mereka. Terjemahan untuk tim: jangan mengevaluasi AI siber sebagai satu batang keterampilan tunggal. Evaluasi serangan, pertahanan, orkestrasi alat, pemulihan kegagalan, dan perilaku eskalasi secara terpisah, atau benchmark Anda menjadi timbangan kamar mandi yang mencoba mendiagnosis mesin jet.

SaferAI dan Frontier Model Forum menunjuk pada risiko, bukan hanya skor

SaferAI membuat pembedaan metodologis yang jelas bahwa skor kemampuan adalah indikator risiko, bukan ukuran bahaya. Makalahnya menjelaskan penggunaan informasi Cybench dalam elisitasi pakar, termasuk contoh ketika seorang pakar diberi tahu bahwa sebuah LLM dapat menyelesaikan tugas Cybench Unbreakable lalu meningkatkan estimasi probabilitas keberhasilan untuk langkah pembuatan malware sebesar 5%. Kecil dalam kata-kata, besar dalam implikasi: benchmark bukan lagi garis finis, melainkan menjadi masukan untuk estimasi risiko.

Frontier Model Forum mendekati wilayah yang sama dari sisi tata kelola. Laporan teknisnya mengatakan bahwa AI frontier dapat mempercepat penemuan dan penambalan kerentanan, mengoptimalkan sistem pertahanan, dan meningkatkan deteksi ancaman, sementara kemampuan yang sama dapat menciptakan risiko penggunaan ganda yang menurunkan hambatan bagi pelaku jahat. Inilah bagian yang menyebalkan tetapi akurat: model yang membantu menemukan lubang di atap Anda juga dapat membantu seseorang menulis badai hujan yang sangat meyakinkan.

Bagi tim AI, jawabannya bukan melempar benchmark ke laut dan bertanya kepada komite berbasis feeling. Jawabannya adalah menghubungkan benchmark dengan ambang kemampuan, hasil red team, kontrol penerapan, dan pemantauan pascapenerapan. Jika model berubah, set tes seharusnya tidak diawetkan dalam amber seperti nyamuk dari Jurassic Park.

Yang perlu diperhatikan setelah tenggat 1 Agustus

Setelah 1 Agustus, pertanyaan pentingnya bukan apakah benchmark rahasia ada. Axios melaporkan tenggatnya, tetapi tindak lanjut yang bermakna adalah apakah program-program itu dapat berevolusi secepat sistem frontier. Perhatikan metode evaluasi yang menguji perilaku agen multi-langkah, penggunaan alat domain, alur kerja pertahanan, dan penerjemahan risiko, alih-alih pemecahan teka-teki sekali pakai.

Pembangun dapat menerapkan pelajarannya sekarang. Perlakukan benchmark siber sebagai sistem hidup, jalankan rangkaian tugas privat berdampingan dengan yang publik, petakan skor ke skenario risiko konkret, dan pisahkan kemampuan ofensif dari keandalan defensif. Tes harus mengukur model yang akan Anda terapkan, bukan model yang Anda temui tiga rilis lalu di acara networking.

Jika AI belajar lebih cepat daripada ujian, jawabannya bukan ujian yang lebih mudah. Jawabannya adalah pengawas dengan version control.