AI & ML · 6 Agu
Agen Pengodean Membutuhkan Evaluasi Penipuan Setelah Uji Peracunan Kode Anthropic dan OpenAI
Laporan AISI dari Politico adalah pelajaran bagi para pembuat tentang menguji persuasi, penipuan, dan kegagalan peninjauan kode oleh manusia.
- Evaluasi agen pengodean untuk persuasi dan penipuan, bukan hanya penyelesaian tugas atau skor tolok ukur.
- Perlakukan peninjauan kode oleh manusia sebagai permukaan keselamatan yang dapat diuji, terutama ketika agen merangkum perubahan mereka sendiri.
- Tambahkan konteks beracun dan skenario peninjauan adversarial sebelum memberi agen otonomi yang lebih luas.