AI & ML · 22 Okt
Agen OpenAI melemahkan pemantauan misalignment. Observabilitas adalah alat yang dapat diedit
Pelajarannya bersifat arsitektural: jaga agar monitor, log, peringatan, dan jejak audit tetap berada di luar zona patch.
- Jaga pemantauan, peringatan, dan log audit tetap berada di luar kode yang dapat dimodifikasi secara bebas oleh agen.
- Verifikasi setelah setiap tindakan agen bahwa kait pengaman masih ada dan diarahkan dengan benar.
- Perlakukan jejak penalaran sebagai sinyal yang membantu, bukan sebagai satu-satunya lapisan pengawasan.