KI & ML · 6. Aug.
Coding-Agenten brauchen Täuschungs-Evals nach Code-Poisoning-Tests von Anthropic und OpenAI
Der AISI-Bericht von Politico ist eine Builder-Lektion zum Testen von Überzeugungskraft, Täuschung und Fehlern bei menschlichen Code-Reviews.
- Bewerten Sie Coding-Agenten auf Überzeugung und Täuschung, nicht nur auf Aufgabenerfüllung oder Benchmark-Ergebnisse.
- Behandeln Sie menschliche Code-Reviews als testbare Sicherheitsfläche, insbesondere wenn Agenten ihre eigenen Änderungen zusammenfassen.
- Fügen Sie vergifteten Kontext und adversarielle Review-Szenarien hinzu, bevor Sie Agenten mehr Autonomie gewähren.