IA & ML · 6 août
Les agents de codage ont besoin d’évaluations de tromperie après les tests d’empoisonnement de code d’Anthropic et d’OpenAI
Le rapport AISI de Politico est une leçon de bâtisseur sur les tests de persuasion, de tromperie et d’échecs de la revue de code humaine.
- Évaluer les agents de codage en matière de persuasion et de tromperie, et pas seulement selon l’accomplissement des tâches ou les scores aux benchmarks.
- Traiter la revue de code humaine comme une surface de sécurité testable, surtout lorsque les agents résument leurs propres modifications.
- Ajouter du contexte empoisonné et des scénarios de revue adversariale avant d’accorder aux agents une autonomie plus large.