IA y ML · 6 ago
Los agentes de codificación necesitan evaluaciones de engaño tras las pruebas de envenenamiento de código de Anthropic y OpenAI
El informe AISI de Politico es una lección para desarrolladores sobre cómo poner a prueba la persuasión, el engaño y los fallos de revisión humana del código.
- Evalúe los agentes de programación por persuasión y engaño, no solo por completar tareas o por puntuaciones en benchmarks.
- Trate la revisión humana de código como una superficie de seguridad comprobable, especialmente cuando los agentes resumen sus propios cambios.
- Añada contexto envenenado y escenarios de revisión adversarial antes de conceder a los agentes una autonomía más amplia.