IA e ML · 6 de ago.
Agentes de programação precisam de avaliações de engano após testes de envenenamento de código da Anthropic e da OpenAI
O relatório AISI da Politico é uma lição prática para quem constrói IA sobre testar persuasão, engano e falhas na revisão humana de código.
- Avalie agentes de programação quanto à persuasão e à decepção, não apenas à conclusão de tarefas ou pontuações em benchmarks.
- Trate a revisão humana de código como uma superfície de segurança testável, especialmente quando agentes resumem suas próprias alterações.
- Adicione contexto envenenado e cenários de revisão adversarial antes de conceder maior autonomia aos agentes.