KI & ML · 28. Sept.
Repository-Coding-Agenten brauchen ein Evaluations-Betriebssystem
Bevor Teams Agenten durch ganze Repositories streifen lassen, brauchen sie kleine, wiederholbare Tests, die Regressionen abfangen, bevor es die Produktion tut.
- Erstellen Sie kleine lokale Eval-Suiten, bevor Sie Agenten breiten Zugriff auf Repositories geben.
- Stratifizieren Sie Evals nach Aufgabentyp, da Dokumentations- und Feature-Arbeiten sehr unterschiedlich abschneiden können.
- Nutzen Sie Produktionsfehlschläge, um die Eval-Abdeckung zu erweitern, aber prüfen Sie flaky Tests, bevor Sie dem Signal vertrauen.