KI & ML · 20. Sept.
Vals sammelt 40 Mio. US-Dollar ein, um KI-Benchmarks schwerer manipulierbar zu machen
Andreessen Horowitz unterstützt Vals, nachdem das Startup argumentiert hatte, dass ältere KI-Tests die Fähigkeiten moderner Modelle nicht mehr klar messen.
- Behandeln Sie Modell-Benchmarks als Hinweise, nicht als unumstößliche Wahrheit, insbesondere wenn öffentliche Tests Marketingaussagen antreiben.
- Wählen Sie Evaluationen, die Ihre domänenspezifischen Aufgaben, Ihr Latenzbudget und akzeptable Fehlermuster widerspiegeln.
- Beobachten Sie unabhängige Benchmarking-Tools als Teil des KI-Deployment-Stacks, nicht nur als PR-Infrastruktur.