IA & ML · 20 sept.
Vals lève 40 M$ pour rendre les benchmarks d’IA plus difficiles à manipuler
Andreessen Horowitz soutient Vals après que la startup a affirmé que les anciens tests d’IA ne mesurent plus clairement les capacités des modèles modernes.
- Traitez les benchmarks de modèles comme des éléments probants, et non comme une vérité absolue, surtout lorsque des tests publics alimentent les affirmations marketing.
- Choisissez des évaluations qui reflètent vos tâches métier, votre budget de latence et les schémas d’erreurs acceptables.
- Surveillez les outils de benchmarking indépendants dans le cadre de la pile de déploiement de l’IA, et pas seulement comme infrastructure de relations publiques.