IA y ML · 20 sept
Vals recauda 40 millones de dólares para hacer que los benchmarks de IA sean más difíciles de manipular
Andreessen Horowitz está respaldando a Vals después de que la startup argumentara que las pruebas de IA más antiguas ya no miden claramente la capacidad de los modelos modernos.
- Trata los benchmarks de modelos como evidencia, no como verdad absoluta, especialmente cuando las pruebas públicas impulsan afirmaciones de marketing.
- Elige evaluaciones que reflejen las tareas de tu dominio, tu presupuesto de latencia y los patrones de error aceptables.
- Observa las herramientas independientes de benchmarking como parte de la pila de despliegue de IA, no solo como infraestructura de relaciones públicas.