IA & ML · 26 août
SemiAnalysis sur OpenAI Jalapeño : pourquoi les laboratoires arrêtent de louer des GPU
Le point épineux, ce n’est pas le nom de la puce. C’est le calcul lié à la distribution des tokens quand l’inférence devient le produit.
- Suivez le coût d’inférence, la latence et les jetons par tâche comme des métriques produit essentielles, et non comme des détails techniques du backend.
- Considérez les benchmarks de puces publiés comme des signaux propres à une charge de travail, et non comme une preuve universelle qu’un accélérateur l’emporte sur tous les autres.
- Attendez-vous à ce que les grands laboratoires d’IA combinent des ASIC personnalisés avec des GPU plutôt que d’abandonner du jour au lendemain le calcul flexible.