IA y ML · 26 ago
SemiAnalysis sobre OpenAI Jalapeño: por qué los laboratorios dejan de alquilar GPU
Lo interesante no es el nombre del chip. Es la matemática de servir tokens cuando la inferencia se convierte en el producto.
- Haz seguimiento del coste de inferencia, la latencia y los tokens por tarea como métricas centrales del producto, no como trivialidades del backend.
- Trata los benchmarks de chips reportados como señales específicas de la carga de trabajo, no como prueba universal de que un acelerador lo gana todo.
- Espera que los grandes laboratorios de IA combinen ASICs personalizados con GPUs en lugar de abandonar la computación flexible de la noche a la mañana.