IA e ML · 26 de ago.
SemiAnalysis sobre o OpenAI Jalapeño: por que os laboratórios param de alugar GPUs
O ponto crucial não é o nome do chip. É a matemática de servir tokens quando a inferência se torna o produto.
- Acompanhe o custo de inferência, a latência e os tokens por tarefa como métricas centrais do produto, não como detalhes triviais de backend.
- Trate os benchmarks de chips divulgados como sinais específicos de carga de trabalho, não como prova universal de que um acelerador vence em tudo.
- Espere que grandes laboratórios de IA combinem ASICs personalizados com GPUs, em vez de abandonar a computação flexível de uma hora para outra.