Analyse d’OpenAI Jalapeño : économie de l’inférence personnalisée

L’industrie de l’IA a passé des années à traiter les GPU comme des appareils de cuisine sacrés : chers, chauds, toujours occupés, et pourtant indispensables pour chaque repas. La puce Jalapeño d’OpenAI est intéressante parce qu’elle suggère que les plus grands laboratoires de modèles ne se contentent plus de louer la cuisinière pour toujours. Le rapport de SemiAnalysis, discuté à travers des résumés de benchmarks autour de sa suite InferenceX, détourne les projecteurs du spectacle de l’entraînement pour les braquer sur l’économie de l’inférence. L’entraînement a droit à la bande-annonce. L’inférence reçoit la facture d’électricité, l’alerte de latence, et le client qui demande pourquoi son agent réfléchit encore aux permissions du calendrier. Jalapeño compte parce que les produits d’IA de pointe passent désormais leur vie à servir des modèles, pas seulement à les annoncer. Chaque prompt, nouvelle tentative, appel d’outil, longue trace de raisonnement et boucle d’agent se transforme en tokens par utilisateur, en watts et en délai. Si votre charge de travail est assez grande et assez prévisible, les accélérateurs génériques commencent à ressembler moins à de la flexibilité qu’au fait de payer des tarifs d’hôtel pour vivre dans sa propre maison. Très chic, financièrement maudit.

SemiAnalysis met la facture de service en lumière [AI

Weekly](https://aiweekly.co/alerts/openai-jalapeno-chip-beats-nvidia-rubin-on-perf-per-watt(opens in new tab)) résume l’analyse approfondie de SemiAnalysis comme portant sur la première puce d’inférence personnalisée d’OpenAI, Jalapeño, finalisée avec Broadcom sur le procédé N3P de TSMC. Le même résumé indique que la révision B0 atteint 13,4 PFLOPs en MXFP4 à 700 W et s’associe à de la HBM4 à 15,4 To/s. Tom’s Hardware(opens in new tab) présente la pièce conçue par Broadcom et OpenAI comme un processeur d’inférence sur mesure et décrit la première puce d’OpenAI comme un ASIC de la taille d’un réticule. Cet empilement de noms peut donner l’impression que quelqu’un a passé une brochure de centre de données au mixeur. La lecture plus simple est qu’OpenAI essaie de posséder une plus grande partie du chemin de service, là où la performance par watt et la bande passante mémoire influencent le nombre d’utilisateurs pouvant être servis avec une latence tolérable. Il ne s’agit pas de remplacer tous les GPU demain, et ce n’est pas une pièce de morale où Nvidia porte une cape ou une moustache selon votre portefeuille. Il s’agit de savoir si un laboratoire ayant un volume d’inférence massif peut rendre son économie unitaire moins prise en otage par le silicium à usage général.

Les affirmations de benchmark parlent

de watts, pas d’ambiance Yahoo Tech(opens in new tab), citant SemiAnalysis, rapporte que Jalapeño a fourni jusqu’à 1,9 fois plus de sortie par watt et réduit la latence de bout en bout jusqu’à 3,6 fois par rapport au Blackwell de Nvidia dans des suites de tests standard. AI Weekly(opens in new tab) rapporte aussi des comparaisons de benchmarks d’OpenAI montrant 1,5 à 1,9 fois plus de travail par watt que Nvidia sur GPT-OSS, DeepSeek R1 et Kimi K2.5 1T. Les noms précis des charges de travail comptent, car la performance d’inférence est notoirement allergique aux résumés en un seul chiffre, comme une critique de restaurant basée uniquement sur le poids des fourchettes. Les chiffres de tokens sont tout aussi révélateurs. AI Weekly indique que Jalapeño dépasse 700 tokens par seconde par utilisateur sur DeepSeek R1 et atteint environ 1 400 tokens par seconde par utilisateur sur GPT-OSS. Ces chiffres ne vous disent pas automatiquement l’économie globale du parc, l’utilisation, le rendement de fabrication, la maturité logicielle ou la réalité des achats. Ils montrent toutefois pourquoi les laboratoires s’y intéressent : un débit plus rapide par utilisateur peut se traduire par un service plus dense, une latence plus faible, ou un comportement produit plus ambitieux avant que l’équipe financière ne commence à faire des bruits d’imprimante.

L’inférence personnalisée, c’est une stratégie avec un dissipateur thermique

Yahoo Tech(opens in new tab) affirme qu’OpenAI a utilisé ses propres modèles d’IA générative pour accélérer l’ingénierie matérielle et réduire à neuf mois les délais entre la conception et le tape-out. C’est une jolie boucle récursive : l’IA qui aide à concevoir la puce qui exécute davantage d’IA, le serpent qui se mord la queue mais avec une meilleure bande passante mémoire. Le même rapport de Yahoo Tech indique qu’OpenAI utilise du silicium personnalisé pour réduire les coûts d’exploitation et diminuer sa dépendance à des fournisseurs uniques, tout en continuant à acheter des accélérateurs à Nvidia et à d’autres partenaires tiers. Cette dernière clause, c’est la supervision adulte. Les ASIC personnalisés ne sont pas des haricots magiques que l’on plante à côté d’un cluster Kubernetes. Ils exigent un support logiciel, une exécution solide de la chaîne d’approvisionnement, une stabilité des charges de travail et assez de trafic pour justifier des coûts d’ingénierie non récurrents capables de transformer spontanément une startup normale en tableur. Pour OpenAI, le pari est plausible parce que l’inférence n’est pas une quête secondaire. C’est la surface produit, la ligne de marge et, de plus en plus, la contrainte qui détermine l’utilité des agents avant qu’ils ne deviennent des stagiaires très coûteux.

Ce que les constructeurs devraient retenir du moment Jalapeño La leçon utile

du rapport de SemiAnalysis sur Jalapeño(opens in new tab) n’est pas que chaque entreprise d’IA devrait commencer à envoyer des e-mails à Broadcom avec un rêve et un nom de code épicé. C’est que l’architecture de service devient une décision produit de premier plan. Si vous construisez avec de grands modèles, vous devriez suivre les tokens par tâche, les taux de succès du cache, le comportement du batching, les budgets de latence et le mélange de modèles avec le même sérieux que celui généralement réservé aux présentations de lancement et à l’espacement des logos. Le modèle est peut-être le cerveau, mais l’inférence est le système circulatoire, et personne n’aime une démo qui s’évanouit au milieu d’un appel d’outil. Surveillez la suite autour de l’intégration logicielle, de la reproductibilité des benchmarks, et de la question de savoir si OpenAI route certaines charges de travail vers Jalapeño tout en gardant les GPU pour une flexibilité plus large. Surveillez aussi les imitateurs : dès qu’un laboratoire de pointe prouve qu’un volume d’inférence peut justifier du silicium personnalisé, tous les autres découvrent qu’eux aussi ont une stratégie silicium, généralement cinq diapositives avant que les achats ne fassent une crise de nerfs. Pour les lecteurs qui construisent des produits d’IA, la conclusion pratique est simple : optimisez le coût par réponse utile, pas seulement l’intelligence du modèle. Le piquant n’a jamais été dans le nom de la puce. Il était dans la facture de service qui apprend à négocier.