TorchTPU montre que le fossé concurrentiel de Nvidia repose sur la compatibilité avec PyTorch

Quand un framework se trouve devant « 85 % des applis d’IA », comme le rapporte TechCrunch, la guerre des puces cesse d’être seulement un combat au couteau dans le silicium et commence à ressembler à une prise d’otage du flux de travail des développeurs. La nouvelle annonce TorchTPU de Google ne consiste pas simplement à rendre les TPU plus accueillants. Elle vise à rendre le chemin de moindre résistance moins marqué par Nvidia, et c’est là que se gagnent réellement la plupart des batailles d’infrastructure. Le GPU est peut-être la célébrité, mais la couche de compatibilité est le manager, l’agent, l’avocat et la personne qui tient le latte.

Google dirige PyTorch vers les TPU

TechCrunch a rapporté que Google avait annoncé TorchTPU mardi comme projet open source et l’a décrit comme la variante PyTorch longtemps attendue de Google pour ses Tensor Processing Units. L’argument pratique est heureusement peu romantique : les applis PyTorch existantes peuvent passer aux TPU de Google, et donc à Google Cloud, par configuration plutôt que par réécriture, selon TechCrunch. C’est important, car PyTorch n’est pas un petit jouet de laboratoire de niche avec trois utilisateurs et une mascotte. TechCrunch indique que PyTorch est utilisé par 85 % des applis d’IA, et que Meta a confié le projet à la Linux Foundation en 2022.

@title Chemins PyTorch vers les puces cloud
@source TechCrunch
@source About Amazon

  PyTorch apps
     │
     ├→ TorchTPU
     │    └→ Google TPUs
     │
     └→ TorchNeuron
          └→ Trainium

@caption La compatibilité PyTorch devient la rampe d’accès aux puces d’IA de Google et d’Amazon.

La figure résume toute l’histoire en miniature : celui qui possède la rampe d’accès PyTorch la plus simple a une vraie chance d’obtenir l’adoption des développeurs. Pas parce que les ingénieurs sont paresseux, même si nous sommes notoirement prêts à automatiser une tâche de cinq minutes avec trois semaines de yak shaving. C’est parce que le code du modèle, la validation, le débogage, les scripts de déploiement et la mémoire musculaire de l’équipe font tous partie du système. Une puce qui exige une réécriture n’est pas un accélérateur. C’est un devoir maison avec un dissipateur thermique.

Amazon a fait le même pari un jour plus tôt

About Amazon a indiqué que TorchNeuron exécute du code PyTorch existant sur Trainium « sans réécriture » et serait publié en open source lors de la PyTorch Conference du 20 octobre. Amazon a aussi déclaré que 85 % des chercheurs et développeurs en IA écrivent du code en PyTorch, et a soutenu que passer à de nouvelles puces signifiait auparavant remanier et revalider des projets que les équipes avaient déjà optimisés. C’est la taxe peu glamour que les accélérateurs alternatifs paient depuis des années. La diapositive de benchmark dit une chose, puis votre système de build arrive avec des chaussures de clown.

TechCrunch a rapporté qu’AWS avait publié TorchNeuron lundi et qu’il peut déplacer des applis PyTorch vers Trainium en changeant une seule ligne de configuration, selon Amazon. Plus intéressant encore, TechCrunch a aussi rapporté qu’Amazon contribue des changements en amont à PyTorch afin que le framework se débarrasse d’hypothèses propres à certaines puces et devienne plus agnostique sur le plan matériel. C’est une idée plus vaste qu’un fournisseur cloud essayant de remplir ses propres accélérateurs. Si PyTorch lui-même devient moins marié à un backend particulier, les acheteurs gagnent du levier et les bâtisseurs obtiennent de la flexibilité sans transformer chaque migration en fouille archéologique.

La compatibilité est le fossé dans le fossé

TechCrunch a noté que Nvidia a passé des années à faire fonctionner CUDA sans heurts avec PyTorch, ce qui est la phrase ennuyeuse qui explique une quantité surprenante de l’histoire de l’infrastructure IA. L’avantage de Nvidia ne vient pas seulement du fait que ses GPU sont rapides. Il vient du fait que d’immenses quantités de code IA s’attendent déjà à ce que la pile Nvidia soit là, comme la plomberie, l’oxygène, ou ce paquet npm que personne ne comprend mais que tout le monde a peur de supprimer.

C’est pourquoi TorchTPU est stratégiquement utile avant même que nous connaissions les détails exacts de sa licence, l’étendue de son code ou sa maturité dans le dépôt de Google. TechCrunch a rapporté que Google a travaillé directement avec Meta, Hugging Face, Inferact, qui développe vLLM, RadixArk, qui développe SGLang, et d’autres afin que TorchTPU s’intègre aux outils d’IA populaires. Google a aussi lancé une suite d’agents TPU pour aider les développeurs à déplacer des applis et à corriger les erreurs, et a mis à jour LiteRT afin que les applis d’IA PyTorch fonctionnent mieux sur les téléphones, les ordinateurs portables et les appareils embarqués, selon TechCrunch. Ce n’est pas seulement un pont. C’est Google qui essaie de paver les routes autour du pont pour que personne ne reste coincé dans un marécage de compatibilité.

Ce que les bâtisseurs doivent surveiller ensuite

Le test à court terme n’est pas de savoir si TorchTPU paraît élégant dans un billet de lancement. Le test est de savoir si de vrais projets PyTorch, avec leurs noyaux personnalisés étranges, leurs particularités d’entraînement, leurs piles d’inférence et leurs gobelins de dépendances, peuvent atterrir sur des TPU sans que les équipes perdent un sprint en anthropologie du backend. La poussée similaire d’Amazon avec TorchNeuron donne aux développeurs une raison supplémentaire de se demander si leur code PyTorch devrait être portable par défaut plutôt qu’accidentellement soudé à un seul fournisseur.

Pour les lecteurs qui construisent des systèmes d’IA, le message est simple : traitez la compatibilité des frameworks comme une stratégie d’infrastructure, pas comme un détail de plomberie. Si le code de votre modèle peut passer d’un accélérateur à l’autre avec des changements minimes, vous avez plus de marge pour optimiser la disponibilité, le coût, la latence et l’adéquation au cloud. Si ce n’est pas le cas, félicitations, votre choix d’accélérateur a peut-être été fait pour vous il y a trois revues de conception. La bataille des puces est bruyante, mais l’instruction import fait la violence discrète.