TorchTPU muestra que la ventaja defensiva de Nvidia es la compatibilidad con PyTorch

Cuando un framework está delante del “85% de las apps de IA”, como informa TechCrunch, la guerra de chips deja de ser solo una pelea a cuchillo de silicio y empieza a parecer una negociación con el flujo de trabajo de los desarrolladores como rehén. El nuevo anuncio de TorchTPU de Google no trata simplemente de hacer que las TPU sean más amigables. Trata de hacer que el camino de menor resistencia tenga menos forma de Nvidia, que es donde en realidad se ganan la mayoría de las batallas de infraestructura. La GPU puede ser la celebridad, pero la capa de compatibilidad es el representante, el agente, el abogado y la persona que sostiene el latte.

Google apunta PyTorch hacia las TPU

TechCrunch informó que Google anunció TorchTPU el martes como un proyecto de código abierto y lo describió como la esperada variante de PyTorch de Google para sus Unidades de Procesamiento Tensorial. La propuesta práctica es, afortunadamente, nada romántica: las apps existentes de PyTorch pueden trasladarse a las TPU de Google y, por extensión, a Google Cloud, mediante configuración en lugar de una reescritura, según TechCrunch. Eso importa porque PyTorch no es un juguete de laboratorio de nicho con tres usuarios y una mascota. TechCrunch dice que PyTorch es usado por el 85% de las apps de IA, y que Meta entregó el proyecto a la Linux Foundation en 2022.

@title Rutas de PyTorch hacia chips en la nube
@source TechCrunch
@source About Amazon

  PyTorch apps
     │
     ├→ TorchTPU
     │    └→ Google TPUs
     │
     └→ TorchNeuron
          └→ Trainium

@caption La compatibilidad con PyTorch se está convirtiendo en la rampa de entrada hacia los chips de IA de Google y Amazon.

La figura es toda la historia en miniatura: quien controle la rampa de entrada más fácil de PyTorch tiene una oportunidad real de adopción por parte de los desarrolladores. No porque los ingenieros sean perezosos, aunque somos famosamente capaces de automatizar una tarea de cinco minutos con tres semanas de rodeos técnicos. Es porque el código del modelo, la validación, la depuración, los scripts de despliegue y la memoria muscular del equipo forman parte del sistema. Un chip que exige una reescritura no es un acelerador. Es tarea para casa con un disipador de calor.

Amazon hizo la misma apuesta un día antes

About Amazon dijo que TorchNeuron ejecuta código existente de PyTorch en Trainium “sin reescritura” y que se publicaría como código abierto en la PyTorch Conference el 20 de octubre. Amazon también dijo que el 85% de los investigadores y desarrolladores de IA escriben código en PyTorch, y argumentó que pasar a nuevos chips antes significaba rehacer y volver a validar proyectos que los equipos ya habían ajustado. Ese es el impuesto poco glamuroso que los aceleradores alternativos han pagado durante años. La diapositiva de benchmark dice una cosa, y luego tu sistema de compilación entra usando zapatos de payaso.

TechCrunch informó que AWS lanzó TorchNeuron el lunes y que puede mover apps de PyTorch a Trainium cambiando una sola línea de configuración, según Amazon. Más interesante aún, TechCrunch también informó que Amazon está contribuyendo cambios al PyTorch principal para que el framework se desprenda de supuestos específicos de chips y se vuelva más agnóstico respecto al hardware. Esa es una idea más grande que un proveedor de nube intentando llenar sus propios aceleradores. Si PyTorch en sí se casa menos con un backend concreto, los compradores ganan poder de negociación y los constructores obtienen opcionalidad sin convertir cada migración en una excavación arqueológica.

La compatibilidad es el foso dentro del foso

TechCrunch señaló que Nvidia ha pasado años haciendo que CUDA funcione sin problemas con PyTorch, que es la frase aburrida que explica una cantidad sorprendente de la historia de la infraestructura de IA. La ventaja de Nvidia no es solo que sus GPU sean rápidas. Es que enormes cantidades de código de IA ya esperan que el stack de Nvidia esté ahí, como la fontanería, el oxígeno o ese paquete de npm que nadie entiende pero que todos temen borrar.

Por eso TorchTPU es estratégicamente útil incluso antes de conocer los detalles exactos de su licencia, el alcance del código o la madurez del propio repositorio de Google. TechCrunch informó que Google trabajó directamente con Meta, Hugging Face, Inferact, que crea vLLM, RadixArk, que crea SGLang, y otros para que TorchTPU encaje con herramientas populares de IA. Google también lanzó una suite de agentes para TPU para ayudar a los desarrolladores a mover apps y corregir errores, y actualizó LiteRT para que las apps de IA de PyTorch funcionen mejor en teléfonos, portátiles y dispositivos integrados, según TechCrunch. Esto no es solo un puente. Es Google intentando pavimentar las carreteras alrededor del puente para que nadie se quede atrapado en un pantano de compatibilidad.

Qué deberían observar ahora los constructores

La prueba a corto plazo no es si TorchTPU suena elegante en una publicación de lanzamiento. La prueba es si los proyectos reales de PyTorch, con sus kernels personalizados extraños, peculiaridades de entrenamiento, stacks de inferencia y duendes de dependencias, pueden aterrizar en TPU sin que los equipos pierdan un sprint haciendo antropología del backend. El impulso similar de Amazon con TorchNeuron da a los desarrolladores otra razón para preguntarse si su código de PyTorch debería ser portátil por defecto en lugar de estar soldado accidentalmente a un solo proveedor.

Para los lectores que construyen sistemas de IA, la conclusión es sencilla: trata la compatibilidad de frameworks como una estrategia de infraestructura, no como una trivialidad de fontanería. Si el código de tu modelo puede moverse entre aceleradores con cambios mínimos, tienes más margen para optimizar disponibilidad, coste, latencia y ajuste con la nube. Si no puede, felicidades: puede que tu elección de acelerador ya se haya decidido por ti hace tres revisiones de diseño. La batalla de los chips es ruidosa, pero la sentencia import está ejerciendo la violencia silenciosa.