TorchTPU Mostra que o Fosso da Nvidia é a Compatibilidade com PyTorch

Quando um framework fica à frente de “85% dos apps de IA”, como relata o TechCrunch, a guerra dos chips deixa de ser apenas uma briga de facas de silício e começa a parecer uma negociação com reféns envolvendo o fluxo de trabalho dos desenvolvedores. O novo anúncio do TorchTPU pelo Google não é apenas sobre tornar as TPUs mais amigáveis. É sobre fazer com que o caminho de menor resistência tenha menos formato de Nvidia, que é onde a maioria das batalhas de infraestrutura realmente é vencida. A GPU pode ser a celebridade, mas a camada de compatibilidade é o empresário, agente, advogado e a pessoa segurando o latte.

Google aponta o PyTorch para as TPUs

O TechCrunch informou que o Google anunciou o TorchTPU na terça-feira como um projeto de código aberto e o descreveu como a aguardada variante do PyTorch do Google para suas Tensor Processing Units. A proposta prática é deliciosamente nada romântica: apps existentes em PyTorch podem migrar para as TPUs do Google e, por extensão, para o Google Cloud, por meio de configuração em vez de uma reescrita, segundo o TechCrunch. Isso importa porque o PyTorch não é algum brinquedo de laboratório de nicho com três usuários e um mascote. O TechCrunch diz que o PyTorch é usado por 85% dos apps de IA, e que a Meta entregou o projeto à Linux Foundation em 2022.

@title Caminhos do PyTorch para chips em nuvem
@source TechCrunch
@source About Amazon

  PyTorch apps
     │
     ├→ TorchTPU
     │    └→ Google TPUs
     │
     └→ TorchNeuron
          └→ Trainium

@caption A compatibilidade com PyTorch está se tornando a rampa de acesso aos chips de IA do Google e da Amazon.

A figura é a história inteira em miniatura: quem possuir a rampa de acesso mais fácil do PyTorch ganha uma chance real de adoção pelos desenvolvedores. Não porque engenheiros sejam preguiçosos, embora sejamos famosos por topar automatizar uma tarefa de cinco minutos com uma caçada ao iaque de três semanas. É porque o código do modelo, a validação, a depuração, os scripts de implantação e a memória muscular da equipe fazem parte do sistema. Um chip que exige uma reescrita não é um acelerador. É dever de casa com dissipador de calor.

A Amazon fez a mesma aposta um dia antes

O About Amazon disse que o TorchNeuron executa código PyTorch existente no Trainium “sem reescrita” e que seria disponibilizado como código aberto na PyTorch Conference em 20 de outubro. A Amazon também disse que 85% dos pesquisadores e desenvolvedores de IA escrevem código em PyTorch, e argumentou que migrar para novos chips antes significava retrabalhar e revalidar projetos que as equipes já haviam ajustado. Esse é o imposto nada glamouroso que aceleradores alternativos vêm pagando há anos. O slide de benchmark diz uma coisa; aí seu sistema de build entra na sala usando sapatos de palhaço.

O TechCrunch informou que a AWS lançou o TorchNeuron na segunda-feira e que ele pode mover apps PyTorch para o Trainium alterando uma linha de configuração, segundo a Amazon. Mais interessante ainda, o TechCrunch também informou que a Amazon está contribuindo com mudanças upstream para o PyTorch, para que o framework abandone pressupostos específicos de chips e se torne mais agnóstico em relação ao hardware. Essa é uma ideia maior do que um fornecedor de nuvem tentando abastecer seus próprios aceleradores. Se o próprio PyTorch ficar menos casado com um único backend, compradores ganham poder de negociação e construtores ganham opcionalidade sem transformar cada migração em uma escavação arqueológica.

Compatibilidade é o fosso dentro do fosso

O TechCrunch observou que a Nvidia passou anos fazendo o CUDA funcionar bem com o PyTorch, que é a frase entediante que explica uma quantidade chocante da história da infraestrutura de IA. A vantagem da Nvidia não é apenas que suas GPUs são rápidas. É que enormes quantidades de código de IA já esperam que a pilha da Nvidia esteja lá, como encanamento, oxigênio ou aquele pacote npm que ninguém entende, mas que todo mundo tem medo de apagar.

É por isso que o TorchTPU é estrategicamente útil mesmo antes de sabermos os detalhes exatos de sua licença, o escopo do código ou sua maturidade no próprio repositório do Google. O TechCrunch informou que o Google trabalhou diretamente com a Meta, a Hugging Face, a Inferact, que cria o vLLM, a RadixArk, que cria o SGLang, e outros para que o TorchTPU se encaixe em ferramentas populares de IA. O Google também lançou um conjunto de agentes para TPU para ajudar desenvolvedores a mover apps e corrigir erros, e atualizou o LiteRT para que apps de IA em PyTorch funcionem melhor em celulares, laptops e dispositivos embarcados, segundo o TechCrunch. Isso não é apenas uma ponte. É o Google tentando pavimentar as estradas ao redor da ponte para que ninguém fique preso em um pântano de compatibilidade.

O que os construtores devem observar agora

O teste de curto prazo não é se o TorchTPU soa elegante em um post de lançamento. O teste é se projetos reais em PyTorch, com seus kernels personalizados estranhos, peculiaridades de treinamento, pilhas de inferência e goblins de dependências, conseguem chegar às TPUs sem que as equipes percam uma sprint com antropologia de backend. A iniciativa semelhante da Amazon com o TorchNeuron dá aos desenvolvedores mais um motivo para perguntar se seu código PyTorch deveria ser portátil por padrão, em vez de estar acidentalmente soldado a um único fornecedor.

Para leitores que constroem sistemas de IA, a conclusão é simples: trate compatibilidade de framework como estratégia de infraestrutura, não como curiosidade de encanamento. Se o código do seu modelo consegue se mover entre aceleradores com mudanças mínimas, você tem mais espaço para otimizar disponibilidade, custo, latência e adequação à nuvem. Se não consegue, parabéns: sua escolha de acelerador pode ter sido feita por você três revisões de design atrás. A batalha dos chips é barulhenta, mas a declaração de import está exercendo a violência silenciosa.