
Neste artigo (4)
Óptica quase pronta para uso da Biren: análise de IA de 1.000 cartões
Principais conclusões
- Avalie sistemas de IA pelo design de interconexão, não apenas pelas especificações dos aceleradores.
- A óptica próxima ao encapsulamento importa porque a movimentação de dados está se tornando o gargalo dos clusters.
- Observe detalhes de topologia, latência, consumo de energia e facilidade de manutenção antes de confiar em alegações sobre supernós.
A corrida por hardware de IA está deixando de se concentrar em chips isolados para focar em conexões ópticas, topologia de interconexão e arquitetura em escala de rack.
A corrida por hardware de IA está mudando de chips isolados para infraestrutura óptica, topologia de interconexão e arquitetura em escala de rack.
Imagine mil placas aceleradoras em uma sala, cada uma tentando passar bilhetes sem transformar o rack em um forno de espaguete de cobre. Esse é o problema da camada física escondido por baixo da IA moderna: a computação só é útil se as placas conseguirem manter umas às outras alimentadas com dados. A nova proposta da Biren Technology não é apenas uma história de chip mais rápido; é uma história de cabeamento, empacotamento e topologia, com fótons dirigindo o carro de fuga. Com o devido respeito, a parte interessante não é o logotipo no acelerador, mas onde a fibra consegue entrar na cena do crime.
A desmontagem começa pelo fio De acordo com o South China Morning Post,
a Biren Technology revelou novas soluções de supernós que usam transmissão óptica de dados para conectar milhares de chips de IA em um único cluster. A especificação-chave enterrada na descrição arquitetural é a meta de escala: o SCMP diz que a empresa usa óptica próxima ao pacote para escalar mais de 1.000 placas de processador em um cluster. A óptica próxima ao pacote, como o SCMP descreve, aproxima as fibras ópticas dos chips para aumentar as velocidades de dados e contornar limites das arquiteturas tradicionais. Isso não é uma nota de rodapé, é a parede estrutural. Traduzindo para um inglês livre de sala de reunião, a Biren está tentando tirar o congestionamento das faixas de cobre que normalmente deixam grandes clusters irritados. Elétrons são pequenos trabalhadores maravilhosos, mas em links densos e de alta velocidade eles também se comportam como guaxinins cafeinados em um duto de ventilação: calor, perda, equalização e drama de integridade de sinal chegam como um pacote fechado. Links ópticos não fazem a física desaparecer, mas mudam qual parte da física recebe a conta. Quando você está tentando fazer um cluster se comportar como uma única máquina, essa conta pode decidir se sua frota de aceleradores será um coral ou uma praça de alimentação na hora do almoço.
O que a luz está comprando
A EurekAlert, resumindo um comunicado da Science China Press sobre supernós totalmente ópticos, descreve a mudança mais ampla com clareza: os sistemas de IA estão passando de melhorias de desempenho em chip único para escalonamento colaborativo com múltiplos chips. A mesma fonte observa que redes de scale-up são críticas porque fornecem interconexões de alta largura de banda e baixa latência entre chips de computação, enquanto as redes de scale-up atuais estão se aproximando de gargalos de largura de banda. Essa é a lição de construção escondida no anúncio da Biren. A próxima disputa não é só sobre quem tem a foto de die mais bonita, mas sobre quem consegue manter milhares de dispositivos famintos sincronizados sem que o tecido de interconexão vire melado. Isso importa porque treinamento e inferência de IA em escala de cluster são brutalmente sensíveis à espera. Uma placa de processador parada aguardando dados não é silício heroico, é um aquecedor caro com ambição. A transmissão óptica próxima ao pacote é atraente porque a interconexão passa a fazer parte da arquitetura de computação, em vez de ser um remendo preso ao rack depois. Quando o caminho dos dados vira o produto, engenheiros de empacotamento e arquitetos de rede são promovidos de magos do porão a personagens principais.
A especificação não dita é
a topologia O SCMP enquadra sistemas de servidores altamente conectados como um novo campo de batalha para empresas de infraestrutura de IA, à medida que os modelos avançam para trilhões de parâmetros e aplicações de agentes de IA ganham adoção mais ampla. A The Wire China descreveu separadamente a Biren como uma empresa que desafia companhias como a Nvidia em chips avançados, ao mesmo tempo observando o impulso mais amplo da China por autossuficiência tecnológica. Junte essas peças e a história fica menos sobre um fornecedor de aceleradores específico e mais sobre a disputa em nível de sistema em torno de quantos chips conseguem cooperar antes que a interconexão peça arrego. É aqui que os slides de marketing costumam ficar suspeitamente nebulosos, como uma câmera térmica apontada para um VRM quente sob um dissipador decorativo. Vamos falar sobre o que eles não colocaram na foto glamourosa. As especificações que eu quero ver a seguir são topologia, orçamento de link, latência sob carga, energia dos conectores, facilidade de manutenção e o que acontece quando uma placa falha no meio do supernó. Um supernó só impressiona se puder ser construído, resfriado, reparado e escalonado sem exigir um padre, uma empilhadeira e três dongles proprietários de diagnóstico. Throttling térmico já parece traição; colapso do tecido em nível de cluster é traição com ordem de compra.
O que os construtores devem observar a seguir O SCMP diz
que a Biren está usando uma arquitetura de supernó distribuída e desacoplada, que é a frase para guardar no bolso. Distribuída significa que o trabalho é espalhado por muitos dispositivos, e desacoplada sugere que a arquitetura está tentando afrouxar antigas dependências entre computação e layout de interconexão. Se a Biren conseguir tornar a óptica próxima ao pacote prática nessa escala, a comparação interessante não será um chip contra outro chip. Será comportamento de cluster contra comportamento de cluster: utilização, latência, tratamento de falhas, energia, térmicas e quanto trabalho útil sobrevive fora de uma demonstração de benchmark. Para leitores planejando infraestrutura de IA, a conclusão é simples: pare de tratar o acelerador como a máquina inteira. Pergunte aos fornecedores como as placas conversam, onde acontece a conversão óptica, como o tecido escala e o que precisa ser substituído quando um link se comporta mal. A aposta da Biren em supernós baseados em luz é um lembrete útil de que a camada física não é mais encanamento ao fundo. Ela é o túnel do assalto, o carro de fuga e, às vezes, a porta do cofre.