TorchTPU Menunjukkan Parit Pertahanan Nvidia Adalah Kompatibilitas PyTorch

Ketika sebuah framework berada di depan "85% aplikasi AI," seperti yang dilaporkan TechCrunch, perang chip berhenti menjadi sekadar adu pisau silikon dan mulai terlihat seperti negosiasi sandera alur kerja developer. Pengumuman TorchTPU baru dari Google bukan hanya soal membuat TPU lebih ramah. Ini soal membuat jalur dengan hambatan paling kecil menjadi kurang berbentuk Nvidia, dan di situlah sebagian besar pertarungan infrastruktur sebenarnya dimenangkan. GPU mungkin adalah selebritasnya, tetapi lapisan kompatibilitas adalah manajer, agen, pengacara, sekaligus orang yang memegang latte.

Google mengarahkan PyTorch ke TPU

TechCrunch melaporkan bahwa Google mengumumkan TorchTPU pada hari Selasa sebagai proyek open source dan menggambarkannya sebagai varian PyTorch yang telah lama ditunggu dari Google untuk Tensor Processing Units miliknya. Tawaran praktisnya terasa menyegarkan karena tidak berlebihan: aplikasi PyTorch yang sudah ada dapat pindah ke TPU Google, dan dengan demikian ke Google Cloud, melalui konfigurasi alih-alih penulisan ulang, menurut TechCrunch. Itu penting karena PyTorch bukan mainan lab khusus dengan tiga pengguna dan satu maskot. TechCrunch mengatakan PyTorch digunakan oleh 85% aplikasi AI, dan bahwa Meta menyerahkan proyek tersebut kepada Linux Foundation pada 2022.

@title Jalur PyTorch ke chip cloud
@source TechCrunch
@source About Amazon

  PyTorch apps
     │
     ├→ TorchTPU
     │    └→ Google TPUs
     │
     └→ TorchNeuron
          └→ Trainium

@caption Kompatibilitas PyTorch menjadi jalur masuk menuju chip AI Google dan Amazon.

Gambar ini adalah seluruh ceritanya dalam bentuk mini: siapa pun yang memiliki jalur masuk PyTorch paling mudah punya peluang nyata untuk diadopsi developer. Bukan karena engineer malas, meskipun kami memang terkenal bersedia mengotomatiskan tugas lima menit dengan proses rumit tiga minggu yang melebar ke mana-mana. Ini karena kode model, validasi, debugging, skrip deployment, dan kebiasaan tim semuanya merupakan bagian dari sistem. Chip yang membutuhkan penulisan ulang bukanlah akselerator. Itu adalah PR dengan heat sink.

Amazon membuat taruhan yang sama sehari lebih awal

About Amazon mengatakan TorchNeuron menjalankan kode PyTorch yang sudah ada di Trainium "tanpa penulisan ulang" dan akan dijadikan open source di PyTorch Conference pada 20 Oktober. Amazon juga mengatakan 85% peneliti dan developer AI menulis kode dalam PyTorch, dan berargumen bahwa berpindah ke chip baru sebelumnya berarti mengerjakan ulang dan memvalidasi ulang proyek yang sudah disetel oleh tim. Itulah pajak tidak glamor yang telah dibayar akselerator alternatif selama bertahun-tahun. Slide benchmark mengatakan satu hal, lalu sistem build Anda masuk dengan sepatu badut.

TechCrunch melaporkan bahwa AWS merilis TorchNeuron pada hari Senin dan bahwa alat itu dapat memindahkan aplikasi PyTorch ke Trainium dengan mengubah satu baris konfigurasi, menurut Amazon. Yang lebih menarik, TechCrunch juga melaporkan bahwa Amazon menyumbangkan perubahan ke upstream PyTorch agar framework tersebut melepaskan asumsi khusus chip dan menjadi lebih agnostik terhadap hardware. Itu gagasan yang lebih besar daripada satu vendor cloud yang mencoba mengisi akseleratornya sendiri. Jika PyTorch sendiri menjadi tidak terlalu terikat pada satu backend tertentu, pembeli mendapat daya tawar dan builder mendapat pilihan tanpa mengubah setiap migrasi menjadi penggalian arkeologi.

Kompatibilitas adalah parit di dalam parit

TechCrunch mencatat bahwa Nvidia telah menghabiskan bertahun-tahun membuat CUDA bekerja mulus dengan PyTorch, yang merupakan kalimat membosankan yang menjelaskan bagian mengejutkan dari sejarah infrastruktur AI. Keunggulan Nvidia bukan hanya karena GPU-nya cepat. Keunggulannya adalah begitu banyak kode AI sudah mengharapkan stack Nvidia ada di sana, seperti pipa air, oksigen, atau satu paket npm yang tidak dipahami siapa pun tetapi semua orang takut menghapusnya.

Itulah mengapa TorchTPU berguna secara strategis bahkan sebelum kita mengetahui detail lisensi, cakupan kode, atau tingkat kematangannya secara persis dari repositori Google sendiri. TechCrunch melaporkan bahwa Google bekerja langsung dengan Meta, Hugging Face, Inferact, yang membuat vLLM, RadixArk, yang membuat SGLang, dan pihak lain agar TorchTPU cocok dengan tooling AI populer. Google juga meluncurkan paket agen TPU untuk membantu developer memindahkan aplikasi dan memperbaiki error, serta memperbarui LiteRT agar aplikasi AI PyTorch bekerja lebih baik di ponsel, laptop, dan perangkat embedded, menurut TechCrunch. Ini bukan hanya satu jembatan. Ini adalah upaya Google untuk mengaspal jalan di sekitar jembatan agar tidak ada yang terjebak di rawa kompatibilitas.

Hal yang perlu diperhatikan builder berikutnya

Ujian jangka pendeknya bukan apakah TorchTPU terdengar elegan dalam posting peluncuran. Ujiannya adalah apakah proyek PyTorch nyata, dengan kernel kustom yang aneh, kekhasan training, stack inference, dan goblin dependensi mereka, dapat mendarat di TPU tanpa membuat tim kehilangan satu sprint untuk antropologi backend. Dorongan TorchNeuron yang serupa dari Amazon memberi developer alasan lain untuk bertanya apakah kode PyTorch mereka seharusnya portabel secara default, bukan secara tidak sengaja dilas ke satu vendor.

Bagi pembaca yang membangun sistem AI, kesimpulannya sederhana: perlakukan kompatibilitas framework sebagai strategi infrastruktur, bukan trivia perpipaan. Jika kode model Anda dapat bergerak lintas akselerator dengan perubahan minimal, Anda punya lebih banyak ruang untuk mengoptimalkan ketersediaan, biaya, latensi, dan kecocokan cloud. Jika tidak bisa, selamat, pilihan akselerator Anda mungkin sudah dibuat untuk Anda tiga tinjauan desain yang lalu. Pertarungan chip itu berisik, tetapi pernyataan import-lah yang melakukan kekerasan diam-diam.