Analisis Tingkatan Agen Nvidia Nemotron 3.5: dari Super VL hingga Bolt

Semua orang terus memicingkan mata melihat jumlah parameter seolah-olah itu label nutrisi untuk kecerdasan. Rilisan Nemotron terbaru dari Nvidia lebih menarik karena mengakui hal yang biasanya tidak diucapkan: tidak semua agen ingin tinggal di apartemen yang sama. TechCrunch melaporkan bahwa Nvidia meluncurkan model open-weight baru untuk agen yang selalu aktif dan komputasi edge, dengan Nemotron 3.5 Super VL ditujukan untuk penggunaan perusahaan dan model Bolt ditujukan untuk PC AI lokal serta workstation. Itulah cerita arsitektur yang tersembunyi di balik gemerlap peluncurannya.

Kesimpulan praktisnya bukan bahwa satu model menang lalu yang lain duduk murung di pojok. Melainkan bahwa infrastruktur agen sedang menjadi bertingkat: model besar untuk alur kerja perusahaan yang banyak memakai alat, model lebih kecil untuk mesin lokal ketika latensi, ketersediaan, dan kemudahan deployment menjadi penting. Ini bukan seperti memilih otak, melainkan lebih seperti manajemen armada, kecuali skuter-skuter itu bisa menjelajahi web dan sesekali merangkum dokumen perencanaan kuartalan Anda dengan percaya diri seperti rakun memakai jas lab.

TechCrunch menunjukkan pemisahan antara agen server dan agen lokal

TechCrunch melaporkan bahwa Nemotron 3.5 Super VL adalah model 120 miliar parameter yang dibuat untuk agen perusahaan, sambil menggunakan lebih sedikit parameter daripada Nemotron 3 Ultra dan menargetkan akurasi serupa dalam tugas mengikuti instruksi dan menggunakan alat, menurut Nvidia. Itu penting karena agen perusahaan bukan sekadar kotak obrolan yang memakai dasi. Mereka perlu mengikuti instruksi, memanggil alat, dan bertahan dalam pekerjaan multilangkah tanpa tersesat ke hutan semantik.

TechCrunch juga melaporkan bahwa Nvidia meluncurkan dua model Bolt ringan untuk sisi lain dari peta deployment. Nemotron 3.5 Bolt 74B-A9B 24GB digambarkan sebagai model 74 miliar parameter untuk tugas agen lokal, termasuk penalaran multilangkah, pemanggilan alat, dan penjelajahan web. Bolt E4B yang lebih kecil ditujukan untuk agen percakapan, yang merupakan cara halus untuk mengatakan bahwa tidak setiap beban kerja membutuhkan model setara forklift.

@title Tingkatan agen Nvidia
@source TechCrunch
@source The Next Web

  Model              Size       Target
  Super VL           120B       Enterprise agents
  Bolt 74B A9B       74B 24GB   Local tasks
  Bolt E4B           4GB        Conversation

@caption Nvidia membagi model agen berdasarkan skala dan target deployment.

Perbedaan utamanya bukan sekadar besar versus kecil. Melainkan di mana agen itu berjalan dan kekacauan seperti apa yang diharapkan untuk dibereskannya. Super VL adalah tingkat perusahaan untuk alur kerja yang lebih berat, sementara Bolt adalah tingkat kemudahan deployment untuk sistem lokal. Jika spreadsheet pengadaan Anda membutuhkan model, baiklah. Jika laptop Anda membutuhkan asisten lokal yang tidak menelepon kapal induk setiap kali bersin, itu makhluk yang berbeda.

The Next Web menjelaskan mengapa agen lokal adalah cerita deployment

The Next Web melaporkan bahwa laptop RTX Spark dibuat untuk menjalankan agen AI di perangkat itu sendiri, dengan sistem yang menawarkan hingga 128GB memori bersama dan hingga 1 petaflop performa AI. Mereka juga melaporkan bahwa Nemotron 3.5 Bolt memiliki 74 miliar parameter, 9 miliar aktif pada satu waktu, dan dipadatkan ke dalam memori 24GB pada konfigurasi RTX Spark yang didukung. Itulah inti promosi agen lokal dalam versi ringkas: buat model cukup kecil, cukup sparse, atau cukup rapi dikemas agar bisa tinggal dekat dengan pengguna.

Di sinilah kapabilitas dan kemudahan deployment mulai bergulat di tempat parkir. Model yang lebih besar mungkin menangani alur kerja yang lebih sulit, tetapi model lokal bisa berguna ketika beban kerja mendapat manfaat dari berjalan dekat dengan file, aplikasi, atau pengguna. Bagi pembuat, pertanyaannya menjadi kurang romantis dan lebih operasional: di mana agen ini sebaiknya dieksekusi agar cukup cepat, cukup terkelola, dan cukup murah untuk tetap dipakai setelah demo selesai?

VentureBeat dan WSJ menunjukkan alasan perusahaan membutuhkan model terbuka

VentureBeat melaporkan bahwa Nvidia mengatakan organisasi dapat melakukan post-training pada Super VL menggunakan data, alat, dan kebijakan mereka sendiri, lalu men-deploy-nya pada infrastruktur yang sesuai dengan kebutuhan keamanan dan residensi data. Itu kalimat membosankan yang sebenarnya punya anggaran di belakangnya. Perusahaan tidak hanya menginginkan model yang pintar; mereka menginginkan model yang bisa disesuaikan dengan prosedur mereka tanpa mengubah kepatuhan menjadi piñata.

The Wall Street Journal melaporkan bahwa Kari Briski dari Nvidia mengatakan minat terhadap Nemotron tumbuh sebagian karena modelnya dibuat di AS dan karena data dasarnya dapat diperiksa. WSJ juga melaporkan bahwa organisasi sektor publik dan lembaga keuangan sangat berhati-hati terhadap model buatan Tiongkok, dan bahwa perusahaan semakin nyaman melakukan fine-tuning pada model terbuka. Terjemahannya: pilihan model kini juga menjadi pilihan rantai pasok, tata kelola, dan kustomisasi. Pengadaan AI telah menjadi kurang fiksi ilmiah, lebih seperti goblin dokumen.

Hal yang perlu diperhatikan pembuat selanjutnya, menurut pola peluncuran ini

TechCrunch membingkai peluncuran ini sebagai cara Nvidia memberi organisasi model terbuka yang dioptimalkan untuk berbagai tingkat infrastruktur, alih-alih memaksa satu pilihan antara kapabilitas dan kemudahan deployment. Kerangka itu berguna jika Anda merencanakan agen lebih dari sekadar prototipe. Tempatkan alur kerja berat yang menggunakan banyak alat pada tingkat perusahaan; tempatkan agen percakapan atau tugas lokal di tempat yang hardwarenya benar-benar mampu menanggungnya tanpa meledak menjadi tarian interpretatif.

Bagian yang masih kurang adalah bukti independen dari deployment nyata. Klaim Nvidia jelas, dan pembagian tingkatnya masuk akal, tetapi pembuat tetap perlu menguji akurasi, latensi, keandalan alat, dan perilaku memori pada beban kerja mereka sendiri. Perhatikan apakah tim benar-benar merutekan agen melintasi tingkat cloud, workstation, dan PC, atau apakah semua orang hanya menciptakan diagram orkestrasi baru agar merasa hidup. Era agen bukanlah satu model untuk menguasai semuanya, melainkan masalah pengiriman tugas dengan GPU yang lebih baik dan catatan rapat yang lebih buruk.