Bonsai 2 27B Mengompresi Qwen3.8 menjadi 5,9 GB: Analisis

Industri AI menyukai ukuran seperti balita menyukai dinosaurus: lebih besar pasti berarti lebih baik, lebih keras, dan sebaiknya bisa memakan sebuah pusat data. PrismML baru saja masuk ke ruang bermain itu dengan Bonsai 2 27B, sebuah model penalaran terkompresi yang menurut laporan TechCrunch mengecilkan Qwen3.8 27B dari Alibaba menjadi 5,9 GB. Itu cukup kecil untuk sebuah PC dan mungkin sebuah smartphone kelas atas, menurut TechCrunch, yang merupakan jenis kalimat yang membuat tagihan inferensi cloud diam-diam mengecek LinkedIn. Bagian pentingnya bukan bahwa sebuah model menjadi lebih kecil. Kuantisasi sudah ada cukup lama sampai-sampai bisa mengeluh sakit punggung. Klaim yang menarik adalah bahwa PrismML mendorong model penalaran yang mumpuni ke dalam batas memori di mana inferensi lokal berhenti terdengar seperti ritual penghobi yang dilakukan saat bulan purnama dan mulai terlihat seperti arsitektur produk.

Diet model 27B, menurut TechCrunch

TechCrunch melaporkan bahwa PrismML merilis Bonsai 2 27B pada hari Kamis sebagai entri terbaru dalam keluarga model Bonsai-nya, dengan mengompresi Qwen3.8 27B open source dari Alibaba yang banyak digunakan menjadi paket 5,9 GB. Laporan yang sama mengatakan bahwa ini berarti pengurangan memori 9x hingga 10x dibandingkan versi asli, angka yang penting karena memori perangkat adalah penjaga pintu di kelab malam AI lokal. Jika model Anda tidak muat, tidak penting seberapa menawannya rantai pemikirannya terlihat di tabel benchmark.

TechCrunch membingkai taruhan PrismML dengan jelas: model bahasa besar penalaran yang mumpuni mungkin tidak perlu tetap besar dalam bentuk deployment. Itu tidak sama dengan mengatakan setiap aplikasi harus kabur dari cloud besok sambil berteriak, yang akan menjadi seni pertunjukan yang mahal. Artinya, para pembangun harus memperlakukan jejak memori sebagai variabel desain utama, berdampingan dengan latensi, kualitas, privasi, dan berapa banyak tiket dukungan yang dimulai dengan kalimat, “asistennya seperti kerasukan.”

Di sinilah kompresi juga menjadi lebih dari sekadar mengecilkan berkas. Model kelas 27B berukuran 5,9 GB menunjukkan representasi bit rendah yang agresif, pilihan arsitektur yang cermat, atau keduanya, meskipun cuplikan TechCrunch tidak mengungkap resep lengkap Bonsai 2 27B. Pelajarannya bagi para praktisi sangat membosankan dengan cara terbaik: batasan deployment sedang membentuk desain model, bukan sekadar hosting model.

PrismML sudah memangkas pohon ini cukup lama, menurut PrismML

Pengumuman PrismML sendiri pada bulan Juli menggambarkan Bonsai 27B sebelumnya sebagai berbasis Qwen3.6 27B, tersedia dalam varian biner 1 bit dan ternary 1,58 bit. Perusahaan mengatakan model itu bersifat multimodal, menerima gambar maupun teks, dan ditujukan untuk penalaran, coding, serta alur kerja agentic. Dalam rilis tersebut, PrismML mengatakan varian 1 bit memiliki jejak memori 3,9 GB untuk perangkat keras konsumen seperti perangkat seluler dan laptop.

Ringkasan RITS NYU Shanghai tentang rilis Juli itu menambahkan konteks yang berguna: ringkasan tersebut menggambarkan Bonsai 27B sebelumnya sebagai sepasang build kuantisasi ekstrem dari Qwen3.6 27B milik Alibaba, dengan varian 1 bit berukuran 3,9 GB dan varian ternary berkualitas lebih tinggi berukuran 5,9 GB. RITS juga mengatakan keduanya dirilis di bawah lisensi Apache 2.0 dan mempertahankan sebagian besar performa benchmark model asli meskipun ukurannya diperkecil sekitar 9 hingga 14x.

Terjemahan dari dialek ML: PrismML tidak sekadar mencukur beberapa byte dari mainan gantungan kunci chatbot. Sejarah itu penting karena Bonsai 2 27B tidak muncul dari toples hype yang tersegel vakum. TechCrunch mengatakan rilis baru ini mengompresi Qwen3.8 27B menjadi 5,9 GB, sementara rilis PrismML sebelumnya menunjukkan perusahaan tersebut sudah bekerja dengan versi bit rendah dari Qwen3.6 27B. Arahnya cukup jelas: ambil model terbuka yang kuat, kompres secara agresif, dan coba pertahankan utilitas penalaran yang cukup agar developer dapat menjalankan beban kerja yang berguna secara lokal.

Mengapa para pembangun perlu peduli, menurut TechCrunch dan NYU Shanghai RITS

Bagi para pembangun, manfaat praktisnya bukan hanya “AI di ponsel Anda,” meskipun ya, frasa itu akan terus dicetak di pitch deck sampai semangat membaik. TechCrunch mengatakan Bonsai 2 27B cukup kecil untuk muat di PC dan mungkin smartphone kelas atas. NYU Shanghai RITS menggambarkan rilis Bonsai 27B sebelumnya sebagai gratis untuk diunduh di bawah Apache 2.0, yang penting karena eksperimen lokal menjadi jauh lebih mudah ketika lisensi tidak datang sambil memasang tali beludru pembatas.

Model penalaran lokal dapat mengubah ke mana data bergerak. Jika sebuah model dapat berjalan di perangkat, prompt sensitif mungkin tidak perlu meninggalkan mesin untuk setiap draf, penjelasan kode, atau rencana alur kerja. Itu tidak secara ajaib menyelesaikan keamanan atau privasi, dan saya dengan senang hati akan menyerahkan api unggun pemodelan ancaman kepada Sam, tetapi hal itu memang mengurangi satu ketergantungan besar: setiap interaksi cerdas harus menjadi perjalanan pulang-pergi ke endpoint jarak jauh.

Tradeoff-nya tetap nyata. Kompresi sering memberi tekanan pada akurasi, kalibrasi, penanganan konteks, fidelitas multimodal, dan kecepatan generasi, tergantung bagaimana sistem dibangun dan disajikan. Bukti di sini sangat mendukung cerita tentang memori, sementara cerita tentang kualitas masih membutuhkan evaluasi langsung oleh developer dengan beban kerja nyata, bukan sekadar konfeti benchmark yang ditembakkan dari meriam pemasaran.

Strategi di balik penalaran kecil, menurut TechCrunch

TechCrunch melaporkan bahwa PrismML didirikan oleh para peneliti Caltech dan dipimpin oleh Babak Hassibi, profesor Caltech sekaligus ahli teknologi kompresi. Laporan yang sama mengatakan Ion Stoica, salah satu pendiri Databricks dan direktur Sky Computing Lab Berkeley, adalah penasihat. Itu tumpukan riwayat hidup yang sangat spesifik: bukan “kami menambahkan AI ke pemanggang roti,” melainkan “kami punya pendapat tentang sistem, kompresi, dan di mana inferensi seharusnya berada.”

TechCrunch juga mencatat PrismML telah mengumpulkan pendanaan seed sebesar $22,25 juta dan didukung oleh Khosla Ventures, Cerberus Capital, dan Caltech. Pendanaan bukan cerita utamanya di sini, tetapi itu menjelaskan mengapa hal ini layak diperhatikan melampaui satu rilis model yang cerdik. Jika model penalaran terkompresi terus membaik, garis persaingan antara layanan AI cloud, alat AI desktop, dan asisten seluler menjadi lebih kabur daripada webcam saat rapat seluruh perusahaan dengan anggaran minim.

Hal berikutnya yang perlu diperhatikan bukan apakah seseorang memposting tangkapan layar Bonsai 2 27B menjawab teka-teki. Perhatikan apakah developer dapat menggunakannya untuk bantuan coding yang andal, penalaran dokumen privat, agen lokal, dan alur kerja sensitif latensi tanpa kualitas jatuh melewati pintu jebakan. Jika Bonsai 2 27B berukuran 5,9 GB dari PrismML bertahan di luar akuarium demo, model AI paling menarik dalam stack Anda mungkin adalah model yang tidak pernah menelepon pulang.