Analisis LLM ESP32-S3: 28,9 Juta dengan Trik Gemma $8

Model bahasa yang berjalan di mikrokontroler seharga $8 terdengar seperti sesuatu yang akan dikatakan seorang insinyur firmware tepat sebelum alarm kebakaran ikut hadir dalam retro sprint. Namun Hackster.io melaporkan bahwa seorang pengembang menjalankan LLM 28,9 juta parameter sepenuhnya di ESP32-S3, tanpa konektivitas cloud atau server eksternal yang terlibat. Teksnya ditampilkan ke layar kecil dengan kecepatan sekitar 9,5 token per detik, yang memang bukan gaya pusat data yang penuh percaya diri, tetapi sangat mengganggu bagi siapa pun yang mengira chip kecil sudah selesai menjadi menarik. Intinya bukan bahwa copilot enterprise Anda berikutnya harus ditenagai oleh board yang harganya lebih murah daripada makan siang. Hackster.io dengan jelas menyatakan bahwa ini bukan model frontier, dan syukurlah, karena pemanggang roti saya tidak membutuhkan OKR triwulanan. Intinya adalah bahwa AI di edge sedang menjadi latihan dalam arsitektur, penempatan, dan pemenuhan batasan, yang pada dasarnya seperti Tetris, kecuali setiap balok adalah tensor dan musiknya adalah anggaran RAM Anda yang menjerit.

Hackster.io Menemukan LLM dalam Kotak Korek Api

Nick Bild dari Hackster.io melaporkan bahwa ESP32-S3 yang digunakan di sini memiliki SRAM 512KB, PSRAM 8MB, dan penyimpanan flash 16MB. Itulah seluruh arenanya. Tidak ada server eksternal yang diam-diam melakukan pekerjaan berat di balik panggung, tidak ada konektivitas cloud yang menyelipkan jawaban model lewat celah pintu, dan tidak ada GPU yang bersembunyi di balik tirai sambil memakai kacamata lucu. Angka-angka itulah yang membuat demo ini edukatif, bukan sekadar imut. Hackster.io mencatat bahwa model bahasa sebelumnya pada kelas mikrokontroler ini melibatkan sekitar 260.000 parameter, sementara implementasi ini kira-kira 100 kali lebih besar. Jumlah parameter saja tetap merupakan metrik kepribadian yang buruk untuk model, seperti memberi peringkat koki berdasarkan jumlah garpu di dapur, tetapi dalam kasus ini ia memberi tahu kita sesuatu yang berguna: pembuatnya menemukan cara melewati batas memori yang biasa.

AI Weekly Menunjukkan Trik Sebenarnya

AI Weekly melaporkan bahwa model ini menggunakan Per-Layer Embeddings yang dipinjam dari model Gemma milik Google untuk menyimpan 25 juta parameternya di flash, bukan di RAM. Kalimat itu adalah kisah rekayasa yang memakai topi kecil. RAM adalah apartemen sempit, flash adalah unit penyimpanan, dan modelnya adalah orang yang bersikeras bahwa sofa sectional itu punya nilai sentimental. Ini penting karena banyak percakapan tentang AI di edge terjebak pada ukuran model seolah-olah mengecilkan model adalah satu kenop bertuliskan tolong kecilkan. Pelajaran yang lebih berguna dari ringkasan AI Weekly adalah bahwa tempat parameter berada bisa sama pentingnya dengan berapa banyak parameter yang ada. Jika bagian-bagian besar dapat duduk di flash alih-alih bersaing memperebutkan RAM yang langka, mikrokontroler dapat mencoba pekerjaan yang sebelumnya tampak absurd, atau setidaknya absurd dengan risiko tuntutan hukum yang lebih kecil.

GitHub Menunjukkan Para Pembuat Sudah Mulai Mencoba

Repositori GitHub publik untuk proyek esp32-ai milik slvDev menunjukkan 2,3 ribu bintang, 265 fork, dan 31 commit dalam cuplikan tersebut. Itu bukan benchmark, dan jelas bukan tinjauan sejawat, tetapi itu adalah sinyal berguna bahwa para pembuat ingin memeriksa kabel-kabelnya. Perhatian open source cenderung berkumpul di tempat ada trik yang bisa direproduksi, bukan sekadar siaran pers yang memakai sepatu sneakers. Bagi pengembang praktis, sudut pandang GitHub adalah perbedaan antara membaca tentang inferensi lokal yang mungil dan bertanya apakah perangkat Anda sendiri bisa menjalankan tugas bahasa yang lebih sempit. Tidak seorang pun seharusnya berharap model mikrokontroler 28,9 juta parameter menggantikan sistem yang lebih besar. Namun untuk antarmuka terbatas, prompt lokal, mainan offline, tampilan eksperimental, dan prototipe yang sensitif terhadap privasi, bentuk idenya lebih penting daripada kefasihan prosa yang dihasilkan.

Apa yang Perlu Dipelajari Pembuat

AI Edge Berikutnya Laporan Hackster.io dan uraian memori dari AI Weekly menunjukkan pola desain yang lebih luas: inferensi bahasa lokal pada perangkat kecil bukan tentang berharap ada ChatGPT mini, melainkan tentang rekayasa sistem yang keras. Hal penting bagi pembuat adalah memulai dari peta memori, lalu memilih trik arsitektur yang sesuai dengan perangkat, bukan sebaliknya. Ini adalah ML tertanam yang kembali ke akarnya, di mana setiap byte diaudit seolah-olah baru saja mengajukan laporan pengeluaran untuk helikopter. Perhatikan ruang ini untuk arsitektur model mungil yang lebih baik, strategi penyimpanan yang lebih agresif, dan demo yang membuat AI lokal terasa tidak sekadar trik pesta, tetapi lebih seperti opsi yang bisa diterapkan. Jika Anda membangun di edge, demo ESP32-S3 ini adalah pengingat untuk memperlakukan memori sebagai bagian dari desain model, bukan sekadar tempat model kebetulan mendarat. Cloud masih berguna, tetapi rupanya mikrokontroler sudah mulai mengambil kelas malam.