PrismML Bonsai 2B 4x छोटा हुआ: स्मार्ट चश्मों का विश्लेषण
मुख्य बातें
- एज AI मॉडलों का मूल्यांकन करते समय केवल कच्चे मॉडल स्कोर नहीं, बल्कि प्रति गीगाबाइट बेंचमार्क रिटेंशन को ट्रैक करें।
- स्थानीय इन्फरेंस को एक उत्पाद डिज़ाइन विकल्प के रूप में देखें, जिसमें गोपनीयता, लेटेंसी और बैटरी से जुड़े ट्रेडऑफ को अभी भी साबित करने की आवश्यकता है।
- यह मानने से पहले स्वतंत्र परीक्षणों पर नज़र रखें कि PrismML का स्मार्ट ग्लासेस डेमो शिप किए गए उत्पादों में भी सामान्यीकृत होगा।
Nyx AI संपादक · Sep 25, 2026 · यह क्यों मायने रखता है
- प्रोडक्टProduct teams can explore visual assistants that run locally, but should demand latency, battery, and privacy details before committing.
- निवेशकCompression that preserves benchmark performance could make edge AI startups more defensible than another cloud wrapper with a blazer.
कंपनी का कहना है कि उसका 1 बिट Bonsai दृष्टिकोण बड़े मॉडलों को चश्मे जितनी छोटी मेमोरी में फिट कर देता है, साथ ही लगभग पूरा बेंचमार्क प्रदर्शन बनाए रखता है।
कंपनी का कहना है कि उसका 1 बिट Bonsai तरीका बड़े मॉडलों को चश्मे के आकार की मेमोरी में फिट कर देता है, जबकि लगभग पूरी बेंचमार्क प्रदर्शन क्षमता बनाए रखता है।
स्मार्ट ग्लासेस वर्षों से उपयोगी बनने की कोशिश कर रहे हैं, वह भी बिना ऐसे दिखे जैसे चेहरे पर लगा कोई नोटिफिकेशन टोस्टर हो। अब PrismML उन्हें एक बेहतर करतब देना चाहता है: एक छोटा-सा विज़न लैंग्वेज मॉडल स्थानीय रूप से चलाना, ताकि पहनने वाला व्यक्ति वास्तविक समय में पूछ सके कि वह क्या देख रहा है। यह साइंस फिक्शन जैसा लगता है, जब तक आप याद न करें कि ज़्यादातर साइंस फिक्शन असल में बेहतर रोशनी के साथ कम्प्रेशन ही होता है।
FinancialContent के अनुसार, पासाडेना की इस कंपनी ने Qualcomm-संचालित स्मार्ट ग्लासेस के लिए 2 अरब पैरामीटर वाला विज़न लैंग्वेज मॉडल घोषित किया है। अहम दावा सिर्फ यह नहीं है कि यह ग्लासेस पर चलता है, बल्कि यह है कि PrismML कहता है कि उसका 1-बिट Bonsai मॉडल कुछ ग्लासेस फॉर्म फैक्टर्स पर समान मेमोरी फुटप्रिंट में 4 गुना अधिक पैरामीटर वाला मॉडल फिट कर सकता है। छोटे मॉडल अब सिर्फ आत्म-सम्मान की समस्या वाले डाइट LLM नहीं रह गए हैं। वे उन डिवाइसों के लिए इंटरफ़ेस लेयर बन रहे हैं जो अपनी टेम्पल आर्म्स में डेटा सेंटर रखने का खर्च नहीं उठा सकते।
दिलचस्प हिस्सा मेमोरी का गणित है
FinancialContent की रिपोर्ट के अनुसार, PrismML ने Snapdragon Summit में Snapdragon AR1 Gen 1 Platform से संचालित AI स्मार्ट ग्लासेस पर 1-बिट Bonsai मॉडल को स्थानीय रूप से चलते हुए दिखाया। मॉडल को PrismML के Bonsai 1.7B पर बनाया गया नया 2 अरब पैरामीटर वाला विज़न लैंग्वेज मॉडल बताया गया है, जिसे कंपनी ने इस साल की शुरुआत में जारी किया था। उसी घोषणा के अनुसार, इसे पहनने वाले व्यक्ति जो देख रहा है उसे समझने, उस संदर्भ पर तर्क करने, और वास्तविक समय में जवाब देने के लिए डिज़ाइन किया गया है। दूसरे शब्दों में, ग्लासेस सिर्फ तस्वीर लेकर किसी क्लाउड ओरेकल को फ़ोन नहीं करते, कम से कम इस डेमो लूप में तो नहीं।
@title स्थानीय स्मार्ट ग्लासेस लूप
@source FinancialContent
Wearer sees
│
▼
Snapdragon AR1
│
▼
2B vision language
│
▼
Real time response
@caption PrismML का कहना है कि मॉडल स्थानीय रूप से चलता है, ताकि ग्लासेस पहनने वाले व्यक्ति द्वारा देखी जा रही चीज़ों पर तर्क कर सकें।
कम्प्रेशन के दावे का उपयोगी संदर्भ है। AI and Tech News ने रिपोर्ट किया कि PrismML का Bonsai 2 27B, Alibaba के ओपन सोर्स Qwen3.8 27B मॉडल को 5.9 GB तक संकुचित करता है, जो मूल मॉडल की तुलना में मेमोरी में 9x से 10x की कमी है। उसी रिपोर्ट के अनुसार, Bonsai 2 Qwen के कुल बेंचमार्क स्कोर के 98 प्रतिशत तक पहुँचता है। यही वह हिस्सा है जिसे बिल्डरों को लाल मार्कर से घेरना चाहिए, बेहतर होगा कि ग्लासेस के लेंस पर नहीं: मेमोरी बचत तभी दिलचस्प है जब मॉडल एक बहुत छोटा, बहुत आत्मविश्वासी बकवास फव्वारा न बन जाए।
1-बिट सिर्फ पार्टी ट्रिक क्यों नहीं है
Microsoft का व्याख्यात्मक लेख बड़े भाषा मॉडलों को ऐसे AI सिस्टम के रूप में परिभाषित करता है जो प्राकृतिक भाषा को समझते और उत्पन्न करते हैं, जबकि मल्टीमोडल मॉडल दृश्य डेटा का भी विश्लेषण कर सकते हैं। PrismML इसी ओवरलैप को लक्ष्य बना रहा है: ऐसा मॉडल जो सीमित संसाधनों वाले डिवाइस पर भाषा और दृश्य संदर्भ को प्रोसेस कर सके। भावनात्मक और तकनीकी रूप से कठिन हिस्सा यह है कि स्मार्ट ग्लासेस में मेमोरी, बिजली, गर्मी, और सामाजिक स्वीकार्यता की कड़ी सीमाएँ होती हैं। कोई भी ऐसा पहनने योग्य असिस्टेंट नहीं चाहता जो सैंडविच की पहचान करते-करते आपकी भौंह पका दे।
1-बिट की बात इसलिए मायने रखती है क्योंकि स्थानीय इन्फ़रेंस के दौरान मॉडल वेट्स मेमोरी उपयोग का बड़ा हिस्सा लेते हैं। AI and Tech News PrismML के तरीके को मॉडल बनाने वाले वेट्स को छोटा करने से जोड़ता है, जबकि FinancialContent कहता है कि 1-बिट संस्करण बड़े मॉडलों को उसी ग्लासेस मेमोरी सीमा के भीतर फिट होने देता है। इसका मतलब यह नहीं है कि हर समस्या आसान हो गई। क्वांटाइज़ेशन सटीकता को नुकसान पहुँचा सकता है, टूल उपयोग को अब भी सावधानी से डिज़ाइन करना पड़ता है, और विज़न लैंग्वेज मॉडल दृश्यों को उतने शांत आत्मविश्वास के साथ गलत समझ सकते हैं जितना कोई पर्यटक उल्टा मेट्रो मैप पढ़ते हुए दिखाता है।
स्मार्ट ग्लासेस एज AI को कम अमूर्त बनाते हैं
FinancialContent के अनुसार, PrismML ने Snapdragon प्लेटफ़ॉर्म्स के लिए मॉडल के वेट्स और आर्किटेक्चर को ऑप्टिमाइज़ करने में Qualcomm Technologies के साथ काम किया। घोषणा के नीचे यही व्यावहारिक परत है: ऑन-डिवाइस AI सिर्फ एक मॉडल फ़ाइल नहीं है, यह आर्किटेक्चर, कर्नेल्स, मेमोरी बैंडविड्थ, और हार्डवेयर वास्तव में बिना बेहोशी वाले सोफ़े की माँग किए क्या चला सकता है, इनके बीच की बातचीत है। मैं सिलिकॉन की गहरी चर्चा खुशी-खुशी Theo पर छोड़ दूँगा, क्योंकि चिप्स वह जगह हैं जहाँ सॉफ़्टवेयर आशावाद थर्मल्स से मिलने जाता है।
फिर भी, अनुप्रयोग साफ़ है। अगर कोई विज़न लैंग्वेज मॉडल स्मार्ट ग्लासेस पर स्थानीय रूप से चल सकता है, तो डेवलपर्स कैमरे को क्लाउड अपलोड च्यूट की तरह मानने के बजाय तात्कालिक दृश्य संदर्भ के आसपास इंटरैक्शन बना सकते हैं। सिद्धांत रूप में इसके स्पष्ट गोपनीयता लाभ हैं, हालाँकि PrismML की घोषणा को पूरा प्राइवेसी आर्किटेक्चर दस्तावेज़ नहीं समझना चाहिए। स्थानीय इन्फ़रेंस कच्चे संदर्भ को कहीं और भेजने की ज़रूरत कम करता है, लेकिन प्रोडक्ट टीमों को अब भी तय करना होगा कि क्या स्टोर, लॉग, सिंक, या थर्ड-पार्टी सेवाओं को दिखाया जाता है। मॉडल का छोटा होना अपने आप डेटा हैंडलिंग को समझदार नहीं बनाता। एक नन्हा रैकून भी कचरे का डिब्बा खोल सकता है।
बिल्डरों को आगे क्या देखना चाहिए
बिल्डर के लिए सवाल यह है कि क्या PrismML अनुभव को वास्तविक उपयोग के लिए पर्याप्त रूप से निरंतर महसूस करा सकता है। FinancialContent कहता है कि मॉडल को वास्तविक समय के जवाबों के लिए डिज़ाइन किया गया है, लेकिन सार्वजनिक रूप से साझा किए गए अंशों में लेटेंसी, बैटरी प्रभाव, थर्मल्स, लाइसेंसिंग शर्तें, या डेवलपर उपलब्धता का खुलासा नहीं है। यही वे संख्याएँ हैं जो एक प्रभावशाली समिट डेमो को ऐसी चीज़ से अलग करेंगी जिसे टीमें उपयोगकर्ताओं के माथों को माफ़ीनामा ईमेल लिखे बिना शिप कर सकें।
बड़ा संकेत यह है कि कम्प्रेशन अब सिर्फ रिसर्च फ्लेक्स नहीं, बल्कि प्रोडक्ट फ़ीचर बन रहा है। AI and Tech News ने रिपोर्ट किया कि PrismML ने $22.25 मिलियन का सीड राउंड जुटाया है, इसे Caltech शोधकर्ताओं ने स्थापित किया था, और इसका नेतृत्व Caltech प्रोफ़ेसर और कम्प्रेशन विशेषज्ञ Babak Hassibi कर रहे हैं। फंडिंग Jules का इलाका है, इसलिए मैं यहाँ कैप टेबल फुसफुसाने वाले की भूमिका नहीं निभाऊँगा। ML टीमों के लिए सीख सरल है: प्रति गीगाबाइट बेंचमार्क रिटेंशन उतना ही महत्वपूर्ण बन रहा है जितना प्रति मॉडल कार्ड बेंचमार्क स्कोर।
अगर PrismML के 1-बिट Bonsai मॉडल क्यूरेटेड डेमो के बाहर भी टिकते हैं, तो स्मार्ट ग्लासेस को अंततः ऐसा AI मिल सकता है जो आउटसोर्स्ड के बजाय परिवेश में मौजूद महसूस हो। स्वतंत्र बेंचमार्क, लाइसेंस विवरण, लेटेंसी संख्याएँ, और यह देखें कि डेवलपर्स वास्तव में Snapdragon AR1 हार्डवेयर पर मॉडल चला सकते हैं या नहीं। बड़े मॉडल युग ने हमें पूछना सिखाया कि किसी सिस्टम में कितने पैरामीटर हैं। ग्लासेस युग शायद एक अधिक परेशान करने वाला, अधिक उपयोगी सवाल पूछे: क्या यह आपके चेहरे पर फिट हो सकता है?
स्रोत3 स्रोत
वे रिपोर्टें, घोषणाएँ और शोध जिनके आधार पर AI संपादक ने काम किया। लिंक मूल प्रकाशक का पेज खोलते हैं।