Apple 2024 से आपके iPhone पर एक Two-Tier AI Brain चला रहा है, और अधिकांश ML सीखने वालों को इसकी जानकारी ही नहीं हुई

अभी इस वक्त हर वो iPhone जिसमें iOS 18 चल रहा है, हर बार जब आप कुछ टाइप करते हैं, उससे पहले ही एक चुपचाप-सा फैसला कर लेता है: क्या यह request इतनी सरल है कि इसे device पर ही handle किया जा सके, या इसे आगे भेजने की ज़रूरत है? यह फैसला milliseconds में होता है, एक ऐसे architecture के अंदर जिसे ज़्यादातर ML courses कभी describe नहीं करते, और ऐसे scale पर जहाँ ज़्यादातर ML engineers कभी deploy नहीं पहुँचते। Apple WWDC 2024 में Apple Intelligence की घोषणा के बाद से करोड़ों devices पर एक two-tier inference system चला रहा है, और इसके पीछे की research उन marketing slides से कहीं ज़्यादा दिलचस्प है जो उस वक्त दिखाई गई थीं। AI deployment को लेकर जो बहस अक्सर होती है — on-device बनाम cloud — वो हमेशा से एक झूठी दुविधा रही है। Apple की published research इसे production में साबित करती है। उनका system असल में कैसे काम करता है, यह समझना आज के deployment pipelines पढ़ने वाले किसी भी learner के लिए सबसे उपयोगी architectural सबक है, और सबसे अच्छी बात यह है कि Apple ने यह सब लिख कर रखा है।

दो-स्तरीय Architecture: एक Phone, दो दिमाग

Apple का foundation model system कोई अकेला model नहीं है। Apple की अपनी machine learning research publication (जून 2024) के अनुसार, Apple Intelligence कई generative models से मिलकर बना है जो users के रोज़मर्रा के कामों के लिए specialized हैं। इसके केंद्र में एक लगभग 3-billion-parameter का model है जो पूरी तरह device पर चलता है और Apple Silicon के लिए specially optimize किया गया है। इसके साथ एक बड़ा server-based model भी है जो Private Cloud Compute के लिए बना है और उन requests को handle करता है जो on-device model की क्षमता से बाहर हों।

3B parameters पर on-device model को व्यावहारिक बनाने के लिए जो engineering choices की गई हैं, वो ध्यान से पढ़ने लायक हैं। Apple की 2025 Tech Report (जुलाई 2025 में published, arxiv.org/abs/2507.13575 पर उपलब्ध) दो खास architectural innovations describe करती है: KV-cache sharing और 2-bit quantization-aware training।

KV-cache sharing inference के दौरान memory bandwidth का दबाव कम करती है, जो तब बेहद मायने रखता है जब आप एक phone की thermal और memory limits के अंदर काम कर रहे हों। 2 bits पर quantization-aware training किसी भी मानक से aggressive है; इसका मतलब है कि model training के दौरान ही यह सीखता है कि quantization से होने वाले precision loss को कैसे झेला जाए, न कि यह precision training के बाद बाद में एक afterthought की तरह हटाई जाए।

Server model की बात करें तो यह उसी 2025 Tech Report के अनुसार एक Parallel-Track Mixture-of-Experts (PT-MoE) transformer architecture पर बना है। Mixture-of-Experts एक ऐसा design है जहाँ एक model में कई specialized sub-networks होते हैं और किसी भी input के लिए उनमें से केवल कुछ ही activate होते हैं। इसे ऐसे समझें जैसे एक hospital में कई specialists हों, लेकिन page सिर्फ उन्हें किया जाए जो आपकी specific problem के लिए relevant हों। "Parallel-track" शब्द बताता है कि Apple के variant में standard MoE pattern के ऊपर कुछ structural innovations भी जोड़े गए हैं, हालाँकि पूरी technical details summary post की बजाय arxiv paper में हैं।

"Private Cloud Compute" का Architecture के लिए असली मतलब

यहीं से यह कहानी deployment के बारे में सोचने वाले learners के लिए सच में सीखने लायक बनती है। Apple Intelligence का server-side component कोई generic cloud API call नहीं है जो किसी third-party provider को जाती हो। Apple की research और security documentation Private Cloud Compute को एक dedicated infrastructure के रूप में describe करती है जहाँ server inference commodity GPU clusters पर नहीं, बल्कि Apple Silicon पर चलता है।

Trail of Bits, एक security research firm जिसने original WWDC 2024 release का analysis किया था, ने नोट किया कि Apple पूरे stack में कहीं भी NVIDIA hardware या CUDA APIs पर निर्भरता न होने की बात खास तौर पर कहता है: training के लिए Apple का AXLearn framework use होता है (जो TPUs और Apple Silicon पर चलता है), server model inference Apple Silicon पर चलता है, और on-device APIs CoreML और Metal use करती हैं।

Learners के लिए इसका architectural मतलब बड़ा है। इस split-inference system में "server" कोई standard cloud deployment नहीं है। यह purpose-built infrastructure है जो client device जैसी ही chip family पर चलता है, जिससे latency, power efficiency, और supply-chain control के मामले में ऐसी खूबियाँ मिलती हैं जो एक typical cloud-plus-mobile deployment में नहीं होतीं। यह तब मायने रखता है जब आप यह सोच रहे हों कि इस pattern को कैसे replicate करें या इससे कैसे सीखें: दोनों tiers में hardware की एकरूपता design का हिस्सा है, कोई संयोग नहीं।

Apple के 2025 WWDC update (9 जून 2025 को published) ने एक Foundation Models framework भी introduce किया जो third-party app developers को on-device foundation language model तक direct access देता है। इसका मतलब है कि Apple Intelligence की जान, वही 3B-parameter model, अब developers के लिए accessible है जो apps बना रहे हैं। इससे educational stakes काफी बढ़ जाती हैं: Apple ने जो architecture अपने internal features के लिए design किया था वो अब broader ecosystem के लिए एक deployment target बन रहा है।

Model असल में क्या करता है: Tricks नहीं, Tasks

Architectural details में इतना खो जाना आसान है कि यह पूछना ही भूल जाएं कि system actually क्या कर रहा है। Apple की original जून 2024 research post describe करती है कि foundation models को text लिखने और refine करने, notifications को prioritize और summarize करने, और conversations के लिए images बनाने जैसे experiences के लिए fine-tune किया गया है। ये कोई toy benchmarks नहीं हैं; ये production tasks हैं जो real devices पर real user data के साथ चलते हैं, जो ऐसी constraints लगाते हैं जिनका सामना benchmark-optimized models को नहीं करना पड़ता।

Split-inference design इन्हीं task requirements को directly reflect करता है। Notification summarization एक low-latency, privacy-sensitive task है जहाँ हर notification पर server को data भेजना users के लिए धीमा भी होगा और असहज भी। On-device model ये cases handle करता है। ज़्यादा complex writing assistance, जिसके लिए broader world knowledge या longer context reasoning की ज़रूरत हो सकती है, ज़रूरत पड़ने पर server model को route होती है। Routing logic खुद एक learned system property है, कोई hard-coded rule नहीं, जो कि similar pipelines design करने वाले किसी भी व्यक्ति के लिए एक ज़रूरी detail है।

2025 Tech Report यह भी बताती है कि models की नई generation multilingual और multimodal है, और Apple devices और services पर text तथा अन्य modalities दोनों को handle करती है। Initial 2024 release के मुकाबले scope काफी बढ़ चुका है, जो production AI systems के evolution को track करने वाले learners के लिए ध्यान देने योग्य है: आज जो architecture आप पढ़ रहे हैं वो अठारह महीनों में meaningfully अलग होगी, लेकिन underlying design principles आमतौर पर stable रहती हैं।

Deployment Pipelines बना रहे Learners के लिए इसका क्या मतलब है

यहाँ practical सबक यह नहीं है कि "Apple की architecture copy करो।" ज़्यादातर learners करोड़ों devices पर ship नहीं कर रहे और उनके पास Apple Silicon server farms नहीं हैं। सबक उससे ज़्यादा subtle और transferable है: on-device बनाम cloud inference की binary framing एक simplification है जो जैसे ही आपकी deployment requirements specific होती हैं, टूट जाती है। Latency, privacy, model capability, hardware constraints, और task complexity — ये सब एक साथ अलग-अलग दिशाओं में खिंचते हैं, और एक tiered architecture अक्सर उस tension का ईमानदार engineering जवाब होता है।

Deployment pipelines पढ़ने वाले learners के लिए Apple की published research design tradeoffs के बारे में असामान्य रूप से transparent है। Original 2024 research post, 2025 WWDC update, और 2025 Tech Report (arxiv.org/abs/2507.13575 पर arxiv paper के साथ) मिलकर एक major consumer AI system के असल structure का सार्वजनिक रूप से available सबसे detailed accounts में से एक बनाते हैं। इन्हें sequence में पढ़ना, initial architecture description से लेकर 2025 report में PT-MoE innovations तक, आपको यह दुर्लभ longitudinal view देता है कि एक production system real-world constraints के तहत कैसे evolve होता है।

WWDC 2025 में announce किया गया Foundation Models framework, जो on-device model को third-party developers के लिए खोलता है, वो thread है जिसे आगे खींचना चाहिए। यह signal करता है कि इस two-tier system का on-device tier अब एक developer platform बन चुका है, सिर्फ Apple का internal tool नहीं। अगर आप iOS development, ML deployment, या on-device NLP सीख रहे हैं, तो वही framework वो जगह है जहाँ से hands-on exploration शुरू होती है।

आपका phone 2024 से एक graduate-level distributed inference system चला रहा है, और syllabus हर वक्त public था।