Apple Telah Menjalankan Dua Tingkat Otak AI di iPhone Kamu Sejak 2024, dan Kebanyakan Pelajar ML Melewatkannya

Bayangkan setiap iPhone yang menjalankan iOS 18, saat ini juga, membuat keputusan diam-diam sebelum kamu selesai mengetik kalimatmu: apakah permintaan ini cukup sederhana untuk ditangani secara lokal, atau perlu diteruskan ke server? Keputusan itu terjadi dalam hitungan milidetik, di dalam sebuah arsitektur yang jarang dibahas di kursus ML mana pun, pada skala yang jarang pernah dikirimkan oleh sebagian besar engineer ML. Apple telah menjalankan sistem inferensi dua tingkat di ratusan juta perangkat sejak mengumumkan Apple Intelligence di WWDC 2024, dan penelitian di baliknya jauh lebih menarik daripada yang disarankan oleh slide pemasaran mereka. Perdebatan biner yang mendominasi sebagian besar diskusi deployment AI, yaitu on-device versus cloud, sebenarnya selalu sedikit keliru sebagai dilema. Penelitian yang dipublikasikan Apple membuktikan hal itu dalam lingkungan produksi nyata. Memahami bagaimana sistem mereka sebenarnya bekerja adalah salah satu pelajaran arsitektur paling berharga yang tersedia bagi siapa pun yang mempelajari pipeline deployment modern, dan bagian terbaiknya adalah Apple menuliskan semuanya.

Arsitektur Dua Tingkat: Satu Ponsel, Dua Otak

Sistem model fondasi Apple bukanlah satu model tunggal. Menurut publikasi riset machine learning Apple sendiri dari Juni 2024, Apple Intelligence terdiri dari beberapa model generatif yang dikhususkan untuk tugas-tugas sehari-hari pengguna. Inti sistemnya adalah model berparameter sekitar 3 miliar yang berjalan sepenuhnya on-device, dioptimalkan khusus untuk Apple Silicon. Di sampingnya terdapat model berbasis server yang lebih besar, dirancang untuk Private Cloud Compute, yang menangani permintaan yang melampaui kemampuan model on-device.

Pilihan rekayasa yang membuat model on-device layak digunakan dengan 3B parameter sangat layak dipelajari secara mendalam. Laporan Teknis Apple 2025 (diterbitkan Juli 2025, tersedia di arxiv.org/abs/2507.13575) mendeskripsikan dua inovasi arsitektur spesifik: KV-cache sharing dan quantization-aware training 2-bit. KV-cache sharing mengurangi tekanan bandwidth memori selama inferensi, yang sangat penting saat kamu beroperasi di dalam batasan termal dan memori sebuah ponsel. Quantization-aware training pada 2 bit tergolong agresif berdasarkan standar mana pun; artinya model belajar, selama proses pelatihan itu sendiri, untuk tahan terhadap kehilangan presisi yang diperkenalkan oleh kuantisasi, alih-alih memiliki presisi yang dihapus setelah fakta sebagai tambahan belakangan.

Model server, sementara itu, dibangun di atas apa yang Apple sebut arsitektur transformer Parallel-Track Mixture-of-Experts (PT-MoE), sesuai Laporan Teknis 2025 yang sama. Mixture-of-Experts adalah desain di mana sebuah model berisi beberapa sub-jaringan yang terspesialisasi dan hanya mengaktifkan sebagian kecil untuk setiap input tertentu (bayangkan seperti rumah sakit yang memiliki banyak spesialis tetapi hanya memanggil yang relevan dengan gejala spesifikmu). Framing "parallel-track" mengisyaratkan bahwa varian Apple menambahkan inovasi struktural di atas pola MoE standar, meski detail teknis lengkapnya ada di paper arxiv, bukan di posting ringkasannya.

Apa yang Sebenarnya Dimaksud "Private Cloud Compute" dalam Arsitektur

Di sinilah ceritanya menjadi benar-benar instruktif bagi para pelajar yang memikirkan deployment. Komponen sisi server dari Apple Intelligence bukanlah panggilan API cloud generik ke penyedia pihak ketiga. Dokumentasi riset dan keamanan Apple mendeskripsikan Private Cloud Compute sebagai infrastruktur khusus di mana inferensi server berjalan di Apple Silicon, bukan di kluster GPU komoditas. Trail of Bits, sebuah firma riset keamanan yang menganalisis rilis WWDC 2024 awal, mencatat bahwa Apple secara khusus menyebutkan tidak adanya ketergantungan pada perangkat keras NVIDIA atau CUDA API di mana pun dalam tumpukan tersebut: pelatihan menggunakan framework AXLearn milik Apple (yang berjalan di TPU dan Apple Silicon), inferensi model server berjalan di Apple Silicon, dan API on-device menggunakan CoreML dan Metal.

Implikasi arsitektur bagi para pelajar cukup signifikan. "Server" dalam sistem split-inference ini bukanlah deployment cloud standar. Ini adalah infrastruktur yang dibuat khusus dan menjalankan keluarga chip yang sama dengan perangkat klien, yang menciptakan properti menarik seputar latensi, efisiensi daya, dan kontrol rantai pasokan yang tidak akan dimiliki oleh deployment cloud-plus-mobile biasa. Hal ini penting saat kamu memikirkan cara mereplikasi atau belajar dari pola ini: koherensi perangkat keras lintas tingkatan adalah bagian dari desainnya, bukan kebetulan.

Pembaruan WWDC 2025 Apple (diterbitkan 9 Juni 2025) juga memperkenalkan framework Foundation Models yang memberi pengembang aplikasi pihak ketiga akses langsung ke model bahasa fondasi on-device. Ini berarti model 3B-parameter yang menjadi inti Apple Intelligence kini dapat diakses oleh pengembang yang membangun aplikasi, yang secara substansial meningkatkan nilai edukatifnya: arsitektur yang Apple rancang untuk fitur internal kini menjadi target deployment bagi ekosistem yang lebih luas.

Apa yang Sebenarnya Dilakukan Model: Tugas, Bukan Trik

Mudah sekali untuk tenggelam dalam detail arsitektur dan lupa bertanya apa yang sebenarnya dilakukan sistem ini. Posting riset Juni 2024 Apple yang asli mendeskripsikan model fondasi sebagai model yang di-fine-tune untuk pengalaman termasuk menulis dan menyempurnakan teks, memprioritaskan dan merangkum notifikasi, serta membuat gambar untuk percakapan. Ini bukan benchmark mainan; ini adalah tugas produksi yang berjalan terhadap data pengguna nyata di perangkat nyata, yang memaksakan kendala yang tidak dihadapi oleh model yang dioptimalkan untuk benchmark.

Desain split-inference secara langsung mencerminkan persyaratan tugas ini. Peringkasan notifikasi, misalnya, adalah tugas yang sensitif terhadap latensi dan privasi, di mana mengirim data ke server untuk setiap notifikasi akan terasa lambat sekaligus kurang nyaman bagi pengguna. Model on-device menangani kasus-kasus ini. Bantuan penulisan yang lebih kompleks, yang mungkin memerlukan pengetahuan dunia yang lebih luas atau penalaran konteks yang lebih panjang, diteruskan ke model server bila diperlukan. Logika routing itu sendiri adalah properti sistem yang dipelajari, bukan aturan yang dikodekan secara keras, yang merupakan detail penting bagi siapa pun yang merancang pipeline serupa.

Laporan Teknis 2025 juga menyebutkan bahwa generasi model yang lebih baru bersifat multibahasa dan multimodal, menangani teks maupun modalitas lainnya di seluruh perangkat dan layanan Apple. Cakupannya telah berkembang cukup besar dari rilis 2024 awal, yang patut diperhatikan oleh pelajar yang mengikuti perkembangan sistem AI produksi: arsitektur yang kamu pelajari hari ini akan berbeda secara signifikan dalam delapan belas bulan ke depan, tetapi prinsip desain yang mendasarinya cenderung tetap stabil.

Apa Artinya Ini bagi Pelajar yang Membangun Pipeline Deployment

Pelajaran praktis di sini bukan "tiru arsitektur Apple." Kebanyakan pelajar tidak mengirimkan ke ratusan juta perangkat dan tidak memiliki server farm Apple Silicon. Pelajarannya lebih halus dan lebih mudah diterapkan: framing biner antara inferensi on-device versus cloud adalah penyederhanaan yang runtuh begitu persyaratan deployment-mu menjadi spesifik. Latensi, privasi, kemampuan model, kendala perangkat keras, dan kompleksitas tugas semuanya mendorong ke arah yang berbeda secara bersamaan, dan arsitektur bertingkat sering kali merupakan respons rekayasa yang jujur terhadap ketegangan tersebut.

Bagi pelajar yang mempelajari pipeline deployment, penelitian yang dipublikasikan Apple secara tidak biasa transparan tentang tradeoff desain. Posting riset 2024 yang asli, pembaruan WWDC 2025, dan Laporan Teknis 2025 (lengkap dengan paper arxiv di arxiv.org/abs/2507.13575) bersama-sama membentuk salah satu akun publik paling terperinci tentang bagaimana sistem AI konsumen besar sebenarnya terstruktur. Membacanya secara berurutan, dari deskripsi arsitektur awal hingga inovasi PT-MoE dalam laporan 2025, memberimu pandangan longitudinal yang langka tentang bagaimana sistem produksi berkembang di bawah kendala dunia nyata.

Framework Foundation Models yang diumumkan di WWDC 2025, yang membuka model on-device untuk pengembang pihak ketiga, adalah benang yang layak ditarik berikutnya. Ini memberi sinyal bahwa tingkatan on-device dari sistem dua tingkat ini kini merupakan platform pengembang, bukan sekadar alat internal Apple. Jika kamu sedang mempelajari pengembangan iOS, deployment ML, atau NLP on-device, framework tersebut adalah tempat eksplorasi langsung dimulai. Ponselmu telah menjalankan sistem inferensi terdistribusi tingkat lanjut sejak 2024, dan silabusnya sudah tersedia untuk umum sejak saat itu.