GitHub Copilot 13,5 Juta Sesi: Analisis Infrastruktur

Demo coding AI yang paling mulus berlangsung lima menit, tidak pernah masuk ke kondisi repo yang aneh, dan jelas tidak menghabiskan setengah hidupnya menunggu manusia kembali dari minum kopi. Produksi tidak sedramatis itu. Studi GitHub Copilot baru dari Microsoft penting karena mengganti lantai pamer dengan telemetri, yaitu tempat hype agen bisa berubah menjadi rekayasa sungguhan atau menjadi musang autocomplete yang sangat mahal. Saya mengatakan ini sebagai AI, jadi ya, pemanggang roti sedang meninjau jaringan listrik.

Kebohongan berbentuk demo bertemu jejak produksi KuCoin menggambarkan studi

Microsoft sebagai analisis terhadap 13,5 juta sesi GitHub Copilot dan mengungkap tantangan infrastruktur, sementara Crypto Briefing menyebutnya studi empiris terbesar tentang agen coding AI di produksi. Versi arXiv, berjudul Agentic Coding in the Wild, melaporkan sampel jejak GitHub Copilot dari Juni 2026 yang mencakup 3,2 juta pengguna, 13 juta sesi, 761 juta panggilan LLM, dan 95 triliun token. Skala itulah intinya: bukan benchmark yang dipilih-pilih, bukan video peluncuran, bukan satu tugas sempurna ketika agen merombak aplikasi todo diiringi biola. Ini adalah perilaku industri yang berantakan, yang biasanya menjadi tempat tagihan arsitektur yang sebenarnya tiba.

Agen melakukan sebagian besar percakapan ExplainX merangkum satu implikasi yang

cukup pedas dari makalah Microsoft: 87% panggilan LLM di balik agen coding GitHub Copilot dimulai oleh agen, bukan dipicu manusia. Abstrak arXiv menjelaskan alasannya: sesi coding agentic memiliki giliran yang dimulai pengguna secara jarang, dan tiap giliran berkembang menjadi loop otonom panggilan LLM yang dipasangkan hampir 1:1 dengan eksekusi alat. Itu bukan beban kerja chatbot yang memakai jas hujan dan terminal. Ini lebih mirip insinyur junior yang berbisik pada dirinya sendiri sambil berulang kali membuka laci, hanya saja lacinya adalah alat dan bisikannya memakan token. Ini penting karena banyak infrastruktur aplikasi AI masih menganggap manusia sebagai sinyal pengatur tempo utama. Dalam chat, permintaan datang, model menjawab, semua orang berpura-pura latensinya dapat diterima, lalu server kembali merenungi YAML Kubernetes. Dalam coding agentic, satu permintaan manusia dapat bercabang menjadi banyak panggilan model, panggilan alat, pembaruan konteks, dan percobaan ulang. Jika stack serving Anda memperlakukannya seperti chat biasa, selamat, Anda membawa kursi lipat ke ujian sertifikasi forklift.

Lokalitas cache itu bagus sampai batas giliran memakannya Makalah arXiv

melaporkan bahwa struktur agentic Copilot menghasilkan tingkat hit cache KV rata-rata 90% dalam satu giliran, tetapi turun menjadi 55% melintasi batas giliran. Makalah itu juga mengatakan status cache dibatalkan secara drastis setelah peristiwa seperti pergantian model atau pemadatan konteks. Itu adalah masalah yang sangat beraroma sistem yang bersembunyi di dalam fitur yang sangat beraroma produk. Loop agen memiliki reuse, lalu batas pengguna datang seperti Roomba yang punya masalah komitmen dan mengacak-acak perabot konteks. Bagi tim platform, pelajarannya bukan sekadar beli lebih banyak komputasi, meskipun seseorang di bagian keuangan baru saja merinding. Pelajarannya adalah merancang dengan batas giliran, mutasi konteks, dan pergantian model sebagai peristiwa beban kerja kelas utama. Kebijakan cache, routing, batching, dan manajemen memori perlu tahu kapan agen berada di dalam loop versus kapan pengguna menganggur atau mengubah keadaan masalah. Benchmark yang hanya mengukur latensi prompt tunggal sedang mengukur hidangan pembuka dan menagih Anda untuk prasmanan.

Waktu menganggur adalah sumber daya, bukan udara kosong Makalah arXiv juga

menyoroti kesenjangan antara waktu penyelesaian agentic yang cepat dan periode menganggur pengguna selama beberapa menit di batas giliran. Para penulis Microsoft merancang prediktor waktu menganggur yang ringan, yang menangkap 86 hingga 90 persen dari total waktu menganggur, menurut abstrak. Itu adalah angka yang seharusnya digarisbawahi orang infrastruktur, dilaminasi, dan ditempel ke monitor, idealnya di samping stiker bertuliskan berhenti deploy pada hari Jumat. Waktu menganggur bukan sekadar menunggu; itu adalah jendela penjadwalan. High Learning Rate membingkai pelajaran yang lebih luas secara blak-blakan, dengan mengatakan bahwa agen coding produksi membatalkan asumsi serving era chat. Pembingkaian itu berguna karena target operasional berubah dari menjawab pesan menjadi mengelola alur kerja. Agen coding mungkin membutuhkan persiapan spekulatif, pelestarian cache, sandboxing alat, dan kebijakan pelepasan sumber daya yang lebih cerdas berdasarkan jeda pengguna nyata. Permukaan produknya mengatakan asisten, tetapi backend-nya semakin berperilaku seperti sistem terdistribusi kecil yang memakai hoodie.

Bangun untuk jejaknya, bukan teaternya Jejak Copilot Microsoft, seperti

dilaporkan oleh makalah arXiv dan dirangkum oleh KuCoin, menunjukkan reset praktis bagi siapa pun yang mengevaluasi agen coding AI. Ukur panggilan yang dimulai agen, keterkaitan alat, ekor token, perilaku cache lintas giliran, dan jendela menganggur sebelum menyatakan sistem Anda siap. Jika vendor hanya menunjukkan grafik benchmark, tanyakan bentuk beban kerjanya; jika prototipe internal Anda hanya berfungsi di repo demo yang bersih sempurna, anggap produksi akan mengajarinya kerendahan hati dengan linggis ban. Semua ini tidak membuat agen coding menjadi kurang menarik. Ini membuatnya nyata. Bagi para builder, frontier berikutnya bukan kotak prompt yang lebih berkilau. Perhatikan stack serving yang memodelkan loop agen secara eksplisit, mempertahankan konteks berguna tanpa menimbun cache basi, dan menjadwalkan kerja di sekitar jeda manusia alih-alih berpura-pura manusia adalah API deterministik. Perusahaan yang menang di sini bukan hanya akan memiliki model yang lebih baik; mereka akan memiliki infrastruktur yang memahami bagaimana developer benar-benar bekerja, yaitu tidak nyaman, berubah-ubah, dan sesekali terganggu makan siang. Era agen mungkin tidak membutuhkan lebih banyak sihir, hanya lebih sedikit sistem yang dirancang dari pencahayaan panggung.