Penyajian inferensi LLM di SIGCOMM 2026: analisis KVServe

Model Anda boleh memiliki parameter sebanyak apa pun. Jika KV cache-nya menyumbat jaringan, selamat, Anda baru saja membuat sedotan yang sangat mahal. Draf program teknis ACM SIGCOMM 2026 menempatkan masalah ini langsung di depan: pada Selasa, 18 Agustus, pukul 11.00 hingga 12.25, Track A mencantumkan Research Session 1: LLM Inference & Serving, menurut Program Details dari ACM SIGCOMM 2026. Itu bukan keynote vendor dengan mesin kabut; itu adalah komunitas jaringan yang dengan sopan bertanya mengapa chatbot Anda membutuhkan truk pindahan untuk state perhatiannya.

KV cache masuk ke SIGCOMM

Program Details dari ACM SIGCOMM 2026 mencantumkan makalah KVServe: Service-Aware KV Cache Compression for Communication-Efficient Disaggregated LLM Serving dalam Research Session 1, yang diketuai oleh Xiao Yunming. Penulis yang tercantum mencakup Zedong Liu, Xinyang Ma, Dejun Luo, Hairui Zhao, Bing Lu, Wenjing Huang, Yida Gu, Xingchen Liu, Zheng Wei, Jinyang Liu, Dingwen Tao, dan Guangming Tan, dengan afiliasi yang mencakup University of Chinese Academy of Sciences, Institute of Computing Technology, Chinese Academy of Sciences, dan University of California, Riverside.

Abstraknya mengatakan bahwa LLM telah banyak diadopsi dalam produksi dan bahwa sistem inferensi sedang didorong hingga batasnya, yang dalam bahasa akademis berarti server-server sedang berkeringat sampai menembus “kemeja rak” mereka. Abstrak yang sama dalam ACM SIGCOMM 2026 Program Details memberikan kait sistem utamanya: penyajian LLM terdisagregasi, termasuk pemisahan PD dan disagregasi state KV, dapat meningkatkan skalabilitas dan efisiensi biaya, tetapi hal itu mengubah KV menjadi payload eksplisit yang melintasi batas jaringan dan penyimpanan. Menurut abstrak tersebut, ini membuat KV menjadi bottleneck end-to-end yang dominan. Dengan kata lain, cache perhatian berhenti menjadi detail internal model dan berubah menjadi muatan kargo.

Mengapa jaringan kini memiliki bagian lebih besar dari inferensi

SIGCOMM 2026 Call For Papers mengatakan bahwa konferensi ini mencari kontribusi riset signifikan atau pengalaman deployment dalam jaringan komunikasi dan sistem berjaringan. Dokumen itu juga mengatakan SIGCOMM memandang jaringan secara luas, termasuk jaringan pusat data, wide area, mobile, embedded, rumah, dan enterprise, ditambah manajemen sumber daya, performa, konsumsi energi, ketahanan, diagnosis, verifikasi, privasi, ekonomi, dan interaksi dengan aplikasi. Itu adalah cara yang sangat panjang untuk mengatakan: ya, inference stack Anda termasuk, tolong berhenti berpura-pura bahwa jaringan hanyalah akuarium kabel dekoratif.

Program Overview dari ACM SIGCOMM 2026 memperkuat bahwa AI tidak sedang berkunjung ke dunia jaringan sebagai turis. Hari pertama mencantumkan workshop dan tutorial termasuk Networking Education for the AI Generation dan MemNet-AI, bersama acara seperti Programming SmartNICs. Saya akan menyerahkan sisi chip dari lubang kelinci SmartNIC itu kepada Theo, tetapi implikasi perangkat lunaknya sudah terlihat: performa LLM semakin dibentuk oleh di mana state berada, bagaimana ia bergerak, dan seberapa sering Anda membuatnya bolak-balik.

Model bukan seluruh produk

Catatan Semantic Scholar tahun 2024 untuk LLM Inference Serving: Survey of Recent Advances and Opportunities mengatakan bahwa survei tersebut berfokus pada riset sistem penyajian LLM sejak 2023. Catatan itu menggambarkan pekerjaan pada peningkatan tingkat sistem yang memperbaiki performa dan efisiensi tanpa mengubah mekanisme inti decoding LLM. Perbedaan itu penting karena memisahkan ilmu model dari keterampilan penyajian, seperti koki dan perencana lalu lintas kota sama-sama memengaruhi apakah makan malam tiba dalam keadaan panas.

Berdasarkan abstrak ACM SIGCOMM 2026 Program Details, KVServe termasuk dalam kategori keterampilan penyajian tersebut. Ia tidak menjanjikan otak yang lebih besar di dalam model; ia menargetkan efisiensi komunikasi dalam penyajian LLM terdisagregasi melalui kompresi KV cache yang sadar layanan. Itu mungkin terdengar kurang glamor dibanding tabel benchmark yang berkilau, tetapi AI produksi sering mati oleh seribu perjalanan bolak-balik, dan tidak ada yang memasukkan itu ke video peluncuran kecuali tim marketing sudah digantikan oleh tcpdump.

Apa yang perlu diperhatikan builder berikutnya

Halaman Accepted Papers dari ACM SIGCOMM 2026 mengatakan 110 makalah telah diterima, yang membuat fokus inferensi LLM dalam Research Session 1 menjadi bagian dari daftar riset jaringan yang jauh lebih besar. Halaman resmi Program Details juga mengatakan bahwa program teknis terperinci tersebut adalah jadwal draf dan akan diperbarui saat sesi, ketua, dan ruangan difinalisasi. Terjemahan untuk builder: perlakukan ini sebagai sinyal awal, bukan kitab suci deployment final yang dipahat pada ubin lantai pusat data.

Namun, sinyalnya tetap berguna. Jika Anda sedang membangun atau membeli infrastruktur LLM, mulailah mengajukan pertanyaan yang kurang glamor: di mana state KV berada, kapan ia melintasi batas, apa yang dikompresi, dan tradeoff apa yang muncul ketika penyajian dibuat terdisagregasi. Arsitektur model tetap penting, tentu saja, tetapi ACM SIGCOMM 2026 mengingatkan kita bahwa performa inferensi kini adalah masalah sistem dengan sebuah model yang menempel. Token paling cerdas adalah token yang tidak perlu melakukan perjalanan jauh.