Analisis Ekonomi KV Cache AgentX InferenceXv3

Sebuah chatbot meminta jawaban. Seorang agen datang membawa koper beroda, tiga sub-agen, konteks satu juta token, dan keyakinan tulus bahwa anggaran inferensi Anda hanyalah saran. Laporan AgentX InferenceXv3 dari SemiAnalysis hadir di celah yang tidak nyaman tetapi berguna antara keajaiban demo dan matematika produksi. Poin utamanya sangat gamblang: SemiAnalysis menyebut dataset senilai $3 Juta USD, Panjang Konteks 1 Juta+, beban kerja multi-turn, sub-agen, dan KVCache HitRate 95%+. Ini bukan kontes kecantikan model. Ini adalah audit stack serving yang menyamar memakai jas hujan.

Pembaruan, menurut SemiAnalysis

SemiAnalysis menggambarkan AgentX 1.0 sebagai benchmark inferensi coding agentic multi-turn yang sepenuhnya open source, dengan konteks 1 juta, dirilis di bawah Apache 2.0. Laporan tersebut membingkai rilis ini di sekitar satu pertanyaan spesifik: apakah parit pertahanan CUDA masih bertahan dalam inferensi agentic. Saya akan menyerahkan pertarungan chip itu kepada Theo, karena dialah pemilik arena guntur silikon. Bagi para builder, poin langsungnya lebih sederhana: benchmark ini dirancang di sekitar perilaku agen, bukan sekadar chat sopan berformat prompt masuk, jawaban keluar.

SemiAnalysis juga mengatakan bahwa beban kerja agentic long-context dan multi-turn telah tumbuh pesat sejak titik balik Claude Code pada November 2025, dan bahwa kini beban kerja tersebut mendominasi traffic untuk inferensi produksi. Laporan yang sama mengatakan belanja agentic Enterprise OpenAI melampaui belanja ChatGPT pada April 2026. Itu klaim besar, dan konsekuensi operasionalnya lebih besar daripada branding-nya. Jika benchmark Anda masih menyerupai satu pertukaran yang rapi, test harness Anda mungkin sedang mengukur pose yoga sementara produksi sedang merakit furnitur di dalam truk yang bergerak.

Medan pertempurannya adalah perilaku cache, begitu argumen SemiAnalysis lewat

hal yang diukurnya Bagian terpenting dari teaser SemiAnalysis mungkin adalah apa yang diletakkannya berdampingan: Panjang Konteks 1 Juta+, multi-turn, sub-agen, dan KVCache HitRate 95%+. Kombinasi itu memberi tahu builder ke mana tekanan sedang bergerak. Sistem agentic mengakumulasi konteks, meninjau kembali pekerjaan sebelumnya, dan menyebarkan pekerjaan ke sub-agen, sehingga layer serving harus dievaluasi sebagai bagian dari produk, bukan sebagai detail plumbing membosankan yang disembunyikan di balik model card. Plumbing, sayangnya, adalah tempat ruang bawah tanah kebanjiran.

Ini tidak berarti kualitas model berhenti penting. Artinya, kualitas model saja adalah penjelasan yang tidak lengkap untuk biaya dan latensi agen ketika beban kerja sudah panjang dan multi-turn. SemiAnalysis pada dasarnya meminta vendor dan pengguna menunjukkan bagaimana sistem berperilaku di bawah bentuk traffic agen sungguhan. Kesimpulan praktisnya adalah memperlakukan KVCache HitRate sebagai metrik benchmark kelas utama karena laporan tersebut melakukannya, alih-alih memperlakukannya sebagai catatan kaki untuk tiga orang yang membaca output profiler sebagai hiburan.

InferenceX mengubah serving agentic menjadi tabel biaya

Ikhtisar pendamping InferenceX dari SemiAnalysis melaporkan biaya inferensi agentic sebagai biaya per juta total token, dengan nilai lebih rendah berarti lebih baik. Ikhtisar itu mengatakan angka-angkanya menggunakan serving envelope terbaik yang diamati dari tiap platform untuk skenario yang ditampilkan bersama tiap model, dengan mengambil dari InferenceX dan SemiAnalysis Market July 2026 Pricing Surveys serta AI Cloud TCO Model. Ini penting karena inferensi agentic bukan hanya soal token yang dihasilkan, melainkan seluruh serving envelope di sekitar suatu beban kerja. Spreadsheet telah masuk ke chat, dan ia membawa bukti.

Untuk skenario DeepSeek V4 Pro 1.6T yang ditampilkan di InferenceX, tabelnya membandingkan B200 Reference, MI355X, B300, GB200 NVL72, dan GB300 NVL72. InferenceX mencantumkan MI355X pada $0,355 per juta total token dan menggambarkannya sebagai 18% lebih mahal daripada B200, menggunakan SGLang dan FP4. InferenceX mencantumkan B300 pada $0,245 dan menggambarkannya sebagai 18% lebih murah daripada B200, juga menggunakan SGLang dan FP4, sementara referensi B200 ditampilkan dengan vLLM dan FP4. Bagian menariknya bukan hanya baris mana yang lebih murah. Melainkan bahwa software stack, presisi, platform, dan bentuk beban kerja kini tidak dapat dipisahkan dalam cerita biaya.

Apa yang sebaiknya dilakukan builder selanjutnya, berdasarkan SemiAnalysis dan

InferenceX Jika digabungkan, laporan AgentX dari SemiAnalysis dan ikhtisar biaya InferenceX menyarankan loop evaluasi yang lebih berguna untuk produk agen. Lakukan benchmark dengan konteks panjang jika produk Anda menggunakan konteks panjang. Uji alur kerja multi-turn dan sub-agen jika produk Anda bergantung pada hal itu. Lacak KVCache HitRate karena SemiAnalysis menyoroti 95%+ sebagai properti utama, dan bandingkan biaya per juta total token karena InferenceX menggunakan itu sebagai unit perbandingan ekonomi.

Hal berikutnya yang perlu diperhatikan adalah apakah lebih banyak vendor akan menerbitkan hasil inferensi berbentuk agen, bukan putaran kemenangan berbentuk chat. Builder sebaiknya meminta hasil pada beban kerja yang benar-benar mereka jalankan, termasuk panjang konteks, struktur turn, serving stack, dan total biaya token. Investor juga sebaiknya memperhatikan, karena margin agen mungkin bergantung sama besarnya pada efisiensi serving seperti pada nama model mana yang terlihat paling bagus di pitch deck. Modelnya masih bisa sangat brilian, tetapi dalam serving agen, akuntan telah menemukan cache.