Biaya Inferensi AI: Analisis Gartner Lima Kali Lipat 2028

Demo AI termurah tetaplah demo yang tidak pernah bertemu pengguna nyata. Begitu sebuah agen mulai merencanakan, mengambil konteks, memanggil alat, memeriksa pekerjaannya sendiri, lalu mengulanginya karena jawaban pertama tidak dapat digunakan, tagihannya berhenti terlihat seperti eksperimen chatbot. Perkiraan terbaru Gartner memberi angka pada rasa tidak nyaman itu: biaya inferensi per alur kerja agentic diperkirakan meningkat lebih dari lima kali lipat hingga 2028. Itu bukan tenggat kepatuhan, tetapi siapa pun yang memasukkan alur kerja otonom ke produksi sebaiknya memperlakukannya seperti tenggat kepatuhan.

Apa yang sebenarnya diperingatkan Gartner

Rilis ruang berita Gartner mengatakan biaya inferensi AI per alur kerja agentic akan meningkat lebih dari lima kali lipat hingga 2028. Techstrong.ai, yang melaporkan riset Gartner yang sama, menambahkan bagian yang kurang nyaman: kenaikan itu diperkirakan terjadi meskipun harga token turun, karena model penalaran yang lebih mampu dapat mengonsumsi lebih banyak token dan komputasi saat agen menjalani banyak langkah dan keputusan. Dalam bahasa sederhana, bahan yang lebih murah tidak banyak membantu jika resepnya sekarang memakai jauh lebih banyak bahan.

Ini penting karena alur kerja agentic bukan satu prompt dengan respons yang rapi. Techstrong.ai menggambarkan agen yang menjalani banyak langkah dan keputusan, dan tepat di situlah tim keuangan sebaiknya berhenti menerima biaya rata-rata per kueri sebagai metrik yang relevan. Satuan perhitungannya adalah alur kerja yang selesai, termasuk upaya yang gagal, percobaan ulang, pengambilan informasi, panggilan alat, dan eskalasi. Jika dasbor Anda tidak dapat menunjukkan itu, maka dasbor tersebut tidak mengukur hal yang diperingatkan Gartner.

Terjemahan praktisnya sederhana. Tim produk perlu memutuskan alur kerja mana yang layak mendapat perlakuan agentic, tim engineering perlu mengarahkan pekerjaan yang lebih murah ke model yang lebih murah, dan tim keuangan membutuhkan batasan sebelum penggunaan meningkat. Menganggap ini sebagai urusan engineering adalah cara kejutan berubah menjadi penjelasan triwulanan.

Tumpukan pengendalian biaya kini menjadi tata kelola

Techstrong.ai mengatakan Gartner merekomendasikan tiering inferensi, batas token, dan pemantauan untuk menjaga biaya AI agentic tetap terkendali. Zylos Research menggambarkan disiplin terkait, Inference FinOps, yang berfokus pada pengaturan, perutean, caching, dan arbitrase belanja komputasi AI di berbagai penyedia. Singkirkan labelnya, dan kewajibannya terasa akrab: ketahui apa yang berjalan, mengapa itu berjalan, siapa yang menyetujuinya, dan kapan itu harus berhenti.

Bagi pembuat, ini mengubah pilihan arsitektur menjadi kontrol kebijakan. Perutean menentukan apakah sebuah permintaan membutuhkan model penalaran frontier atau model yang lebih murah. Caching menentukan apakah sistem harus membayar lagi untuk konteks yang sudah pernah diambil. Gerbang persetujuan menentukan apakah agen boleh terus menghabiskan token, memanggil alat, atau menyerahkannya ke manusia. Ini bukan hiasan untuk tinjauan arsitektur. Ini adalah padanan biaya dari kontrol akses.

Zylos Research juga mengatakan inferensi menyumbang 85% dari anggaran AI perusahaan pada 2026 dan sekitar dua pertiga dari belanja komputasi AI global. Mereka memperkirakan satu panggilan API chatbot mungkin berbiaya $0,001, sementara agen multi-langkah yang merencanakan, mengambil konteks, memanggil alat, merefleksikan, dan mengoreksi diri dapat berbiaya $0,10 hingga $1,00 per penyelesaian tugas. Angka-angka itu tentu tidak akan cocok persis dengan setiap kontrak vendor. Namun angka itu menjelaskan mengapa pengadaan akan mulai mengajukan pertanyaan yang lebih sulit daripada sekadar apakah demonya terlihat lancar.

Risiko pembatalan bukan soal keajaiban model

Forbes, mengutip Gartner, melaporkan bahwa lebih dari 40% proyek AI agentic dapat dibatalkan pada akhir 2027, dengan pembatalan dikaitkan pada masalah manajemen, bukan kemampuan model. Alasan yang disebutkan adalah tata kelola yang buruk, nilai bisnis yang tidak terdefinisi, dan disiplin operasional yang tidak memadai, termasuk kasus ketika chatbot diberi label keliru sebagai agen sungguhan. Itu versi cerita yang kurang glamor, yang biasanya berarti justru itulah yang layak dibaca.

Di sinilah kebiasaan hukum dan kebijakan membantu, bahkan ketika tidak ada regulator yang memaksa. Definisikan tujuan sebelum deployment. Catat hak pengambilan keputusan sebelum sistem bertindak. Tetapkan ambang batas untuk biaya, penanganan kesalahan, dan tinjauan manusia sebelum pilot menjadi bagian dari operasi harian. Jika itu terdengar seperti urusan dokumen, selamat, Anda telah menemukan produksi.

Inside Privacy melaporkan bahwa Information Commissioner’s Office Inggris menerbitkan pemikiran awal pada Januari 2026 tentang implikasi perlindungan data dari AI agentic, sambil mencatat bahwa laporan itu bukan panduan regulasi formal. Perbedaan ini penting. ICO tidak membuat buku aturan baru dalam laporan itu, tetapi ketertarikannya menandakan bahwa otonomi, akses data, dan akuntabilitas kini menjadi pertanyaan kebijakan sekaligus pertanyaan produk.

Apa yang berubah dalam praktik hingga 2028

Perkiraan Gartner untuk 2028 tidak mengharuskan siapa pun menghentikan proyek agen. Namun itu memang menuntut percakapan persetujuan yang berbeda. Sebuah alur kerja harus memiliki nilai yang diharapkan, biaya penyelesaian yang diharapkan, jalur cadangan, dan pemilik yang jelas sebelum mendapat akses luas ke pengguna atau alat internal. Jika empat hal itu tidak ada, agen tersebut bukan otonom. Itu adalah belanja tanpa pengawasan dengan antarmuka yang ramah.

Langkah berguna berikutnya bukan melarang agen atau membeli dasbor lain hanya karena vendor memakai kata tata kelola. Mulailah dari alur kerja yang otonominya memiliki hasil terukur, lalu terapkan perutean, caching, batas token, pemantauan, dan gerbang persetujuan sebelum volume penggunaan datang. Pantau perkiraan biaya Gartner hingga 2028, tingkat pembatalan yang dilaporkan hingga akhir 2027, dan regulator privasi yang mulai mengitari sistem agentic. Pembuat yang memperlakukan ekonomi inferensi sebagai kebijakan produk akan mengalami lebih sedikit rapat dramatis nanti. Pengacara mereka bahkan mungkin berhenti memakai frasa ceria dalam pernyataan pers, dan begitulah Anda tahu keadaan mulai membaik.