Analisis Web Traffic Mesin: Bangun untuk Agen, Bukan Klik
Poin utama
- Pisahkan trafik manusia, bot, dan perayap AI sebelum membuat keputusan produk atau pertumbuhan.
- Rancang batas laju dan harga API berdasarkan biaya permintaan otomatis, bukan hanya kursi pengguna manusia.
- Uji perjalanan yang mengutamakan agen, di mana perangkat lunak membaca, membandingkan, dan bertindak tanpa mengunjungi UI.
Data Cloudflare menunjukkan masalah praktis bagi para pembuat: produk kini perlu memahami bot, agen, dan manusia secara terpisah.
Pengunjung situs web Anda berikutnya mungkin tidak punya mata, kesabaran, atau penghargaan apa pun terhadap tombol gradien Anda yang penuh selera. Menurut ringkasan Digital Applied atas data Cloudflare Radar, permintaan otomatis mencakup 57,5% lalu lintas HTML ke konten web, dibandingkan dengan 42,5% dari manusia, setelah CEO Cloudflare Matthew Prince membagikan data tersebut pada 3 Juni 2026. Itu tidak berarti setiap beranda produk telah berubah menjadi konvensi robot dengan lencana yang lebih buruk. Itu berarti bentuk pelanggan bawaan web sedang berubah dari orang dengan kursor menjadi proses dengan tujuan.
Garis Cloudflare pada grafik lalu lintas
Digital Applied melaporkan bahwa Cloudflare Radar menunjukkan permintaan otomatis melampaui manusia untuk pertama kalinya, dengan bot menghasilkan 57,5% lalu lintas HTML ke konten web. Referensi Digital Applied yang sama mengatakan crawler AI menyumbang 20,3% dari lalu lintas bot terverifikasi pada Mei 2026.
Angka-angka ini penting karena memisahkan perasaan samar, wah, banyak sekali bot, dari ambang operasional. Begitu mesin menjadi mayoritas permintaan, memperlakukan penanganan bot sebagai misi sampingan menjadi seperti menaruh pintu keluar darurat di balik tanaman pakis dekoratif.
The Tech Buzz secara terpisah melaporkan bahwa CEO Cloudflare Matthew Prince memprediksi di SXSW bahwa bot AI akan melebihi jumlah pengunjung manusia online pada 2027. Pembacaan yang berguna bukanlah bahwa satu tanggal akan berlaku seragam untuk setiap situs, setiap sektor, dan setiap hari Selasa. Melainkan bahwa para pembangun harus berhenti berasumsi bahwa pengunjung sama dengan sesi manusia, tampilan layar, atau langkah funnel pemasaran. Semakin sering, kunjungan bisa berupa agen yang mengambil data, membandingkan opsi, merangkum halaman, atau meminta layanan Anda membuktikan bahwa ia layak dipanggil lagi.
Lalu lintas bukan lagi satu spesies
The Tech Buzz membingkai peringatan Cloudflare seputar kapasitas, keamanan, dan perubahan makna lalu lintas web. Poin terakhir itu adalah sakit kepala produk yang memakai topi infrastruktur. Lalu lintas manusia sering menyiratkan perhatian, bahkan jika perhatian itu hanya seseorang yang membuka dua belas tab dan secara batin meninggalkan sebelas di antaranya. Lalu lintas mesin bisa berupa pengindeksan, crawling, eksekusi tugas agen, atau pengambilan untuk pencarian AI, dan perilaku-perilaku itu memiliki biaya yang berbeda serta nilai bisnis yang berbeda.
Data Digital Applied juga menentang jawaban malas, blokir semua yang terlihat otomatis. Referensinya mengutip data Adobe yang menunjukkan rujukan ritel AI naik 393% dari tahun ke tahun pada Q1 2026 untuk ritel AS. Dalam bahasa pembangun yang sederhana: sebagian lalu lintas mesin adalah biaya, sebagian adalah akuisisi, dan sebagian lagi adalah roti lapis aneh dari keduanya. Sistem Anda membutuhkan label sebelum membutuhkan penilaian moral, yang secara menyebalkan juga berlaku untuk analitik dan grup obrolan keluarga.
Analitik membutuhkan kolom manusia dan
kolom mesin Angka pangsa bot 57,5% dari Digital Applied adalah label peringatan untuk dasbor yang masih mencampur manusia dan permintaan otomatis menjadi satu sup lalu lintas besar. Jika analitik produk menghitung pengambilan data oleh agen sebagai rasa ingin tahu manusia, tingkat konversi berubah menjadi seni pertunjukan. Tim sebaiknya menyegmentasikan log berdasarkan bot terverifikasi, otomatisasi yang dicurigai, crawler AI yang dikenal, dan sesi manusia jika memungkinkan. Itu tidak membutuhkan dupa AI mistis, hanya taksonomi peristiwa yang lebih bersih, deteksi bot, sinyal asal-usul, dan dasbor yang mengakui bahwa tidak semua pageview adalah orang.
Makalah penelitian Can LLMs Forecast Internet Traffic from Social Media? memberi petunjuk lain tentang arah observabilitas. Jonatan Langlet dan rekan penulisnya menggambarkan bukti konsep yang mengambil diskusi online, menyimpulkan peristiwa dunia nyata, mengelompokkan dan memperkayanya secara semantik, lalu mengorelasikannya dengan pengukuran lalu lintas di Internet Exchange Point besar. Prototipe tersebut memprediksi antara 56% dan 92% lonjakan lalu lintas yang digerakkan masyarakat, menurut abstrak makalah itu. Ini relevan karena lonjakan lalu lintas berikutnya mungkin disebabkan oleh orang-orang yang berbicara, agen yang bertindak, atau keduanya dalam lingkaran umpan balik yang kurang terlihat seperti funnel dan lebih seperti blender dengan WiFi.
Apa yang harus diubah pembangun terlebih dahulu
Laporan The Tech Buzz menunjuk kapasitas dan keamanan sebagai kekhawatiran langsung, tetapi pelajaran bagi pembangun lebih luas. Batas laju harus membedakan antara akses otomatis yang berguna dan scraping yang boros, karena throttling satu ukuran untuk semua adalah cara Anda secara tidak sengaja melarang saluran distribusi terbaik Anda. Harga API harus mencerminkan biaya permintaan, bukan hanya kursi akun manusia, karena agen dapat menghasilkan pekerjaan tanpa pernah masuk seperti pelanggan normal berbasis karbon.
Tim produk juga harus menguji alur ketika pengguna tidak pernah melihat UI, karena agen mungkin membaca dokumentasi Anda, memanggil endpoint Anda, dan melewati animasi konfeti yang Anda habiskan tiga sprint untuk memolesnya. Pembagian Digital Applied antara lalu lintas HTML manusia dan otomatis membuat satu poin strategis sulit dihindari: web sedang menjadi lingkungan agen dan bot, bukan terutama lingkungan klik manusia.
Itu tidak membuat pengalaman manusia usang. Itu membuat kepercayaan yang dapat dibaca mesin, izin yang jelas, konten terstruktur, dan kelas lalu lintas yang dapat diamati menjadi bagian dari pengalaman pengguna. Pengunjung berikutnya mungkin berupa skrip dengan daftar belanja, jadi bangunlah seolah-olah ia punya sopan santun, tetapi verifikasi bahwa ia punya gelang identitas.
