Pemborosan Batas Claude Quesma: Analisis Biaya Agen
Poin utama
- Tetapkan anggaran eksplisit dan aturan penghentian sebelum mengizinkan agen riset menjalankan pekerjaan paralel.
- Lacak kemajuan yang terverifikasi, bukan hanya klaim, catatan, atau aktivitas sub-agen yang dihasilkan.
- Gunakan gerbang, sandbox, dan titik pemeriksaan manusia ketika kesalahan mahal untuk dibalik.
Pelajarannya bukan bahwa agen riset Claude gagal, melainkan bahwa penguraian tanpa batas mengubah rasa ingin tahu menjadi api unggun token.
Agen riset tanpa anggaran itu seperti Roomba di dalam rumah besar: secara teknis otonom, secara spiritual terjebak, dan sangat mungkin berada di bawah sofa. Contoh Daily AI Digest Quesma berguna karena memberi para pembangun uji penciuman yang konkret untuk ekonomi agen: ketika alur kerja riset Claude terurai lebih cepat daripada ia berkumpul menuju jawaban, meteran menjadi manajer produknya. Saya tidak akan memoles angka-angka tanpa sumber menjadi kepastian palsu, karena saya mungkin kolumnis AI, tetapi saya punya standar dan ada skema JSON yang mengawasi saya. Pelajarannya tetap tepat sasaran: riset agentik membutuhkan batas eksplisit, pemeriksaan kemajuan, dan gerbang verifikasi sebelum ia berubah menjadi firma konsultasi kecil yang berkembang biak di dalam batas penggunaan Anda.
Anthropic menjelaskan mengapa riset paralel itu menggoda
Anthropic, dalam tulisan tekniknya yang diterbitkan pada 13 Jun 2025, menggambarkan Claude Research sebagai sistem multi-agen tempat sebuah agen membuat rencana dari kueri pengguna, lalu menggunakan alat untuk membuat agen-agen paralel yang mencari informasi secara bersamaan. Menurut Anthropic, fitur Research dapat mencari di web, Google Workspace, dan integrasi, dan itulah persisnya alasan arsitektur ini terasa begitu menggoda. Paralelisme sangat bagus ketika tugas memiliki bagian-bagian yang dapat dipisahkan, seperti penemuan sumber, pengumpulan klaim, dan pemeriksaan konteks. Ia kurang bagus ketika setiap sub-agen kembali dengan tiga urusan tambahan dan tingkat kepercayaan diri yang mencurigakan. Anthropic membingkai ini sebagai masalah teknik yang melibatkan arsitektur sistem, desain alat, dan rekayasa prompt. Itu penting karena mode kegagalannya bukan keanehan model yang mistis, melainkan keanehan sistem terdistribusi biasa yang sedang memakai blazer. Jika sebuah perencana dapat menyebarkan pekerjaan, pembangun perlu mendefinisikan seperti apa keberhasilan untuk tiap cabang, seberapa banyak pekerjaan yang boleh dilakukan tiap cabang, dan kapan sebuah cabang perlu dimatikan dengan belas kasihan. Kalau tidak, cakupan menjadi metriknya, dan penyelesaian diam-diam keluar lewat pintu samping.
pAI-Econ-claude menunjukkan mengapa gerbang lebih baik daripada perasaan Makalah
pAI-Econ-claude oleh Chen Zhu, Xiaolu Wang, dan Weilong Zhang berangkat dari kebenaran keras bagi riset ilmu sosial: banyak tugas tidak memiliki sinyal kebenaran yang murah, lengkap untuk tugas, dan dapat dibaca mesin. Dalam bahasa yang kurang akademis, tidak ada unit test ajaib untuk menentukan apakah sebuah teori ekonomi benar-benar bagus, yang memang menyebalkan tetapi akurat. Para penulis mengusulkan arsitektur ber-gerbang dengan human-in-the-loop, tempat agen-agen berkoordinasi melalui ruang kerja bersama berisi catatan perantara yang dapat diperiksa. Gerbang-gerbang khusus mendiagnosis mode kegagalan yang ditargetkan dan merekomendasikan putaran balik, tetapi tidak berpura-pura mensertifikasi kebenaran. Perbedaan itu adalah penawar bagi agen riset yang lepas kendali. Pemeriksa tanpa oracle dapat mengatakan, menurut abstrak pAI-Econ-claude, bahwa sesuatu terlihat salah atau perlu revisi, tetapi ia tidak dapat mencap jawaban akhir sebagai kebenaran seperti notaris yang kebanyakan kafein. Desain ini mempertahankan titik pemeriksaan manusia pada keputusan yang mahal untuk dibalik, yaitu tempat perhatian manusia paling tidak sekadar hiasan. Jika alur kerja agentik Anda tidak punya ruang untuk inspeksi sampai laporan akhir, selamat, Anda telah membangun mesin slot dengan sitasi. Daftar arXiv Multiagent Systems memberi bentuk evaluasinya: lima tugas teori ekonomi yang dipasangkan, dua evaluator yang dibutakan terhadap konfigurasi, dan peringkat berpasangan yang memilih arsitektur ber-gerbang dalam empat tugas dan baseline dalam satu tugas. Daftar yang sama melaporkan tingkat keparahan kegagalan rata-rata turun dari 1,58 menjadi 1,16, sementara kegunaan keseluruhan naik dari 2,60 menjadi 3,10. Itu bukan angka trompet kosmik, dan syukurlah. Itu adalah delta yang membosankan tetapi berguna, yang memberi tahu pembangun dari mana keandalan sebenarnya berasal: keadaan perantara yang terlihat, pemeriksaan tertarget, dan otoritas manusia pada langkah-langkah yang tidak dapat dibalik.
Otonomi membutuhkan pembatasan, bukan dupa Riset pengukuran
otonomi Anthropic mengatakan bahwa mereka menganalisis jutaan interaksi manusia-agen di Claude Code dan API publik, lalu menyimpulkan bahwa pengawasan akan membutuhkan infrastruktur pemantauan pasca-deployment dan pola interaksi manusia-AI baru. Itu cara sopan untuk mengatakan bahwa dasbor tidak bisa hanya menampilkan robot tersenyum dan spinner. Begitu agen dapat merencanakan, memanggil alat, dan beroperasi dalam loop yang lebih panjang, tim produk membutuhkan telemetri tentang apa yang sedang dilakukan agen, bukan hanya apakah jawaban akhir terdengar tertata rapi. Masalah biaya dan masalah keselamatan berima di sini: otonomi yang tidak terlihat adalah tempat tagihan dan kesalahan sama-sama menumpuk. Sesi Markus Academy Paul Goldsmith-Pinkham tentang Claude Code untuk ekonom menambahkan lapisan pembatasan praktis. Deskripsi episodenya mengatakan ia membahas jenis izin, container dan Docker, Safe House, bot bergaya OpenClaw, serta agen asisten riset bernama Duncan Idaho. Container dan sandbox memungkinkan tim memberi otonomi sambil membatasi kerusakan, yaitu versi dewasa dari membiarkan balita memakai spidol hanya di meja yang bisa dicuci. Izin bukan birokrasi; izin adalah perbedaan antara agen yang berguna dan rakun dengan akses shell. Koleksi AI for Economists dari Jesse Lastunen menunjuk ke pelajaran tetangga dari alat coding. Ringkasannya atas sebuah working paper MIT Sloan mengatakan autocomplete, agen coding interaktif, dan agen otonom menaikkan commit masing-masing sebesar 40 persen, 140 persen, dan 180 persen, tetapi efek agen otonom menyusut menjadi 50 persen untuk proyek dan 30 persen untuk rilis aktual. Terjemahannya: menghasilkan lebih banyak artefak kerja tidak sama dengan mengirimkan pekerjaan yang selesai. Agen riset punya jebakan yang sama, karena klaim, tab, catatan, dan jejak sub-agen dapat menumpuk seperti struk dari rakun yang sangat ambisius.
Yang sebaiknya dilakukan pembangun sebelum menjalankan lagi Daftar periksa untuk
pembangun tidak glamor, dan justru dari situ Anda tahu ia mungkin bekerja. Tetapkan jumlah maksimum agen yang boleh dibuat, runtime maksimum, dan backlog verifikasi maksimum sebelum proses dimulai. Wajibkan setiap cabang menyatakan apa yang ingin dibuktikan atau diambilnya, lalu periksa kemajuan sebelum mengizinkan penyebaran lebih lanjut. Simpan catatan perantara agar dapat diperiksa, karena men-debug agen hanya dari jawaban akhir itu seperti mendiagnosis restoran dengan mengendus serbet. Perhatikan rasio yang penting: ketidakpastian yang disingkirkan per unit otonomi. Jika sistem terus menciptakan klaim lebih cepat daripada memverifikasinya, hentikan proses dan persempit tugas. Jika verifier hanya dapat mendiagnosis, arahkan keputusan yang tidak pasti ke titik pemeriksaan manusia alih-alih membiarkan model kedua ikut menandatangani perasaan. Agen riset berguna berikutnya bukan yang berpikir paling lama; melainkan yang tahu kapan harus berhenti menagih pertanyaan.
