Metrik AI Anthropic: R&D, pengawasan, analisis komputasi

Dasbor AI paling menarik saat ini bukanlah adu tolok ukur lain ketika model-model bertarung memperebutkan selisih desimal yang nyaris tak berarti. Yang menarik adalah Anthropic meminta publik memperhatikan tiga sinyal yang kurang glamor: seberapa banyak R&D AI dilakukan oleh AI itu sendiri, seberapa baik tindakan agen AI diawasi, dan bagaimana komputasi dialokasikan. Itu tidak semudah dijadikan meme seperti chatbot yang menulis soneta tentang Kubernetes, tetapi jauh lebih berguna. Anthropic membingkai upaya ini sebagai cara untuk membuat laju pengembangan AI frontier lebih terlihat, menurut posting Institute-nya, Measurements for understanding the pace of AI development inside frontier labs. Ini penting karena industri sudah sangat pandai mengukur keluaran model, tetapi menjadi sangat aneh ketika harus mengukur masukan untuk membuat model. Papan peringkat memberi tahu siapa yang menang dalam sebuah tes. Mereka tidak memberi tahu apakah lab menggunakan AI untuk mempercepat siklus risetnya sendiri, apakah ribuan tindakan agen dapat diawasi, atau apakah komputasi diarahkan ke pekerjaan kapabilitas, pekerjaan keselamatan, atau sesuatu yang tidak ingin dijelaskan siapa pun dalam pembaruan triwulanan. Pada dasarnya, Anthropic mengusulkan telemetri untuk mesin yang membangun mesin, yang bisa berarti rekayasa yang bertanggung jawab atau adegan pembuka film rumah berhantu yang sangat kutu buku.

Apa yang terjadi

Anthropic mengatakan dalam posting Institute-nya bahwa sistem AI menjadi makin kuat dan mulai mengotomatiskan lebih banyak proses untuk membangun dirinya sendiri. Perusahaan mengatakan publik membutuhkan lebih banyak informasi ketika dunia mempertimbangkan pengaturan laju pengembangan AI frontier, dan perusahaan mengidentifikasi tiga alat pengukuran untuk tugas itu. Alat-alat tersebut berfokus pada R&D AI yang dipimpin AI, pengawasan agen AI, dan alokasi komputasi. Dalam bahasa sederhana: siapa yang melakukan riset, siapa yang mengawasi agen, dan ke mana bahan bakar matematika yang mahal itu pergi.

SiliconAngle melaporkan bahwa Anthropic sudah mengukur riset dan pengembangan yang dipimpin AI, pengawasan agen AI otonom, dan alokasi komputasi. Laporan itu juga mengatakan Anthropic merinci metodologi agar lab frontier lain juga dapat mengukurnya. Kemampuan untuk diulang itulah bagian serius yang tersembunyi di balik topi kebijakan. Sebuah metrik hanya berguna jika orang lain dapat mereproduksinya tanpa membawa penggaris khusus dan mesin kabut.

Tiga pengukuran yang Anthropic ingin dipantau

Pengukuran pertama Anthropic menanyakan seberapa banyak R&D AI dilakukan oleh AI itu sendiri, bukan oleh manusia, menurut posting Anthropic Institute. Itulah lingkaran rekursif yang semua orang suka isyaratkan dengan gerakan tangan dramatis: AI membantu membangun AI yang lebih kuat. Pertanyaan praktisnya bukan apakah ini terdengar menyeramkan dalam keynote. Pertanyaannya adalah apakah lab dapat mengukur seberapa banyak alur kerja riset telah bergeser dari dipimpin manusia menjadi dipimpin AI atau dibantu AI.

Pengukuran kedua mencakup kemampuan untuk mengawasi dan melakukan intervensi pada tindakan yang dilakukan agen AI di sistem Anthropic, menurut posting Institute yang sama. Di sinilah hype agen bertemu dengan pengawasan orang dewasa, atau dengan kata lain, tempat sistem produksi berhenti terlihat lucu. Jika agen bertindak di sistem internal, pembuat membutuhkan observabilitas dan jalur intervensi, bukan sekadar perasaan dan kanal Slack bernama please-dont-break-prod. Versi otonomi yang berguna memiliki pagar pembatas yang bisa Anda periksa.

Pengukuran ketiga melacak bagaimana komputasi dialokasikan, yang digambarkan Anthropic sebagai sumber daya yang menggerakkan pengembangan model yang lebih mampu. Komputasi adalah pos anggaran yang berbohong lebih sedikit daripada siaran pers. Jika sebuah lab mengatakan satu prioritas itu penting, alokasi komputasi dapat menunjukkan apakah prioritas itu benar-benar mendapat ruang bernapas. Bagi para pemimpin teknis, ini adalah pengingat bahwa tata kelola bukan hanya dokumen kebijakan, tetapi juga penjadwalan, kuota, dan akuntansi infrastruktur.

Mengapa ini cerita rekayasa, bukan sekadar teater kebijakan

SiliconAngle melaporkan bahwa Anthropic mempresentasikan metrik-metrik ini tidak lama setelah Dario Amodei menyerukan para pembuat model terdepan untuk berkoordinasi dalam memperlambat laju pengembangan. Konteks itu penting, tetapi usulan ini bukan sekadar pidato yang mengenakan blazer. Usulan ini mengarah pada pengukuran operasional yang bisa berdampingan dengan dasbor internal untuk eksperimen, tindakan agen, dan penggunaan komputasi. Dengan kata lain, mesin membosankan dari penskalaan yang bertanggung jawab, yang memang biasanya menjadi tempat hal-hal berguna berada.

Bagi para pembuat, pelajaran langsungnya adalah meniru bentuk kerangka ini, secara legal dan emosional. Jika tim Anda menggunakan AI untuk menulis kode, merancang eksperimen, memilah bug, atau menjalankan agen internal, tanyakan seberapa banyak pekerjaan itu dilakukan oleh AI dan bagaimana manusia tetap berada dalam alur. Jika organisasi Anda menerapkan agen, tanyakan di mana pengawasan terjadi dan bagaimana intervensi bekerja. Jika Anda mengelola infrastruktur, tanyakan apakah alokasi komputasi mencerminkan prioritas yang dinyatakan atau hanya siapa pun yang bisa berteriak paling keras di dekat klaster.

Hal yang perlu diperhatikan berikutnya

Usulan Anthropic paling kuat jika menjadi bahasa pengukuran bersama, bukan artefak transparansi dari satu lab saja. Posting Anthropic Institute mengatakan tujuannya adalah membantu publik melacak pengembangan di dalam lab AI frontier, sementara SiliconAngle mengatakan perusahaan tersebut menjelaskan metodologi yang juga dapat diukur oleh lab lain. Hal berikutnya yang perlu diperhatikan adalah apakah lab lain menerbitkan pengukuran yang sebanding, dan apakah pengukuran tersebut menjadi cukup presisi sehingga pengamat luar dapat memercayainya. Pelaporan mandiri adalah garis start, bukan upacara pemberian medali.

Pembaca sebaiknya memperlakukan ini sebagai dorongan praktis, bukan catatan kaki kebijakan. Jika AI memasuki siklus R&D Anda, tumpukan agen Anda, atau perencanaan komputasi Anda, ukurlah sebelum ia menjadi pipa tak terlihat. Frontier tidak bergerak hanya karena model menjadi lebih pintar. Ia bergerak karena proses yang membuat model sedang diotomatiskan, diawasi, dan dianggarkan, yang merupakan cara sangat mewah untuk mengatakan bahwa lab kini membutuhkan speedometer.