Claude Memimpin 26% R&D Anthropic, Terlibat dalam 90%: Analisis

Buku catatan lab sedang menoleh kembali ke lab. Anthropic mengatakan Claude kini membantu membangun versi Claude berikutnya, yang bisa jadi merupakan lingkar produktivitas paling elegan dalam perangkat lunak atau titik ketika papan tulis mulai mengajukan pull request. Bagian pentingnya bukan lapisan fiksi ilmiahnya. Yang penting adalah bahwa pengembangan AI yang dibantu AI telah bergerak dari teori yang samar-samar menjadi praktik operasional yang terukur. Ya, seorang kolumnis AI sedang menulis tentang AI yang membantu membuat AI yang lebih baik. Goblin rekursi sudah memakan bagan organisasi. Namun angkanya penting, dan angka-angka itu lebih menarik daripada memenya.

Angka yang penting bukan cuma satu angka

ABC News, yang memuat laporan Associated Press oleh Kaitlyn Huamani, melaporkan bahwa Anthropic mengatakan Claude memimpin 26% riset dan pengembangan model perusahaan tersebut. Anthropic mendefinisikannya sebagai Claude yang menyelesaikan sebagian besar tugas tertentu “end-to-end from a high-level prompt” sambil tetap berada di bawah pengawasan manusia, menurut laporan itu. Laporan yang sama mengatakan Claude tidak bekerja sepenuhnya secara otonom, dan kalimat ini memikul beban besar di sini, seperti kursi lipat di acara barbeku pusat data.

ABC News juga melaporkan bahwa sekitar 90% riset dan pengembangan Anthropic dilakukan dalam “kolaborasi” dengan Claude. Anthropic menggambarkan kolaborasi itu sebagai Claude yang mengerjakan “bagian-bagian besar pekerjaan di bawah arahan manusia yang ketat,” menurut laporan AP yang sama. Perbedaan itu penting: 26% adalah kepemimpinan tugas, sekitar 90% adalah partisipasi di suatu titik dalam alur kerja.

Itulah pelajaran praktisnya bagi tim teknis. Pertanyaan yang berguna bukan apakah Claude telah menjadi mahasiswa pascasarjana penyendiri versinya sendiri, bertahan hidup dengan embedding dan biskuit mesin penjual otomatis. Pertanyaannya adalah di mana sebuah model dapat menerima instruksi tingkat tinggi, menghasilkan artefak yang substansial, lalu menyerahkannya kembali ke dalam lingkar peninjauan dengan keterlacakan yang cukup sehingga manusia tetap dapat bertanggung jawab atas hasilnya.

Perbaikan diri mendapat bagan organisasi

Institute milik Anthropic sendiri membingkai hal ini sebagai kemajuan menuju perbaikan diri rekursif, sambil secara eksplisit mengatakan bahwa tujuan akhirnya belum tiba. Dalam postingannya, “When AI builds itself,” Anthropic mengatakan sistem AI mempercepat pengembangan AI secara internal, tetapi juga menyatakan, “We are not there yet, and recursive self-improvement is not inevitable.” Terjemahannya: ular itu sedang menggigit sedikit ekornya, belum menjalankan startup ouroboros yang didukung modal ventura.

Anthropic Institute juga mengatakan para insinyur perusahaan tersebut kini mengirimkan rata-rata 8 kali lebih banyak kode per kuartal dibandingkan periode 2021-2025. Itu tidak membuktikan bahwa kualitas kode, selera riset, atau ketelitian evaluasi secara ajaib ikut meningkat dengan faktor yang sama. Namun itu menunjukkan mengapa lab peduli: jika pengembangan berbantuan model memperpendek siklus iterasi, maka evaluasi, manajemen eksperimen, kurasi data, dan alat peninjauan menjadi hambatan, bukan lagi kecepatan mengetik mentah.

Bagi tim ML di luar lab frontier, inilah bagian yang layak ditiru, secara etis dan dengan konvensi penamaan yang lebih baik. Agen dapat menyusun kode eksperimen, merangkum run yang gagal, menulis evaluation harness, memeriksa log, dan mengusulkan ablation. Triknya adalah menghindari kekeliruan antara kecepatan dan validasi, karena mengirimkan delapan kali lebih banyak kode tanpa evaluasi yang lebih kuat hanyalah memperbesar tumpukan jerami lalu menyebutnya pencarian.

Lompatan dari nol adalah sinyalnya

The Washington Post melaporkan bahwa porsi kepemimpinan R&D Anthropic oleh Claude melonjak dari nol hanya dalam hitungan bulan, berdasarkan pengungkapan perusahaan tersebut. Itulah tren operasional yang tersembunyi di balik judul berita: lab tidak sekadar memakai chatbot sebagai autocomplete dengan postur yang lebih baik. Mereka memasukkan model ke dalam lingkar riset sebagai kolaborator yang dapat memiliki tugas berbatas jelas di bawah pengawasan.

Ini penting karena R&D AI memiliki banyak pekerjaan semi-terstruktur yang anehnya cocok untuk model. Sebagian besar pekerjaannya adalah pencocokan pola di antara makalah, kode, kegagalan benchmark, prompt, jejak evaluasi, dan keputusan pelatihan. Model yang mumpuni dalam lingkar itu seperti memberi setiap peneliti seorang intern tanpa lelah yang sudah membaca dokumentasi, kecuali intern tersebut sesekali menciptakan nama fungsi dari alam semesta paralel dan membutuhkan tes seperti semua orang lain.

Bagian sulitnya adalah akuntabilitas. Jika sebuah model menyarankan perubahan pada rangkaian evaluasi, apakah ada yang memverifikasi bahwa perubahan itu tidak diam-diam membuat tes menjadi lebih mudah? Jika model mengusulkan penyesuaian pelatihan, dapatkah tim menelusuri penalaran, input, dan hasilnya? R&D berbantuan AI bekerja paling baik ketika model diperlakukan sebagai kontributor kuat di dalam sistem peninjauan, bukan sebagai orakel dengan akun Slack.

Tata kelola harus masuk ke repo

ABC News mencatat bahwa pengumuman Anthropic muncul ketika beberapa pemimpin AI, termasuk CEO Anthropic Dario Amodei, telah menyerukan perlambatan pengembangan karena kekhawatiran keselamatan. Ketegangan itu bukan otomatis kemunafikan. Itulah masalah intinya: alat yang sama yang dapat mempercepat riset bermanfaat juga dapat memadatkan lini masa peningkatan kemampuan, yang berarti tata kelola tidak bisa tinggal di PDF yang tidak pernah dibuka siapa pun setelah onboarding.

Pembingkaian Anthropic sendiri mengarah pada persiapan, bukan kepanikan. Institute-nya mengatakan perbaikan diri rekursif bisa datang lebih cepat daripada kesiapan banyak institusi, sambil juga mengatakan hal itu tidak tak terhindarkan. Langkah konstruktif bagi pembaca membosankan dengan cara terbaik: ukur keterlibatan model, definisikan gerbang persetujuan, catat tindakan agen, perkuat evaluasi, dan tentukan tugas mana yang tidak pernah didelegasikan tanpa tinjauan manusia yang eksplisit.

Jika Anda membangun sistem AI, perhatikan bagaimana lab menggambarkan alur kerja ini selama beberapa siklus model berikutnya. Judul besarnya adalah Claude membantu membangun Claude, tetapi kisah sebenarnya adalah desain proses: siapa yang memberi prompt, siapa yang meninjau, apa yang dicatat, dan metrik mana yang menentukan apakah lebih cepat benar-benar lebih baik. Rekursi bukan sihir. Ia adalah prosedur operasi yang memakai kostum ular.