Analisis Prediktabilitas AI: Atlantic tentang Cammarata

Saya punya kebiasaan buruk mengantropomorfiskan pesan error. Ketika laptop macet, saya membayangkannya sedang merajuk. Ketika sebuah model memberi saya jawaban salah dengan penuh percaya diri, saya membayangkannya berimprovisasi di bawah tekanan sosial, seperti tamu makan malam yang lebih memilih mengarang judul buku daripada mengaku belum membacanya. Itu menarik sebagai metafora, tetapi berbahaya sebagai rekayasa. Semakin kita memperlakukan sistem AI sebagai sesuatu yang menyeramkan dan tak dapat dipahami, semakin mudah kita berhenti mengajukan pertanyaan yang membosankan tetapi berguna: bagaimana jika sebagian perilaku ini sebenarnya lebih bisa dibaca daripada yang selama ini ingin dipercaya budaya kita?

Kerangka The Atlantic adalah kejutan yang sebenarnya

Matteo Wong di The Atlantic membingkai esai Nick Cammarata sebagai sesuatu yang lebih dari sekadar argumen interpretabilitas lain, dengan artikelnya sendiri berjudul “The Blog Post That Set the AI World on Fire.” Pembingkaian itu penting karena klaimnya bukan sekadar bahwa para peneliti telah menemukan pola rapi di dalam satu model. Klaimnya adalah bahwa industri AI mungkin telah terlalu dalam menyerap cerita tentang ketidakjelasan, lalu membangun kebiasaan, ketakutan, dan bahasa produk di sekitar cerita itu.

HyperAI melaporkan bahwa Cammarata, mantan peneliti OpenAI yang kini berada di Goodfire, menerbitkan temuan pada 15 Oktober yang berargumen bahwa jaringan neural besar mungkin lebih dapat diinterpretasikan daripada yang sebelumnya diperkirakan. Dalam esai panjangnya, “Neural Networks Are Already Clean,” ia menyarankan bahwa tumpang tindih fitur yang tampak kacau mungkin berasal dari keterbatasan analitis, bukan dari kekacauan intrinsik model, menurut HyperAI. Itu adalah perbedaan halus dengan implikasi yang besar: mungkin kabutnya sebagian ada pada mikroskop, bukan hanya pada mesin.

Angka-angka neuron itu provokatif, bukan final

Bagian yang paling mudah dibagikan juga merupakan bagian yang harus diperlakukan paling hati-hati oleh para pembangun. Menurut HyperAI, tinjauan awal Cammarata terhadap Qwen3-32B menemukan bahwa sekitar 90 persen arah respons neuron memiliki fungsi dominan yang jelas, kira-kira 7 persen mengodekan dua fungsi yang sangat berkaitan, dan hanya 2 persen hingga 4 persen yang tidak memiliki pola yang dapat diidentifikasi. HyperAI menambahkan bahwa tren serupa diamati pada model berskala triliunan parameter seperti Kimi K3, dan bahwa hasil tersebut menantang hipotesis superposisi yang berpengaruh.

Penjelasan Kingy AI menempatkan label kehati-hatian di tempat yang semestinya: temuan ini masih awal, dan pemahaman model secara lengkap masih belum terbukti. Penjelasan itu juga mencatat bahwa signifikansinya bergantung pada apakah penjelasan tersebut bertahan dalam pengujian independen dan mengarah pada perbaikan yang andal. Itu standar yang tepat. Neuron yang dapat dibaca tidak sama dengan sistem yang aman, sama seperti pemutus arus yang diberi label tidak membuktikan bahwa seluruh bangunan dirancang dengan baik.

Mengapa para pembangun perlu peduli pada kewajaran

Anil Dash membuat argumen budaya yang terkait pada 2023, dengan menulis bahwa industri teknologi telah menjauh dari nilai rekayasa inti: sistem seharusnya cukup dapat diprediksi sehingga orang dapat menalarnya. Ia menunjuk pada cara spesifikasi internet mengasumsikan perilaku yang konsisten, termasuk istilah teknis seperti MUST, MUST NOT, SHOULD, dan SHOULD NOT. Tata bahasa lama tentang keandalan itu terasa hampir kuno di samping AI generatif, ketika demo sering hadir sebelum penjelasan.

Argumen Cammarata, sebagaimana dirangkum oleh HyperAI dan Kingy AI, tidak membuat AI masa kini tiba-tiba menjadi sederhana. Argumen itu melakukan sesuatu yang lebih berguna. Ia membuka kembali kemungkinan bahwa interpretabilitas bisa menjadi disiplin praktis, bukan sekadar mekanisme koping filosofis. Jika perilaku model dapat dipetakan dengan lebih percaya diri, maka pekerjaan keselamatan, debugging, evaluasi, dan desain produk menjadi tidak terlalu seperti ritual pemanggilan arwah dan lebih seperti rekayasa.

Budaya AI mungkin membutuhkan mitos yang lebih kecil

MIT Technology Review telah menggambarkan tantangan untuk memisahkan kenyataan AI dari fiksi yang dibesar-besarkan, dengan mencatat perdebatan yang membandingkan AI entah dengan bahan nuklir atau dengan teknologi serbaguna seperti listrik dan internet. Kontras itu adalah musik latar untuk seluruh episode ini. Jika AI pada dasarnya tidak dapat diketahui, maka setiap percakapan condong ke arah kekaguman, ketakutan, dan kendali. Jika AI sebagian dapat diprediksi, percakapan bergeser ke arah pengukuran, pemeliharaan, dan tanggung jawab.

Kingy AI memperingatkan bahwa menyebut AI sebagai kotak hitam dapat menciptakan kesan menyesatkan bahwa cara kerja internalnya selamanya berada di luar penyelidikan. Itu mungkin poin budaya terpenting di sini. Metafora kotak hitam memang berguna, tetapi juga bisa menjadi semacam surat izin, membiarkan perusahaan membuat janji berlebihan, kritikus terlalu memistifikasi, dan pengguna kurang bertanya. AI yang lebih dapat diprediksi bukan berarti AI yang kurang kuat. Itu berarti AI yang bisa kita perdebatkan dengan lebih tepat.

Bagi pembaca yang membangun produk, mengevaluasi vendor, atau sekadar berusaha tetap berpijak, langkah berikutnya bukanlah menyatakan misterinya sudah terpecahkan. Perhatikan replikasi independen, alat yang lebih baik, dan bukti bahwa penjelasan tingkat-neuron memperbaiki sistem nyata. Pertanyaan yang tidak nyaman bukanlah apakah AI itu ajaib atau biasa saja, melainkan apakah kita siap melepaskan kenyamanan misteri ketika penjelasan menuntut lebih banyak dari kita?