Analisis evaluasi AI: Solaiman menginginkan standar terbuka

Panggung konferensi adalah tempat yang berani untuk memberi tahu industri AI bahwa pita ukurnya terbuat dari licorice. Namun, itulah ketegangan yang berguna dalam penampilan Irene Solaiman di TechCrunch Disrupt: sebelum kamu membiarkan AI melakukan sebuah pekerjaan, kamu mungkin perlu tahu apakah tes yang mengatakan AI bisa melakukan pekerjaan itu sendiri sudah benar-benar dapat dipercaya.

Menurut agenda Disrupt 2026 dari TechCrunch, Solaiman dari Hugging Face tampil dalam sesi yang berfokus pada cara memverifikasi bahwa AI benar-benar bisa menangani suatu tugas sebelum tugas itu diberikan kepadanya. Kerangka ini terasa menyegarkan karena praktis, terutama di pasar tempat grafik benchmark terkadang bisa tampak seperti label nutrisi untuk permen. Intinya bukan bahwa evaluasi tidak berguna. Intinya adalah evaluasi menjadi terlalu penting untuk dibiarkan sebagai pertunjukan vendor dengan papan peringkat yang ditempelkan.

TechCrunch memberi peringatan pada hype evaluator

TechCrunch melaporkan bahwa Solaiman, chief policy officer Hugging Face, menggambarkan metode evaluasi AI saat ini sebagai "rumit dan masih berkembang" selama TechCrunch Disrupt. Ini penting karena TechCrunch juga melaporkan bahwa lab AI mengandalkan benchmarking untuk berargumen bahwa satu produk lebih baik daripada produk lain. Jika benchmark adalah papan skor, Solaiman bertanya siapa yang mengalibrasi papan skor itu, siapa yang bisa menjalankan ulang pertandingannya, dan apakah papan skor itu diam-diam telah dilatih dengan materi pemasaran.

Pelajaran yang tidak intuitif adalah bahwa evaluator tertanam dan peninjau dari luar tidak otomatis menyelesaikan masalah kepercayaan. Menurut TechCrunch, Solaiman menunjuk pada adanya permintaan untuk ekosistem evaluator tertanam, sambil mengatakan bahwa kualifikasi untuk evaluator yang efektif di berbagai tugas masih sangat perlu distandardisasi. Dalam bahasa yang lebih sederhana untuk para pembuat: menambahkan auditor tidak sama dengan mendefinisikan apa arti audit yang baik. Itu bukan pengawasan, melainkan cosplay dengan papan klip.

TechCrunch mengatakan reproduksibilitas adalah pajak kepercayaan

TechCrunch melaporkan bahwa Solaiman mengaitkan kepercayaan pada hasil evaluasi AI dengan reproduksibilitas dan akses ke model yang diuji. Ia mengatakan sebagian pertanyaannya adalah apakah orang lain bisa mereproduksi sebuah evaluasi dan apakah mereka memiliki akses model yang memadai, seraya menambahkan bahwa "bobot terbuka berperan besar." Bobot terbuka bukanlah serbuk peri, sayangnya, karena industri AI terus menolak mengirimkan serbuk peri di bawah lisensi Apache. Namun, akses memang mengubah apa yang bisa diverifikasi oleh evaluator luar, alih-alih sekadar dikagumi dari balik tali pembatas beludru.

Bagi tim yang memilih model, ini seharusnya menggeser pertanyaan pengadaan dari “berapa skornya?” menjadi “bisakah kita memahami bagaimana skor itu dihasilkan?” Jika sebuah benchmark tidak bisa dijalankan ulang, dibandingkan, atau diperiksa, benchmark itu mungkin tetap menarik, tetapi bukti yang diberikannya lebih lemah untuk keputusan deployment. Budaya evaluasi terbaik lebih mirip buku catatan laboratorium daripada kontes kecantikan: membosankan, dapat diulang, dan tidak ramah terhadap klaim yang kabur.

SiliconReport mengatakan targetnya bergerak melampaui model

SiliconReport melaporkan bahwa Solaiman memperingatkan pengujian AI sedang meluas dari model mandiri ke sistem agen yang lebih kompleks dan mahal. TechCrunch juga melaporkan bahwa evaluasi bergerak dari hanya menguji model menjadi menguji sistem yang lebih luas di sekitarnya, termasuk harness dan agen. Ini adalah perubahan cakupan yang berarti. Skor model bisa memberi tahu kamu sesuatu, tetapi skor itu tidak otomatis memberi tahu bagaimana sistem di sekitarnya berperilaku setelah model ditanamkan di dalamnya.

TechCrunch melaporkan bahwa Solaiman menyebut evaluasi agentic sulit dan mahal, sebuah kalimat yang membuat baik peneliti maupun departemen keuangan ingin mengambil kopi. Industri sudah belajar bahwa benchmark model bisa cepat menua seiring berubahnya kemampuan, prompt, dan produk. Sistem agen menambahkan lapisan kompleksitas evaluasi lain karena yang diuji bukan lagi hanya model secara terpisah. Yang diuji adalah model plus konteks sistem yang mengubah output menjadi tindakan.

TechCrunch mengatakan standar adalah API yang hilang

TechCrunch melaporkan bahwa Solaiman menggambarkan evaluasi sebagai ilmu yang terus berkembang dan mengatakan industri masih kekurangan cara yang bermakna untuk membandingkan berbagai pendekatan evaluasi. Inilah inti masalahnya: peninjauan pihak ketiga hanya berguna jika metodenya cukup dapat dibandingkan sehingga pembuat, pelanggan, dan pembuat kebijakan bisa menafsirkannya. Jika tidak, setiap lab membawa penggarisnya sendiri, setiap penggaris punya podcast bersponsor, dan tidak ada yang sepakat seberapa tinggi meja itu.

Menurut TechCrunch, pendekatan yang lebih seragam di seluruh industri mungkin diperlukan jika benchmarking ingin tetap berguna bagi para pemimpin. Itu tidak mengharuskan setiap organisasi menjalankan tes yang identik selamanya, karena itulah cara mengubah sains menjadi antrean kantor layanan kendaraan. Namun, itu berarti tim AI sebaiknya menuntut dokumentasi yang lebih jelas, prosedur yang dapat direproduksi, akses model yang memadai jika memungkinkan, dan standar evaluator yang sesuai dengan tugas yang dinilai.

Bagi para pembuat, langkah langsungnya sederhana: perlakukan evaluasi sebagai infrastruktur operasional, bukan konfeti peluncuran. Tanyakan apakah hasilnya bisa direproduksi, apakah evaluator memiliki akses yang cukup, sistem apa yang diuji, dan apakah benchmark benar-benar sesuai dengan kasus penggunaanmu. Evaluasi AI berikutnya yang berguna bukanlah grafik yang paling keras berteriak. Evaluasi itu adalah yang tetap bertahan saat orang lain menekan tombol jalankan ulang.