Omong Kosong LLM: GeoSpatial ML Menemukan 15 dari 22 melalui Audit Sitasi

Peer review dulu berarti memeriksa klaim, baseline, dan apakah Gambar 4 diam-diam sebenarnya tiga bagan yang menyamar dalam satu jas hujan. Sekarang, itu juga berarti mengajukan pertanyaan yang lebih sederhana: apakah sitasi ini berada di bidang realitas yang sama dengan makalahnya? Itu bukan pekerjaan yang glamor, tetapi unit testing juga tidak glamor, dan entah bagaimana peradaban tetap berjalan. Caleb Robinson dan Isaac Corley dari GeoSpatial ML memberi angka konkret untuk masalah ini dalam sebuah posting pada 30 Juli 2026. Menurut GeoSpatial ML, mereka meninjau 22 kiriman konferensi machine learning musim panas ini dan menemukan 15, atau 68 persen, yang memiliki sitasi yang sepenuhnya dibuat-buat, daftar penulis palsu untuk makalah yang benar-benar ada, atau tulisan yang jelas dihasilkan LLM. Pelajaran bergunanya bukanlah panik. Pelajarannya adalah bahwa bibliografi telah menjadi permukaan audit yang praktis.

Apa yang ditemukan GeoSpatial ML

Menurut GeoSpatial ML, tugas tinjauan Robinson dan Corley tersebar di NeurIPS, WACV, dan TerraBytes, sebuah lokakarya geospasial di ECCV. Kekurangan yang mereka jelaskan bukan sekadar keluhan gaya tentang prosa yang samar-samar berbau autocomplete. Kekurangan itu mencakup sitasi palsu, penulis yang dihalusinasikan, jargon teknis yang dihalusinasikan, tulisan yang tidak masuk akal, dan sitasi yang tidak relevan. Para penulis menyebut pekerjaan itu berada di “parit slop,” yang sayangnya sangat mudah dibayangkan dan juga terdengar seperti lokakarya konferensi yang sebaiknya tidak dihadiri siapa pun sebelum minum kopi.

Langkah pentingnya adalah apa yang terjadi setelah keluhan itu. GeoSpatial ML mengatakan Robinson dan Corley merilis audit referensi makalah yang kini mereka jalankan, termasuk skill bib-audit yang dibuat oleh Isaac Corley. Itu mengubah kecurigaan peninjau yang kabur menjadi sesuatu yang lebih dekat dengan kendali mutu: memverifikasi bahwa karya yang dikutip memang ada, bahwa daftar penulisnya cocok, dan bahwa referensi tersebut benar-benar mendukung klaim di sekitarnya. Dalam istilah ML, bibliografi sekarang adalah set evaluasi, kecuali labelnya seharusnya tidak imajiner.

Mengapa audit sitasi lebih baik daripada deteksi berdasarkan firasat

Makalah arXiv yang terdaftar sebagai Phantom References: Hallucinated Citations That Survive Peer Review at Top Tier Conferences membingkai mode kegagalan yang sama pada tingkat yang lebih luas: sitasi yang dihalusinasikan dapat terlihat cukup ilmiah untuk lolos dari peninjauan. Itu penting karena referensi palsu sangat ramah audit dibandingkan prosa yang samar. Kamu tidak perlu menerawang apakah sebuah kalimat dibantu LLM dari auranya. Kamu bisa memeriksa apakah makalah, penulis, dan klaim yang dikutip memang selaras.

Makalah Rachel So, The Economics of AI Slop, memberikan cerita insentif di balik kekacauan ini. So berargumen bahwa biaya marjinal untuk menghasilkan makalah penelitian dengan LLM telah turun dari ribuan dolar dalam waktu peneliti menjadi beberapa dolar komputasi, sehingga menciptakan tekanan ke arah kuantitas dibanding kualitas. Dalam situasi seperti itu, peninjau menjadi pembatas laju, endpoint API kecil yang malang yang dihantam oleh kiriman murah. Audit sitasi bukan pertahanan penuh terhadap karya yang lemah, tetapi audit ini menaikkan biaya untuk menyamarkan beasiswa sintetis sebagai beasiswa yang telah diverifikasi.

Apa yang harus dilakukan peninjau dan penulis sekarang

Posting GeoSpatial ML paling berguna sebagai dorongan alur kerja bagi para peneliti, bukan sebagai kolam celaan. Sebelum mengirimkan makalah, penulis sebaiknya mengaudit referensi seperti mereka mengaudit eksperimen: memastikan makalah yang dikutip memang ada, memastikan daftar penulisnya milik makalah itu, dan memastikan sitasinya relevan dengan kalimat yang menggunakannya. Jika LLM membantu menyusun bagian karya terkait, daftar referensi perlu diperiksa ekstra cermat, karena model terkenal sebagai pustakawan yang sangat percaya diri yang kadang menyimpan Atlantis di bawah computer vision.

Bagi peninjau, audit bisa menjadi triase, bukan penggalian heroik sepanjang akhir pekan. Mulailah dengan sitasi yang mendukung klaim utama, pernyataan karya terkait yang sangat luas, dan referensi yang tampak aneh formatnya atau tidak relevan secara konteks. Jika bagian-bagian itu gagal, tinjauan dapat berfokus pada reproduktibilitas dan kontribusi dengan bukti yang lebih baik. Ini bukan anti-AI. Ini pro-provenans, yaitu kebajikan peer review yang paling tidak seksi dan mungkin yang paling berguna.

Tekanan publikasi yang lebih besar

Ranjit Singh dari Data & Society menggambarkan arXiv sebagai menghadapi masuknya AI slop, ketika polesan permukaan bersaing dengan substansi, dan esai tersebut mencatat bahwa arXiv memperketat moderasi pada 31 Oktober. Konteks itu penting karena konferensi dan repositori menghadapi asimetri yang sama: menghasilkan teks yang tampak masuk akal itu murah, sementara memeriksa keilmuan itu lambat. Ketika permukaannya makin mulus, peninjau membutuhkan lebih banyak pemeriksaan mekanis, bukan firasat yang lebih tajam.

Hal berikutnya yang perlu diperhatikan adalah apakah audit sitasi menjadi kebersihan konferensi yang normal. Sampel kecil GeoSpatial ML bukan sensus penerbitan ML, dan tidak seharusnya diperlakukan seperti itu. Namun 15 kiriman bermasalah dari 22 tugas tinjauan sudah cukup untuk membenarkan refleks baru: jangan terlalu percaya pada PDF, periksa bibliografi lebih awal. Model boleh menulis dengan lancar, tetapi referensinya tetap harus menunjukkan kartu identitas di pintu.