LLM स्लॉप: भू-स्थानिक ML उद्धरण ऑडिट के ज़रिए 22 में से 15 ढूंढता है

पीयर रिव्यू का मतलब पहले दावों, बेसलाइन, और यह देखना होता था कि क्या Figure 4 चुपके से ट्रेंच कोट पहने तीन चार्ट तो नहीं है। अब इसका मतलब एक सरल सवाल पूछना भी है: क्या यह citation उसी वास्तविकता के स्तर पर मौजूद है जिस पर पेपर है? यह कोई चमकदार काम नहीं है, लेकिन unit testing भी नहीं है, और फिर भी किसी तरह सभ्यता चलती रहती है। GeoSpatial ML के Caleb Robinson और Isaac Corley ने 30 जुलाई, 2026 की एक पोस्ट में इस समस्या को एक ठोस संख्या दी। GeoSpatial ML के अनुसार, उन्होंने इस गर्मी में 22 machine learning conference submissions की समीक्षा की और पाया कि 15, यानी 68 प्रतिशत, में पूरी तरह गढ़े हुए citations, मौजूदा papers के लिए गढ़ी हुई author lists, या साफ़ तौर पर LLM-generated writing थी। उपयोगी सीख घबराना नहीं है। सीख यह है कि bibliographies अब एक व्यावहारिक audit surface बन गई हैं।

GeoSpatial ML ने क्या पाया

GeoSpatial ML के अनुसार, Robinson और Corley के review assignments NeurIPS, WACV, और ECCV के geospatial workshop TerraBytes में फैले हुए थे। वे जिन खामियों का वर्णन करते हैं, वे सिर्फ़ ऐसी गद्य-शैली की शिकायतें नहीं थीं जिसमें autocomplete की हल्की-सी गंध आ रही हो। इनमें गढ़े हुए citations, hallucinated authors, hallucinated technical jargon, बेतुकी writing, और irrelevant citations शामिल थे। लेखकों ने इस काम को “slop trenches” में होना कहा, जो दुर्भाग्य से बहुत स्पष्ट चित्र खींचता है और साथ ही किसी ऐसे conference workshop जैसा लगता है जिसमें coffee से पहले किसी को नहीं जाना चाहिए।

महत्वपूर्ण बात यह है कि शिकायत के बाद क्या हुआ। GeoSpatial ML कहता है कि Robinson और Corley ने वह paper references audit जारी किया जिसे वे अब चलाते हैं, जिसमें Isaac Corley द्वारा बनाया गया bib-audit skill भी शामिल है। यह reviewer के धुंधले शक को quality control के कुछ ज़्यादा करीब बदल देता है: यह verify करना कि cited works मौजूद हैं, author lists मेल खाती हैं, और reference सचमुच आसपास किए गए claim का समर्थन करता है। ML की भाषा में, bibliography अब एक evaluation set है, बस labels काल्पनिक नहीं होने चाहिए।

citation audits vibe detection से बेहतर क्यों हैं

arXiv paper, जिसे Phantom References: Hallucinated Citations That Survive Peer Review at Top Tier Conferences के रूप में सूचीबद्ध किया गया है, इसी failure mode को व्यापक स्तर पर समझाता है: hallucinated citations इतने scholarly लग सकते हैं कि review से गुजर जाएँ। यह इसलिए महत्वपूर्ण है क्योंकि vague prose की तुलना में fake references असामान्य रूप से audit-friendly होते हैं। आपको किसी sentence की aura देखकर यह अनुमान लगाने की ज़रूरत नहीं है कि वह LLM-assisted था या नहीं। आप जाँच सकते हैं कि named paper, authors, और cited claim आपस में मेल खाते हैं या नहीं।

Rachel So का paper, The Economics of AI Slop, इस अव्यवस्था के पीछे की incentive story देता है। So का तर्क है कि LLMs के साथ research paper generate करने की marginal cost researcher time में हजारों dollars से घटकर compute के कुछ dollars तक आ गई है, जिससे quality के बजाय quantity की ओर दबाव बनता है। ऐसे माहौल में reviewers rate limiter बन जाते हैं, वह बेचारा छोटा API endpoint जिस पर cheap submissions की बौछार हो रही है। Citation audits कमजोर काम के खिलाफ पूरी सुरक्षा नहीं हैं, लेकिन वे synthetic scholarship को verified scholarship के रूप में पेश करने की लागत बढ़ा देते हैं।

reviewers और authors को अब क्या करना चाहिए

GeoSpatial ML की post researchers के लिए workflow nudge के रूप में सबसे उपयोगी है, न कि किसी dunk tank के रूप में। Submission से पहले, authors को references का audit वैसे ही करना चाहिए जैसे वे experiments का audit करते हैं: पुष्टि करें कि cited paper मौजूद है, पुष्टि करें कि author list उसी paper की है, और पुष्टि करें कि citation उस sentence से relevant है जिसमें उसका उपयोग किया गया है। अगर किसी LLM ने related work section draft करने में मदद की है, तो reference list को extra scrutiny मिलनी चाहिए, क्योंकि models मशहूर रूप से आत्मविश्वासी librarians हैं जो कभी-कभी Atlantis को computer vision के तहत shelve कर देते हैं।

Reviewers के लिए, audit किसी heroic weekend excavation के बजाय triage हो सकता है। उन citations से शुरू करें जो central claims को support करते हैं, unusually broad related work statements, और ऐसे references जो अजीब तरह से formatted या contextually irrelevant लगते हैं। अगर वे fail होते हैं, तो review बेहतर evidence के साथ reproducibility और contribution पर focus कर सकता है। यह anti AI नहीं है। यह pro provenance है, जो peer review का सबसे कम आकर्षक गुण है और संभवतः उसका सबसे उपयोगी गुण भी।

बड़ा publishing pressure

Data & Society के Ranjit Singh ने arXiv को AI slop की ऐसी influx का सामना करते हुए बताया, जहाँ surface polish substance से मुकाबला करती है, और essay नोट करता है कि arXiv ने 31 अक्टूबर को moderation कड़ा किया। यह context मायने रखता है क्योंकि conferences और repositories एक ही asymmetry से जूझ रहे हैं: plausible text generate करना सस्ता है, जबकि scholarship check करना धीमा है। जब surface ज़्यादा smooth हो जाती है, तो reviewers को sharp vibes नहीं, बल्कि अधिक mechanical checks की ज़रूरत होती है।

आगे देखने वाली बात यह है कि क्या citation auditing सामान्य conference hygiene बनती है। GeoSpatial ML का छोटा sample ML publishing की census नहीं है, और उसे वैसा नहीं माना जाना चाहिए। लेकिन 22 review assignments में से 15 flawed submissions एक नया reflex justify करने के लिए काफ़ी हैं: PDF पर कम भरोसा करें, bibliography जल्दी check करें। Model fluently लिख सकता है, लेकिन references को फिर भी दरवाज़े पर ID दिखानी होगी।