LLM-Slop: Georäumliches ML findet 15 von 22 durch Zitationsprüfung

Peer Review bedeutete früher, Behauptungen, Vergleichsmaßstäbe und die Frage zu prüfen, ob Abbildung 4 heimlich drei Diagramme in einem Trenchcoat war. Heute bedeutet es auch, eine einfachere Frage zu stellen: Existiert diese Quellenangabe auf derselben Realitätsebene wie der Artikel? Das ist keine glamouröse Arbeit, aber Unit-Tests sind es auch nicht, und irgendwie läuft die Zivilisation weiter. Caleb Robinson und Isaac Corley von GeoSpatial ML haben dem Problem in einem Beitrag vom 30. Juli 2026 eine konkrete Zahl gegeben. Laut GeoSpatial ML prüften sie in diesem Sommer 22 Einreichungen für Machine-Learning-Konferenzen und fanden 15, also 68 Prozent, mit vollständig erfundenen Quellenangaben, erfundenen Autorenlisten für existierende Arbeiten oder eindeutig LLM-generierten Texten. Die nützliche Lektion ist nicht Panik. Sie ist: Literaturverzeichnisse sind zu einer praktischen Prüffläche geworden.

Was GeoSpatial ML herausgefunden hat

Laut GeoSpatial ML verteilten sich die Begutachtungsaufträge von Robinson und Corley auf NeurIPS, WACV und TerraBytes, einen Geospatial-Workshop bei der ECCV. Die von ihnen beschriebenen Mängel waren nicht bloß stilistische Beschwerden über Prosa, die leicht nach Autovervollständigung roch. Dazu gehörten erfundene Quellenangaben, halluzinierte Autoren, halluzinierter technischer Fachjargon, unsinnige Texte und irrelevante Zitate. Die Autoren nannten die Arbeit den Einsatz in den „Slop-Schützengräben“, was leider sehr anschaulich ist und außerdem nach einem Konferenzworkshop klingt, den niemand vor dem Kaffee besuchen sollte.

Der wichtige Schritt ist, was nach der Beschwerde geschah. GeoSpatial ML sagt, Robinson und Corley hätten das Referenz-Audit veröffentlicht, das sie nun für Papers durchführen, einschließlich einer von Isaac Corley erstellten bib-audit-Fähigkeit. Dadurch wird aus einem diffusen Verdacht von Gutachtenden etwas, das eher wie Qualitätskontrolle aussieht: prüfen, ob zitierte Arbeiten existieren, ob Autorenlisten übereinstimmen und ob die Quelle die umliegende Behauptung tatsächlich stützt. In ML-Begriffen ist das Literaturverzeichnis jetzt ein Evaluationsdatensatz, nur dass die Labels nicht imaginär sein sollten.

Warum Quellen-Audits besser sind als Vibe-Erkennung

Das arXiv-Paper mit dem Titel Phantom References: Hallucinated Citations That Survive Peer Review at Top Tier Conferences beschreibt denselben Fehlertyp auf breiterer Ebene: Halluzinierte Zitate können wissenschaftlich genug wirken, um durch das Review zu kommen. Das ist wichtig, weil falsche Quellen im Vergleich zu vager Prosa ungewöhnlich gut prüfbar sind. Man muss nicht aus der Aura eines Satzes erraten, ob ein LLM geholfen hat. Man kann prüfen, ob das genannte Paper, die Autoren und die zitierte Behauptung zusammenpassen.

Rachel Sos Paper The Economics of AI Slop liefert die Anreizgeschichte hinter dem Durcheinander. So argumentiert, dass die Grenzkosten für die Erstellung eines Forschungspapiers mit LLMs von Tausenden Dollar an Forschungszeit auf wenige Dollar Rechenleistung gefallen sind, was Druck in Richtung Menge statt Qualität erzeugt. In diesem Umfeld werden Gutachtende zum Flaschenhals, zum armen kleinen API-Endpunkt, der von billigen Einreichungen bombardiert wird. Quellen-Audits sind keine vollständige Verteidigung gegen schwache Arbeiten, aber sie erhöhen die Kosten dafür, synthetische Wissenschaft als geprüfte Wissenschaft auszugeben.

Was Gutachtende und Autorinnen

und Autoren jetzt tun sollten Der Beitrag von GeoSpatial ML ist vor allem als Workflow-Anstoß für Forschende nützlich, nicht als Pranger. Vor der Einreichung sollten Autorinnen und Autoren ihre Referenzen so prüfen, wie sie ihre Experimente prüfen: bestätigen, dass das zitierte Paper existiert, bestätigen, dass die Autorenliste zu diesem Paper gehört, und bestätigen, dass die Quelle für den Satz relevant ist, der sie verwendet. Wenn ein LLM beim Entwurf eines Abschnitts zu verwandten Arbeiten geholfen hat, verdient die Referenzliste besondere Aufmerksamkeit, denn Modelle sind bekanntlich selbstbewusste Bibliothekare, die Atlantis manchmal unter Computer Vision einsortieren.

Für Gutachtende kann das Audit Triage sein statt einer heldenhaften Wochenend-Ausgrabung. Beginnen Sie mit Zitaten, die zentrale Behauptungen stützen, mit ungewöhnlich breiten Aussagen zu verwandten Arbeiten und mit Referenzen, die seltsam formatiert oder im Kontext irrelevant wirken. Wenn diese scheitern, kann sich das Gutachten mit besserer Evidenz auf Reproduzierbarkeit und Beitrag konzentrieren. Das ist nicht anti-KI. Es ist pro Herkunftsnachweis, die am wenigsten sexy Tugend des Peer Reviews und möglicherweise seine nützlichste.

Der größere Publikationsdruck

Ranjit Singh von Data & Society beschrieb arXiv als mit einer Flut von AI Slop konfrontiert, bei der Oberflächenpolitur mit Substanz konkurriert, und der Essay merkt an, dass arXiv die Moderation am 31. Oktober verschärft hat. Dieser Kontext ist wichtig, weil Konferenzen und Repositorien mit derselben Asymmetrie umgehen: Plausiblen Text zu erzeugen ist billig, wissenschaftliche Arbeit zu prüfen ist langsam. Wenn die Oberfläche glatter wird, brauchen Gutachtende mehr mechanische Prüfungen, nicht schärfere Vibes.

Als Nächstes ist zu beobachten, ob Quellen-Audits zur normalen Konferenzhygiene werden. Die kleine Stichprobe von GeoSpatial ML ist keine Volkszählung des ML-Publizierens und sollte auch nicht so behandelt werden. Aber 15 mangelhafte Einreichungen bei 22 Begutachtungsaufträgen reichen aus, um einen neuen Reflex zu rechtfertigen: dem PDF weniger vertrauen, das Literaturverzeichnis früher prüfen. Das Modell mag flüssig schreiben, aber die Referenzen müssen an der Tür trotzdem ihren Ausweis zeigen.