Contenu bâclé des LLM : le ML géospatial en repère 15 sur 22 grâce à un audit des citations

L’évaluation par les pairs signifiait autrefois vérifier les affirmations, les points de comparaison, et si la Figure 4 était secrètement trois graphiques dans un imperméable. Désormais, cela signifie aussi poser une question plus simple : cette citation existe-t-elle sur le même plan de réalité que l’article ? Ce n’est pas un travail très glamour, mais les tests unitaires ne le sont pas non plus, et pourtant la civilisation continue d’une manière ou d’une autre. Caleb Robinson et Isaac Corley, de GeoSpatial ML, ont donné un chiffre concret au problème dans un billet du 30 juillet 2026. Selon GeoSpatial ML, ils ont examiné 22 soumissions à des conférences de machine learning cet été et en ont trouvé 15, soit 68 %, avec des citations entièrement fabriquées, des listes d’auteurs inventées pour des articles existants, ou des passages clairement générés par LLM. La leçon utile n’est pas de paniquer. C’est que les bibliographies sont devenues une surface d’audit pratique.

Ce que GeoSpatial ML a trouvé

Selon GeoSpatial ML, les missions d’évaluation de Robinson et Corley étaient réparties entre NeurIPS, WACV et TerraBytes, un atelier géospatial à l’ECCV. Les défauts qu’ils décrivent n’étaient pas de simples plaintes de style à propos d’une prose sentant vaguement l’autocomplétion. Ils incluaient des citations fabriquées, des auteurs halluciné·es, du jargon technique halluciné, des textes absurdes et des citations hors sujet. Les auteurs ont dit travailler dans les « tranchées du slop », une image malheureusement parlante, qui ressemble aussi au nom d’un atelier de conférence auquel personne ne devrait assister avant son café.

Le point important est ce qui s’est passé après la plainte. GeoSpatial ML indique que Robinson et Corley ont publié l’audit des références d’articles qu’ils utilisent désormais, notamment une compétence bib-audit créée par Isaac Corley. Cela transforme un soupçon flou de relecteur en quelque chose qui se rapproche davantage du contrôle qualité : vérifier que les travaux cités existent, que les listes d’auteurs correspondent, et que la référence soutient réellement l’affirmation qui l’entoure. En termes de ML, la bibliographie est désormais un jeu d’évaluation, sauf que les étiquettes ne sont pas censées être imaginaires.

Pourquoi les audits de citations battent la détection au feeling

L’article arXiv intitulé Phantom References: Hallucinated Citations That Survive Peer Review at Top Tier Conferences présente le même mode d’échec à une échelle plus large : des citations halluciné·es peuvent sembler suffisamment savantes pour passer l’évaluation. C’est important, car les fausses références sont exceptionnellement faciles à auditer par rapport à une prose vague. Vous n’avez pas besoin de deviner à l’aura d’une phrase si elle a été aidée par un LLM. Vous pouvez vérifier si l’article nommé, les auteurs et l’affirmation citée concordent.

L’article de Rachel So, The Economics of AI Slop, raconte l’histoire des incitations derrière ce désordre. So soutient que le coût marginal de génération d’un article de recherche avec des LLM est passé de milliers de dollars en temps de chercheur à quelques dollars de calcul, créant une pression en faveur de la quantité plutôt que de la qualité. Dans ce contexte, les relecteurs deviennent le facteur limitant, le pauvre petit point de terminaison d’API bombardé par des soumissions bon marché. Les audits de citations ne constituent pas une défense complète contre les travaux faibles, mais ils augmentent le coût de faire passer une production savante synthétique pour une production savante vérifiée.

Ce que les relecteurs et

les auteurs devraient faire maintenant Le billet de GeoSpatial ML est surtout utile comme invitation à ajuster le flux de travail des chercheurs, pas comme un jeu de massacre. Avant la soumission, les auteurs devraient auditer les références comme ils auditent les expériences : confirmer que l’article cité existe, confirmer que la liste d’auteurs appartient à cet article, et confirmer que la citation est pertinente pour la phrase qui l’utilise. Si un LLM a aidé à rédiger une section de travaux connexes, la liste de références mérite une attention supplémentaire, car les modèles sont des bibliothécaires notoirement sûrs d’eux qui classent parfois l’Atlantide sous vision par ordinateur.

Pour les relecteurs, l’audit peut être un triage plutôt qu’une fouille héroïque de tout un week-end. Commencez par les citations qui soutiennent les affirmations centrales, les déclarations de travaux connexes inhabituellement larges, et les références qui semblent bizarrement formatées ou hors sujet dans leur contexte. Si elles échouent, l’évaluation peut se concentrer sur la reproductibilité et la contribution avec de meilleures preuves. Ce n’est pas anti-IA. C’est pro-provenance, ce qui est la vertu la moins sexy de l’évaluation par les pairs, et peut-être la plus utile.

La pression plus large sur

la publication Ranjit Singh, de Data & Society, a décrit arXiv comme faisant face à un afflux de slop d’IA où le vernis de surface rivalise avec la substance, et l’essai note qu’arXiv a renforcé sa modération le 31 octobre. Ce contexte compte, car les conférences et les dépôts affrontent la même asymétrie : générer un texte plausible coûte peu, tandis que vérifier le travail savant prend du temps. Quand la surface devient plus lisse, les relecteurs ont besoin de davantage de vérifications mécaniques, pas de feelings plus affûtés.

La prochaine chose à observer est de savoir si l’audit des citations devient une hygiène normale des conférences. Le petit échantillon de GeoSpatial ML n’est pas un recensement de la publication en ML, et il ne doit pas être traité comme tel. Mais 15 soumissions défectueuses sur 22 missions d’évaluation suffisent à justifier un nouveau réflexe : faire moins confiance au PDF, vérifier la bibliographie plus tôt. Le modèle peut écrire avec fluidité, mais les références doivent tout de même montrer leur pièce d’identité à l’entrée.