Excesso de IA: GeoSpatial ML encontra 15 de 22 por meio de auditoria de citações

Revisão por pares costumava significar verificar afirmações, linhas de base e se a Figura 4 era secretamente três gráficos dentro de um sobretudo. Agora, também significa fazer uma pergunta mais simples: esta citação existe no mesmo plano de realidade que o artigo? Não é um trabalho glamoroso, mas testes unitários também não são, e de algum modo a civilização continua. Caleb Robinson e Isaac Corley, da GeoSpatial ML, colocaram um número concreto nesse problema em uma publicação de 30 de julho de 2026. Segundo a GeoSpatial ML, eles revisaram 22 submissões de conferências de aprendizado de máquina neste verão e encontraram 15, ou 68%, com citações inteiramente fabricadas, listas de autores fabricadas para artigos existentes ou escrita claramente gerada por LLM. A lição útil não é entrar em pânico. É perceber que bibliografias se tornaram uma superfície prática de auditoria.

O que a GeoSpatial ML encontrou

Segundo a GeoSpatial ML, as tarefas de revisão de Robinson e Corley estavam distribuídas entre NeurIPS, WACV e TerraBytes, um workshop geoespacial na ECCV. As falhas que eles descrevem não eram meras reclamações de estilo sobre uma prosa que cheirava levemente a preenchimento automático. Elas incluíam citações fabricadas, autores alucinados, jargão técnico alucinado, escrita sem sentido e citações irrelevantes. Os autores chamaram esse trabalho de estar nas “trincheiras do slop”, o que é infelizmente vívido e também soa como um workshop de conferência ao qual ninguém deveria ir antes do café.

O ponto importante é o que aconteceu depois da reclamação. A GeoSpatial ML diz que Robinson e Corley divulgaram a auditoria de referências de artigos que agora executam, incluindo uma skill bib-audit criada por Isaac Corley. Isso transforma uma suspeita nebulosa de revisor em algo mais próximo de controle de qualidade: verificar se os trabalhos citados existem, se as listas de autores correspondem e se a referência realmente apoia a afirmação ao redor. Em termos de ML, a bibliografia agora é um conjunto de avaliação, exceto que os rótulos não deveriam ser imaginários.

Por que auditorias de citações vencem a detecção

por “vibe” O artigo do arXiv listado como Phantom References: Hallucinated Citations That Survive Peer Review at Top Tier Conferences enquadra o mesmo modo de falha em um nível mais amplo: citações alucinadas podem parecer acadêmicas o bastante para passar pela revisão. Isso importa porque referências falsas são excepcionalmente fáceis de auditar em comparação com prosa vaga. Você não precisa adivinhar pela aura se uma frase teve ajuda de LLM. Você pode verificar se o artigo nomeado, os autores e a afirmação citada batem.

O artigo de Rachel So, The Economics of AI Slop, apresenta a história de incentivos por trás da bagunça. So argumenta que o custo marginal de gerar um artigo de pesquisa com LLMs caiu de milhares de dólares em tempo de pesquisadores para alguns dólares de computação, criando pressão em direção à quantidade em vez da qualidade. Nesse cenário, revisores viram o limitador de taxa, o pobre pequeno endpoint de API sendo bombardeado por submissões baratas. Auditorias de citações não são uma defesa completa contra trabalhos fracos, mas aumentam o custo de fazer pesquisa sintética passar por pesquisa verificada.

O que revisores e autores devem fazer agora

A publicação da GeoSpatial ML é mais útil como um empurrão de fluxo de trabalho para pesquisadores, não como uma piscina de humilhação. Antes da submissão, autores devem auditar referências do mesmo jeito que auditam experimentos: confirmar que o artigo citado existe, confirmar que a lista de autores pertence àquele artigo e confirmar que a citação é relevante para a frase que a usa. Se um LLM ajudou a redigir uma seção de trabalhos relacionados, a lista de referências merece atenção extra, porque modelos são bibliotecários famosamente confiantes que às vezes arquivam Atlântida em visão computacional.

Para revisores, a auditoria pode ser uma triagem, não uma escavação heroica de fim de semana. Comece por citações que sustentam afirmações centrais, declarações de trabalhos relacionados incomumente amplas e referências que parecem estranhamente formatadas ou contextualmente irrelevantes. Se elas falharem, a revisão pode se concentrar em reprodutibilidade e contribuição com evidências melhores. Isso não é anti-IA. É pró-proveniência, que é a virtude menos sexy da revisão por pares e possivelmente a mais útil.

A pressão maior sobre a publicação

Ranjit Singh, da Data & Society, descreveu o arXiv como enfrentando um influxo de slop de IA em que o polimento superficial compete com a substância, e o ensaio observa que o arXiv reforçou a moderação em 31 de outubro. Esse contexto importa porque conferências e repositórios estão lidando com a mesma assimetria: gerar texto plausível é barato, enquanto verificar pesquisa é lento. Quando a superfície fica mais lisa, revisores precisam de verificações mais mecânicas, não de vibes mais afiadas.

A próxima coisa a observar é se a auditoria de citações se torna uma higiene normal de conferências. A pequena amostra da GeoSpatial ML não é um censo da publicação em ML, e não deve ser tratada como tal. Mas 15 submissões problemáticas em 22 tarefas de revisão já bastam para justificar um novo reflexo: confie menos no PDF, verifique a bibliografia mais cedo. O modelo pode escrever fluentemente, mas as referências ainda precisam mostrar identidade na porta.