Rafael Alves ITM

Can AI help solve the peer-review crisis Here are its promises and pitfalls

Leitura de 5 min

📰 Can AI help solve the peer-review crisis? Here are its promises and pitfalls

Em poucas palavras

Reportagem de Jeffrey Brainard na revista Science sobre o uso de LLMs na revisão por pares, num sistema sobrecarregado pelo aumento de submissões. Estudos e pilotos mostram que a IA é boa em checagens trabalhosas (cálculos, consistência entre texto e tabelas, execução de código) e às vezes supera revisores humanos medianos. Mas ela erra no contexto, desconhece convenções de cada área, reproduz vieses e pode ser manipulada. A conclusão predominante é que complementa, mas não substitui, o revisor humano.

🎯 Resumo

  • A crise: o número de publicações científicas dobrou em cinco anos, passando de 8 milhões em 2025. Para obter uma revisão concluída, editores precisaram em média de 4,5 convites em 2025, o dobro de 2018. Numa pesquisa da Frontiers com 1.645 pesquisadores, pouco mais da metade disse ter usado IA em tarefas de revisão em 2025, contra 29% no ano anterior, apesar das proibições de muitas revistas.
  • Limites da revisão humana: avaliações subjetivas e superficiais e preferência por autores proeminentes. As notas dadas por IA variam menos que as humanas, o que pode corrigir revisores desatentos, mas também criar uma “monocultura intelectual” que penaliza ideias heterodoxas (Joachim Baumann, Stanford).
  • Avaliar novidade: um método de Tom Hope (Allen Institute for AI) extrai as alegações de novidade, busca a literatura relacionada e compara. Em 182 submissões a uma conferência de aprendizado de máquina, avaliadores julgaram essas revisões ao menos tão boas quanto as humanas na maioria dos casos, mas o método pode perder contribuições que mudam paradigmas.
  • O que a IA faz bem:
    • O GPT-5 analisou 2.500 artigos de três grandes conferências de aprendizado de máquina (2018–2025) e encontrou ao menos um erro relevante em cerca de um terço deles. Humanos confirmaram 83% dos erros, embora a maioria não mudasse as conclusões. A IA foi melhor com erros matemáticos do que com erros de texto.
    • No estudo de Seungone Kim (Carnegie Mellon), três LLMs, versões do GPT, do Claude, da Anthropic, e do Gemini, revisaram 82 artigos publicados em revistas do grupo Nature. Avaliadas por 45 cientistas, as críticas do GPT superaram as do melhor revisor humano no índice composto, e as dos três modelos superaram as do pior. Cerca de um quarto das críticas da IA não havia sido apontado por nenhum humano.
    • Ferramentas para autores, como o Paper Assistant Tool do Google, oferecido em três conferências de computação: 86% dos 1.068 autores que o usaram antes do NeurIPS o consideraram útil. O bioRxiv passou a oferecer checadores técnicos confidenciais.
  • Onde a IA falha:
    • Acerta menos que humanos, por perder detalhes espalhados pelo texto e pelos materiais suplementares.
    • Desconhece convenções de subáreas, como a física de partículas, que guarda os detalhes de análise no CERN.
    • Pede resultados adicionais desproporcionais, é prolixa e se perde em minúcias.
    • Reproduz vieses: um LLM recomendou rejeitar mais vezes artigos idênticos quando atribuídos a autores de instituições menos prestigiadas.
    • Tem dificuldade em áreas novas, dá notas mais altas que humanos e pode ser enganada por textos reescritos para agradar o modelo (o paper laundering de Baumann).
    • Num estudo da University College London com 24 cientistas, o tempo poupado foi de poucos minutos numa revisão de uma hora, sem significância estatística.
  • Pilotos em conferências e revistas:
    • AAAI 2026: com 30 mil submissões, o dobro do ano anterior, cada autor recebeu uma revisão de IA, sem nota nem recomendação, além de ao menos duas humanas. Quase 6 mil participantes preferiram a IA em seis de nove dimensões de qualidade, mas os autores preferiram humanos em erros técnicos e excesso de ênfase em detalhes. O piloto será repetido em 2027, sem rejeição baseada só na IA.
    • ICLR 2025: depois de receber comentários de uma IA, 27% dos revisores atualizaram suas revisões, e um painel julgou melhores dois terços das versões revistas.
    • NEJM AI: desde 2025, oferece um “fast track”, com decisão em 7 dias a partir de uma revisão humana completa e de uma análise de IA debatidas pelos editores.

📝 Notas e Insights

  • Stephen Turner (Universidade da Virgínia) propõe outra comparação: não a IA contra a melhor revisão humana, mas a revisão assistida por IA, com rubricas claras, contra a revisão humana mediana, cansada e inconsistente.
  • O estudo de Kim resume a divergência: humanos e IA concordam sobre quais partes do artigo merecem crítica, mas descrevem de modo diferente o que encontram. Por isso um painel de IA não pode simplesmente substituir um painel humano.
  • Joydeep Biswas, organizador do piloto da AAAI, aponta três públicos com necessidades diferentes: autores querem melhorar o texto, revisores querem rigor e juízes precisam de uma síntese sobre a contribuição original. Uma única revisão de IA não atende aos três.
  • Para Duncan Brumby (UCL), quanto mais fluente o texto da IA, mais fácil aceitar uma revisão que parece ponderada sem ter feito o trabalho intelectual correspondente.
  • O sigilo é condição de uso: as ferramentas de checagem prometem manter os manuscritos em repositórios privados, sem conexão com a internet, para que não sirvam de treino a modelos.
  • Arjun Manrai, editor da NEJM AI, resume a postura da revista: “confie, mas verifique”.

📚 Referências e Fontes

🔗 Conexões do Cofre

🌐 Referências Externas

Visão de gráfico