📰 The Tests That Grade AI May Be Getting It Wrong
Em poucas palavras
Texto de Andrew Myers no site do Stanford HAI em que Sanmi Koyejo e Sang Truong, de Stanford, apresentam dois estudos que aplicam a ciência da medição e a psicometria aos benchmarks de IA. A conclusão é que muitos benchmarks não medem o que dizem medir, e testes do mesmo atributo discordam entre si. Isso importa porque esses rankings orientam investimentos, compras públicas e regulação.
🎯 Resumo
- O papel dos benchmarks: baterias de testes padronizados que pontuam modelos em raciocínio, segurança, viés e outras capacidades. Bilhões de dólares em investimento dependem dessas pontuações, que também são citadas em regulações e decisões de compra de governos. A maioria ainda é criada por acadêmicos; o mais famoso é o ImageNet, de Fei-Fei Li.
- Primeiro estudo, sobre validade: a equipe aplicou os conceitos de validade convergente e discriminante a 56 benchmarks amplamente usados. Encontrou com frequência testes que não medem o que alegam e benchmarks do mesmo atributo que discordam entre si.
- Exemplo do BBQ: o benchmark de viés usa perguntas com informação incompleta, cuja resposta correta é “não sabemos”. Um modelo enviesado que percebe a pegadinha passa como imparcial, e um modelo sem viés que não a percebe é classificado como enviesado. Na prática, o teste mede mais compreensão de leitura do que viés.
- Ciência da medição: a mesma teoria por trás de testes padronizados como o SAT dá um modelo de como uma pontuação é produzida e ferramentas estatísticas para testar se dois benchmarks medem a mesma coisa.
- Segundo estudo, sobre segurança em outras línguas: quase todos os benchmarks de segurança estão em inglês. Ao traduzi-los, duas coisas se confundem: as proteções do modelo podem enfraquecer, e o próprio teste fica menos confiável, porque a tradução pode mudar o sentido ou a dificuldade das perguntas. Com uma única nota não dá para saber qual das duas aconteceu. Os modelos de medição permitem separar fatores como a robustez de segurança independente da língua, a dificuldade da sondagem, a dificuldade geral de processar a língua e as lacunas específicas entre línguas.
- O que está em jogo: a posição de um modelo num ranking define seu valor de mercado e influencia investidores e reguladores. Para Koyejo, a questão não é se os benchmarks devem entrar na regulação, mas se alguém conferiu que uma pontuação sustenta a decisão tomada a partir dela, e em geral ninguém conferiu.
📝 Notas e Insights
- Validade convergente: benchmarks que dizem medir o mesmo atributo devem produzir resultados parecidos. Validade discriminante: benchmarks de atributos diferentes devem mostrar diferenças claras.
- Um benchmark é uma previsão de como o sistema vai se comportar no mundo, mas quase ninguém registra essa previsão de forma que possa ser conferida depois. Sem isso, os instrumentos são calibrados uns contra os outros, nunca contra a realidade. É a peça que a equipe diz estar construindo.
- Os autores tratam o problema como corrigível: não é motivo para jogar os números fora, mas para investir na construção e manutenção dos instrumentos, como fazem as áreas que medem bem.
- Os dois estudos serão apresentados na terceira Conference on Language Modeling, em outubro de 2026, em São Francisco.
📚 Referências e Fontes
🔗 Conexões do Cofre
- Conceitos:
🌐 Referências Externas
- The Tests That Grade AI May Be Getting It Wrong • Stanford HAI
- What AI Benchmarks Actually Measure: Adapting Convergent and Discriminant Validity to Interrogate Fifty-Six AI Benchmarks • OpenReview
- Um dos dois estudos discutidos no texto • arXiv
💬 Citações Diretas
- “Whoever holds the measuring stick steers the ship.” — Sanmi Koyejo