🎯 Vieses Algorítmicos
Em poucas palavras
Distorções sistemáticas e desvios de neutralidade nas respostas ou decisões de um sistema de IA. Surgem de falhas, desequilíbrios ou preconceitos históricos presentes nos dados humanos usados no treinamento e podem reproduzir, perpetuar e amplificar preconceitos raciais, de gênero, sociais ou epistêmicos.
📝 Notas e Desenvolvimento
- Origem: um modelo de aprendizado de máquina aprende os padrões dos dados que recebe. Se os dados sub-representam um grupo ou registram decisões discriminatórias do passado, o modelo trata esses padrões como regra.
- Onde o viés entra:
- Dados: amostras desequilibradas ou rótulos que refletem preconceitos históricos.
- Modelagem: escolha de variáveis e de métricas de sucesso que favorecem um grupo.
- Uso: aplicação do sistema a uma população diferente daquela em que foi treinado.
- Exemplo clássico: o estudo Gender Shades (Buolamwini e Gebru, 2018) avaliou três sistemas comerciais de classificação de gênero por imagem e encontrou erro de até 34,7% para mulheres de pele mais escura, contra no máximo 0,8% para homens de pele mais clara.
- Por que é difícil de ver: a decisão automatizada parece objetiva, e em sistemas de caixa-preta não há como inspecionar o raciocínio. O viés aparece nos resultados agregados, não numa decisão isolada.
- Na educação: pesa sobretudo em aplicações de alto risco — correção automática, predição de evasão, perfilização —, que por isso exigem avaliação de impacto e supervisão humana (ver Classificação de Risco no uso de IA).
📚 Referências e Fontes
🔗 Conexões do Cofre
- Conceitos: