🎯 Sistemas de Caixa-Preta
Em poucas palavras
Sistemas e modelos algorítmicos cuja lógica interna de processamento, correlação de dados e tomada de decisão não é transparente, é inacessível ou não é interpretável pelas pessoas. Vê-se a entrada e a saída, mas não o caminho entre elas, o que dificulta a auditoria técnica e a contestação de um resultado.
📝 Notas e Desenvolvimento
- Duas origens da opacidade:
- Técnica: redes neurais profundas e Grandes modelos de linguagem têm bilhões de parâmetros; mesmo quem os construiu não consegue explicar por que uma saída específica foi gerada.
- Institucional: o fornecedor não revela dados de treinamento, critérios ou o próprio modelo, por segredo comercial.
- Problema: sem saber como a decisão foi tomada, não se consegue detectar vieses, corrigir erros nem contestar o resultado — o que choca com o direito de revisão de decisões automatizadas previsto na Lei Geral de Proteção de Dados (art. 20).
- Contraponto: Explicabilidade e Transparência são os requisitos éticos opostos à caixa-preta. Quando a explicação é inviável, a orientação do Conselho Nacional de Educação é evitar o uso em processos de impacto relevante; se o fornecedor não der informação suficiente para classificar a aplicação, ela não pode ser contratada (ver Classificação de Risco no uso de IA).
- Na prática: a opacidade é a razão pela qual a supervisão humana precisa ser efetiva — quem valida um resultado opaco tem de conseguir checá-lo por outros meios.
📚 Referências e Fontes
🔗 Conexões do Cofre
- Conceitos:
- Documento institucional: Política Institucional para o uso de Inteligência Artificial