Viés: do nosso recorte para dentro do algoritmo

Todo mundo enxerga a realidade por uma fresta: a cultura em que cresceu, onde mora, o que viveu. Isso não é defeito de caráter, é condição humana — e tem nome: viés humano. O problema começa quando essa fresta vira dado de treino.

Como um classificador aprende a errar?

O exemplo que eu mais uso em aula é bobo de propósito. Imagine que eu queira um classificador que diferencie ursos de cachorros. Monto meu conjunto de fotos com o que tenho à mão: ursos-negros e samoiedas (aqueles cachorros brancos e peludos).

O loop de treino do capítulo 2 faz o trabalho dele direitinho: procura a correlação mais fácil que separa os dois grupos. E a mais fácil é a cor. O modelo aprende, na prática, que escuro = urso e claro = cachorro.

Aí chega um labrador preto. O modelo responde, com toda a confiança: urso.

Ninguém programou esse erro. Ele saiu de uma sequência de escolhas inocentes:

1. Viés humano — eu não pensei em variação de cor.
2. Curadoria dos dados — o conjunto ficou só com ursos escuros e cachorros claros.
3. Viés algorítmico — o modelo associou cor à categoria e erra sistematicamente com quem ficou de fora.

Vale brincar com o experimento até perceber três coisas: dado enviesado gera modelo enviesado; característica boa não conserta dado ruim; e dado diverso, sozinho, também não resolve se a característica escolhida não faz sentido.

E quando o cachorro é uma pessoa?

Trocar urso e cachorro por gente é o que transforma um exemplo engraçado em problema sério.

Saúde. Sistemas que analisam imagens médicas erram mais em grupos que aparecem pouco nos dados de treino. Quando modelos de dermatologia foram testados em imagens com tons de pele diversos, o desempenho caiu de forma acentuada em relação aos testes originais, e todos foram piores em pele escura (Daneshjou et al., 2022). Quando a equipe de saúde confia sem conferir, quem já era menos atendido recebe diagnóstico atrasado ou errado.

Segurança pública. Sistemas de análise facial erram de forma desigual. Em um estudo com produtos comerciais que classificam gênero pelo rosto, o erro para mulheres de pele escura foi dezenas de vezes maior que para homens de pele clara (Buolamwini; Gebru, 2018). Uma avaliação oficial de algoritmos de reconhecimento encontrou muito mais falsos positivos para rostos asiáticos e negros do que para rostos brancos (NIST, 2019). O erro tem consequência: um homem foi preso na frente da família por um furto que não cometeu, depois que um sistema apontou o rosto dele a partir de uma imagem borrada de câmera de segurança. O sistema errou; a polícia acreditou.

Educação. Sistemas de “alerta precoce” tentam prever quem vai abandonar a escola. Em um deles, que classificava estudantes pelo risco de não se formar no prazo usando notas, registros disciplinares, renda e raça, uma análise do próprio governo mostrou que o alarme falso era muito mais frequente para estudantes negras e negros do que para brancas e brancos — e as escolas que usavam o sistema não tinham sido avisadas.

Linguagem. Modelos treinados principalmente na variedade “padrão” de um idioma tropeçam em dialetos, gírias e regionalismos. Um operário publicou uma foto ao lado de um trator com a legenda “bom dia” em árabe; a tradução automática de uma rede social devolveu “ataquem-nos”. Ele foi preso e interrogado por horas antes de alguém perceber o erro — ninguém que falasse a língua tinha lido o texto original.

Nos quatro casos o padrão é o mesmo: um erro estatístico, previsível, encontrou uma pessoa que tratou a saída da máquina como verdade.

O que dá para fazer?

Eliminar viés não existe — todo conjunto de dados é um recorte. O que existe é reduzir, medir e avisar.

• Se você cria (treina modelo, monta base, configura um agente): procure quem está faltando nos dados; chame pessoas com vivências diferentes da sua para tentar quebrar o sistema; documente onde ele falha.
• Se você usa: em decisão que afeta a vida de alguém — saúde, justiça, crédito, emprego — a saída da IA é um palpite para ser conferido, não um veredito. E quando encontrar erro, reporte.