Racismo algorítmico: entenda o porquê as IAs têm vieses que podem ser discriminatórios

Embora interaja com você sem precisar de qualquer intervenção manual, inteligências artificiais (IAs) são obras humanas. A tecnologia, popularizada atualmente nos modelos generativos, são resultados de treinamentos em uma base gigante de dados, tudo para tentar prever a melhor solução para uma determinada situação.

Para reconhecer textos, imagens, paisagens e outros elementos, IAs precisam ser alimentadas com uma infinidade de dados das mais diversas origens, a maioria delas humana. Uma IA só entende o que é uma bola de futebol ao receber infinitas imagens de bolas de futebol, nos mais variados ângulos.

Inevitavelmente, essas informações geram certa influência na eficiência no modelo, por vezes criando vieses racistas — algo que ficou conhecido como racismo algorítmico.

O que é racismo algorítmico?

O racismo algorítmico acontece quando um software de qualquer tipo reproduz algum tipo de discriminação sobre os usuários, algo que pode acontecer em diferentes formas.

Um exemplo popular é a fotografia: softwares de tratamento de imagem passam por constante evolução para lidar melhor com variações de tons de pele. A melhor representação da pele negra, por exemplo, tende a ser uma característica incomum em celulares topo de linha — e foi uma das evoluções destacadas em celulares da linha Pixel, por exemplo.

Há casos mais graves, porém: em 2015, durante a apresentação do Google Fotos, o mecanismo de busca da plataforma apresentou fotos de pessoas negras como resposta à busca “Gorilas”.

Em outra polêmica do mecanismo de busca, há a pesquisa “tranças bonitas” e “tranças feias”. Quando o assunto virou notícia em 2019, a primeira pesquisa apresentava resultados de imagens de mulheres brancas, enquanto a segunda era majoritariamente composta por mulheres negras.

A reprodução de estereótipos raciais e de gênero também ocorre de forma mais sutil em IAs generativas: se você pedir por imagens de um executivo, geralmente o resultado será uma foto de uma pessoa branca. Para ter ilustrações de pessoas negras, por vezes é preciso especificar essa característica no prompt.

Por que IAs podem apresentar racismo algorítmico?

As inteligências artificiais são o resultado de uma base de dados praticamente massiva, mas não universal — sites, livros, redes sociais, troca de mensagens, áudios, fotos e muito mais. Essas estruturas iniciais usadas para treinamento, limitadas por natureza, podem conter vieses racistas ou de gênero presentes nas sociedades do mundo todo.

Assim como um chatbot pode ser capaz de sugerir o uso de cola para dar mais aderência ao queijo na pizza, ela também pode reproduzir padrões racistas por influência da própria base de dados.

Casos escandalosos como a bot Tay da Microsoft, que em menos de 24 horas começou a regurgitar expressões fascistas, tendem a não acontecer com tanta frequência. Porém, os modelos atuais não estão livres de preconceitos e principalmente estereótipos.

Agora, quando polêmicas demais, as reproduções de padrões ofensivos tendem a ser capados por travas artificiais. Se alguma solicitação for descaradamente motivada por racismo, é possível que a IA se negue a atender ao prompt.

O uso exagerado, ou até incorreto, de outras etnias também acontece. Uma demonstração dessa falha foi quando o o Gemini gerou imagens de negros ao receber um prompt pedindo por imagens de soldados nazistas.

Atualmente, a reprodução de preconceitos em IAs é objeto de estudo, principalmente dada a relevância dos modelos generativos. No Brasil, o tema é destrinchado em livros, tais como o Racismo algorítmico, de Tarcízio Silva, que é mestre em Comunicação e Cultura Contemporâneas pela UFBA e realiza doutorado em Ciências Humanas e Sociais na UFABC.