Centro Educacional Leonardo Da Vinci

Gabriel Menotti, professor da UFES, curador e coordenador da rede Besides the Screen, Sempre-Aluno Da Vinci, teve sua matéria “A AUTOMATIZAÇÃO DO PRECONCEITO – A Inteligência Artificial tem demonstrado preconceitos cada vez mais humanos” publicada em A Gazeta de 07 de setembro de 2019, Caderno 2 – Pensar.

O texto pode ser visto a seguir.

A Discriminação é Sistêmica: Inteligência Artificial e a Automatização do Preconceito

Gabriel Menotti

A ficção científica passou décadas nos ameaçando com robôs que desprezariam a espécie humana por inteiro. Perante o ódio ou a indiferença de um Exterminador do Futuro (do filme de 1984), somos todos indiscriminadamente discriminados. Já as inteligências artificiais da vida real, por sua vez, têm demonstrado preconceitos demasiado humanos.

O problema fica mais claro desde a superfície. Há um flagrante sexismo na identidade facultada aos assistentes virtuais que nos dão acesso aos principais sistemas de inteligência corporativos. Um sujeito postiço como Siri, produzido pela Apple, se apresenta por default no feminino. Conjugada ao comportamento programado na máquina, por natureza desprovida de vontade, essa antropomorfização enviesada produz um fantasma de completa subserviência. Siri hesita em recriminar o assédio dos usuários, no que poderia ser maldosamente tomado com um flerte. Interações como essa têm servido, de acordo com estudos da Unesco, para normalizar preconceitos de gênero.

Acontece que esses sistemas foram feitos para a discriminação. Estão propensos, por sua própria insuficiência, a produzir invisibilidades e apagamentos. A aparente ausência de interferência humana no seu processo constitutivo passa uma perigosa impressão de neutralidade. O que a realidade de suas aplicações demonstra, pelo contrário, é que a linha que separa uma “inocente” classificação de informações de um reforço dos viéses de percepção, linguagem e poder entranhados na sociedade pode ser tênue, quando não inexistente. Ao reproduzir a categorização implícita em um banco de dados qualquer, sem atentar para os seus pontos cegos, os sistemas de inteligência artificial podem estar reproduzindo também a misoginia e o racismo estruturais.

A capacidade das redes neurais de fabricar correlações convolutas entre atributos de imagem e classificações identitárias parece tornar possível apreender a coerência profunda das coisas a partir de seus rastros sensíveis, numa espécie de alucinação forense. Há, claro, consequências daninhas. O reconhecimento facial já é comercializado como um modo de ajuizar caráter. Sistemas de análise por inteligência artificial como o da empresa Faception garantem tornar a índole, a inteligência e até mesmo a profissão de um sujeito legíveis em seu rosto. Daí para aplicações de policiamento preditivo é uma distância bastante curta. Um estudo da Universidade de Shanghai Jiao Tong já aventou a possibilidade de inferir automaticamente certos “graus de criminalidade” a partir de imagens faciais.

Essas modalidades de segregação inteligente reprisam o determinismo biológico mais grosseiro e o imbuem com a autoridade das inovações tecnológicas. A violência identitária começa na estereotipação do sujeito e culmina com a sua completa negação, cristalizada por meio de expedientes burocráticos. Um caso emblemático se deu ano passado, quando motoristas transgêneros da Uber foram suspensos porque o aplicativo de autenticação da empresa, baseado em análise facial, não reconhecia a identidade deles. Ainda mais estarrecedor é o fato de que carros autônomos tenham maior probabilidade estatística de atropelar uma pessoa negra do que uma branca, simplesmente por não identificá-la como uma pessoa.

O instituto AI Now, ligado à Universidade de Nova York, publicou recentemente um relatório sobre Gender, Race, and Power in AI que joga alguma luz nas acentuadas desigualdades desse setor. De modo geral, as estatísticas refletem a disparidade endêmica de gênero e raça das áreas de ciências duras. Mas, no caso, a desigualdade é singularmente crítica por causa do alto impacto que o setor de inteligência artificial representa para a sociedade. A complexidade dos sistemas desenvolvidos torna difícil prever, a partir de testes de laboratório, que comportamento e efeito terão no mundo lá fora.

As regras que tornam nossos corpos e rostos legíveis para o sistema são, elas próprias, ilegíveis para nós. A promoção de diversidade no setor está diretamente ligada ao enfrentamento das discriminações que as aplicações de IA acentuam. Muitos dos viéses apresentados por elas refletem e revelam vícios inconscientes no conjunto de dados empregado para treiná-las. É preciso que o seu desenvolvimento seja acompanhado de perto por pessoas sensíveis a esses viéses – particularmente, pessoas que sofrem desses preconceitos. Somente esse tipo de atenção dedicada é capaz de filtrá-los do sistema e impedir a sua amplificação algorítmica.