Por Ana Carolina Brust, Bruna Bastos, Fernanda Rodrigues, Luiza Berger, Luiza Druzian e Marcelo Refosco, membros do CEPEDI e do projeto de pesquisa “Construtos Jurídicos sobre Algoritmos: a violação de direitos fundamentais a partir dos dados pessoais e das fake news”

Nesta semana, foi assunto popular na rede social Twitter a identificação facial feita por seus algoritmos quando fotos são postadas na plataforma. O tópico foi exibido nos Trending Topics (ferramenta do Twitter que mostra os assuntos mais comentados do momento) no dia 18 de setembro de 2020, quando um usuário postou um relato sobre o aplicativo Zoom, utilizado para videoconferências, seguido das duas imagens:

De fato, ao incluir um plano de fundo virtual, o Zoom deixou de reconhecer o rosto do professor negro como o rosto de uma pessoa, excluindo a sua imagem do vídeo. Ao divulgar isso no Twitter, porém, uma nova saga começou: o mesmo internauta, Colin, publicou uma captura de sua tela, que mostrava o ajuste feito pelo aplicativo para exibir a imagem na proporção padrão da miniatura para publicação. Ocorre que o algoritmo do Twitter escolheu exibir o seu rosto, e não o rosto do colega.

Disse Colin junto ao tweet: “Jeeeesus… alguém adivinha por que o @Twitter padronizou mostrar só o lado direito da imagem no aplicativo para celular?”. Em mais de uma tentativa, com diferentes imagens, o resultado foi o mesmo: o Twitter priorizava o rosto de Colin (uma pessoa branca) em detrimento do rosto do colega (uma pessoa negra):

Essa constatação foi apenas o começo de um assunto que viralizou na rede social. Diversas pessoas passaram a testar a ferramenta, utilizando outras fotos no lugar. Neste sentido, um dos usuários propôs o seguinte experimento: publicou duas fotos em tamanho expandido, contendo, cada uma, as mesmas fotos de duas pessoas, Barack Obama e Mitch McConnell. O intuito era verificar qual das duas pessoas o algoritmo escolheria para enquadrar na miniatura e a resposta foi essa:

Mesmo mudando a ordem em que as imagens apareciam, o algoritmo do Twitter seguia cortando a imagem e mostrando apenas o rosto da pessoa branca em detrimento do rosto da pessoa negra. Vários internautas publicaram suas versões do teste, com diferenças nas fotos, a fim de checar mais abrangentemente quais seriam os parâmetros de identificação, e os resultados foram os mesmos:

Além disso, em um outro teste, o usuário Jordan Simonovski questionou: “eu me pergunto se o Twitter faz isso com personagens fictícios também”. Assim, ele utilizou imagens de personagens do desenho animado “Os Simpsons” e o resultado foi o mesmo: a plataforma utilizou a imagem do personagem branco (amarelo) na miniatura em vez do personagem negro. Isso ocorreu com as duas imagens utilizadas, independentemente da ordem em que os personagens foram colocados.

Em resposta ao primeiro Tweet sobre o Zoom, que contava com respostas relativas ao algoritmo do Twitter, o chefe de design da empresa se manifestou sobre o ocorrido, admitindo a culpa pela interpretação do algoritmo do Twitter e referindo o seguinte: “É 100% nossa culpa. Ninguém deveria dizer o contrário. Agora, o próximo passo é consertar”. Ele também afirmou que a empresa está trabalhando para corrigir o erro.

Ainda, no dia 21 de setembro de 2020, segunda-feira, o Twitter Brasil se posicionou sobre o assunto afirmando que “fizemos uma série de testes antes de lançar o modelo e não encontramos evidências de preconceito racial ou de gênero”. Até o momento do fechamento deste texto, o Zoom ainda não havia se pronunciado sobre o ocorrido. Dada a importância do tema, a falta de posicionamento da plataforma mostra uma atitude conivente com um processo histórico de discriminação que, atualmente, é escancarado, ainda, por escolhas algorítmicas programadas.

Com efeito, os erros escancarados que foram cometidos pelo Zoom e pelo Twitter são a demonstração mais recente do que se tem chamado de racismo algorítmico. Mostram-se frequentes os casos em que algoritmos – caracterizados como uma sequência de passos estruturada, geralmente ligados a um sistema operacional – não são transparentes quanto ao seu funcionamento, dando azo a um resultado discriminatório e violando direitos fundamentais na sua atuação em plataformas online.

No Brasil, um dos maiores expoentes sobre o tema é o pesquisador Tarcízio Silva[1], Doutorando em Ciências Sociais e Humanas pela Universidade Federal do ABC Paulista. Desde longa data, Tarcízio vem destacando que sistemas que se utilizam de algoritmos de aprendizagem tendem a repetir padrões de opressão da sociedade, como é o caso do racismo. Isso significa dizer que, nesse caso, os erros cometidos pelas referidas plataformas digitais não são mero acidente.

Algoritmos, por definição, são sequências lógicas e finitas de instruções com a finalidade de resolver um problema. A identificação facial, geralmente, é feita por algoritmos que utilizam a técnica de machine learning, na qual o algoritmo “aprende sozinho” as instruções necessárias para identificar rostos, trabalhando sobre uma base de dados. Assim, o passo-a-passo do reconhecimento de imagens não é proposto por uma pessoa. Essa falta de interferência direta humana é o que dá ensejo ao entendimento de alguns, que propõem a ideia da tecnologia neutra e imparcial, uma vez fundada na ciência e não em opiniões pessoais.

No entanto, por ser uma simplificação do mundo, essa tecnologia não é capaz de compreender por si só as complexidades éticas humanas, de forma que seu ponto cego reflete prioridades e opiniões de seus criadores. Isto é, toda tecnologia tem um viés, e, conforme sumarizado pela matemática Cathy O’Neil[2], são, de fato, opiniões embutidas na matemática. O problema desse caso, então, é que a base de dados é tendenciosa: por conter muito mais exemplos de homens brancos em detrimento de homens e mulheres negras, o algoritmo entende que os homens brancos são mais equivalentes a “pessoas” que o restante dos exemplos.

Nesse passo, tal como o preconceito humano, o viés algorítmico resulta em desigualdade e, além da notória violação de direitos fundamentais, outro problema da injustiça algorítmica centra-se no alcance que a tecnologia pode conceder a essas espécies de discriminação e exclusão. Para resolver esses vieses, contudo, é preciso ponderar sobre uma abordagem de inclusão, com a reformatação dos algoritmos, onde devam existir mais recortes sobre representatividade para erradicar os erros cometidos pelo sistema.

Propõem Kearns e Roth[3] que as delimitações éticas dos algoritmos sejam inseridas na programação como uma restrição no funcionamento do programa, que é um requisito diferente de seu objetivo. Não se pode admitir que uma criação que tem um poder de decisão e que impacta profundamente muitas vidas esteja coberta por um falso manto de imparcialidade e encubra, na verdade, o racismo e outros tipos de discriminações.

Diante de todo esse cenário, os pesquisadores constataram que foi um acontecimento triste, porém necessário e que exige reflexões para que as questões vinculadas à perpetuação de processos discriminatórios sejam visualizadas também na internet e no desenho e no funcionamento de algoritmos que modelam a atividade digital. O que os usuários precisam fazer é cobrar das plataformas digitais e de conteúdo um posicionamento sobre as violações de direitos fundamentais que acontecem todos os dias.

Isso porque, nos casos em que abordamos aqui, os algoritmos expuseram a discriminação ao escolher qual imagem deveria ser mostrada em uma rede social. Todavia, já há casos em que o reconhecimento facial foi utilizado pela polícia, para fins de segurança pública, e acabou resultando na prisão de pessoas inocentes, em razão de erros no sistema.[4]

Assim, já passou da hora dos estudos sobre novas tecnologias, em especial, com o uso de algoritmos, atentarem-se para os possíveis enviesamentos da ferramenta. Em um país como o Brasil, com um histórico escravagista longo e notório, onde o racismo estrutural permeia boa parte das relações sociais, não atentar para casos de racismo algorítmico é auxiliar conscientemente na perpetuação desse mecanismo de opressão por mais um meio, dessa vez, digital.


[1] TARCÍZIO SILVA. Tarcízio Silva – pesquisa, métodos digitais, raça e tecnologia. Disponível em: https://tarciziosilva.com.br/blog/. Acesso em: 21 set. 2020.

[2] O’NEIL, Cathy. Weapons of Math Destruction: how big data increases inequality and threatens democracy. New York: Crown Publishers, 2016.

[3] KEARNS, Michael; ROTH, Aaron. The ethical algorithm: the science of socially aware algorithm design. New York: Oxford University Press, 2019.

[4] WERNECK, Antonio. Reconhecimento facial falha em segundo dia, e mulher inocente é confundida com criminosa já presa. O Globo, 11 jul. 2019. Disponível em: https://oglobo.globo.com/rio/reconhecimento-facial-falha-em-segundo-dia-mulher-inocente-confundida-com-criminosa-ja-presa-23798913. Acesso em 21 set. 2020.

Deixe um comentário

Faça o login usando um destes métodos para comentar:

Logotipo do WordPress.com

Você está comentando utilizando sua conta WordPress.com. Sair /  Alterar )

Foto do Google

Você está comentando utilizando sua conta Google. Sair /  Alterar )

Imagem do Twitter

Você está comentando utilizando sua conta Twitter. Sair /  Alterar )

Foto do Facebook

Você está comentando utilizando sua conta Facebook. Sair /  Alterar )

Conectando a %s