Formada em matemática pela Universidade de Berkeley, com Ph.D pela Harvard University em 1999; ganhadora do prêmio Alice T. Schafer Prize da Association for Women in Mathematics; com carreira e pesquisa no departamento de matemática do Massachussetts Institute of Technology e de Barnard College; ainda, escritora e autora do blog mathbabe.org: a estadunidense Catherine Helen O’Neil presenteia a ciência com suas obras multidisciplinares, que tocam, inclusive, o mundo do direito. O livro que a rendeu a premiação Euler Book Prize em 2019 é, certamente, um grande esclarecimento, e, especialmente, alerta em relação à utilização de algoritmos em diversos segmentos do mundo atual, permeado por novas tecnologias. Weapons of Math Destruction: how big data increases inequality and threatens democracy (Armas de Destruição Matemática: como o big data aumenta a desigualdade e ameaça a democracia, em tradução livre) já demonstra em seu subtítulo os sérios problemas que o tratamento massivo de dados por softwares está causando.

Os algoritmos computacionais, foco do livro, são programas de computador instruídos para seguir um encadeamento de passos e tomar decisões com base em sua programação, utilizando informações presentes em bancos de dados – que, hoje em dia, são gigantes, armazenando uma quantidade de informações sem precedentes, e, por isso, utiliza-se o termo “big data” para se referir a elas – para concluir seu propósito. Esses dados são analisados uns em relação aos outros e, a partir de uma infinidade de cruzamentos, encontram-se padrões imperceptíveis aos olhos humanos, como a relação entre o CEP e padrões de linguagem de alguém e sua probabilidade de pagar contas em dia ou atuar corretamente em um emprego. No entanto, é importante perceber que tais algoritmos, que são modelos matemáticos, consistem em meras simplificações, uma vez que é impossível programar levando em consideração todas as complexas variáveis existentes no mundo não-virtual e na comunicação humana. Assim, cada modelo matemático tem um ponto cego que reflete as opiniões e as prioridades de quem o criou e a tarefa para a qual foi criado; isto é, apesar de sua reputação pela imparcialidade, refletem objetivos e ideologias. “Modelos são opiniões embutidas na matemática”, e, portanto, realizam correlações discriminatórias, e, algumas delas, até ilegais.

É fato que os algoritmos têm uma função importantíssima e podem ser muito úteis às atividades humanas, positivamente; por isso, para analisar a periculosidade de um modelo, a autora aponta três características que o identificam como uma Arma de Destruição Matemática (WMD, na sigla em inglês): opacidade, escala e dano. As WMDs são opacas e invisíveis, têm a capacidade de crescer exponencialmente e atingir muitas pessoas e danificam ou destroem vidas. A partir de então, os capítulos da obra apresentam diversos exemplos de WMDs nas mais variadas etapas da vida de um indivíduo, do começo ao fim da vida.

O terceiro capítulo, começo da sequência de modelos, fala sobre o ranking de universidades dos Estados Unidos. A indicação da qualidade das instituições, baseada em certos parâmetros como notas em avaliações, quantidade de calouros que conseguiam graduar-se e percentual de alunos que contribuía financeiramente com a instituição (assumindo que, se contribuíam, teriam gostado da qualidade educacional), acabou por não só indicar qual seria a “melhor” universidade, mas, principalmente, distorceu e prejudicou alunos e professores. O problema é que a medição feita pelo modelo se “autoconfirmava”, ou seja, não servia mais como um resultado (de medir a qualidade final das instituições) e, sim, como um dado de entrada: se uma universidade era mal avaliada no ranking, sua reputação baixava e as condições de ensino diminuíam, o que, consequentemente, fazia com que fosse mal avaliada, e tudo de novo. Ocorreu uma grande segregação entre os alunos, pois as universidades do topo da lista, que já tinham parâmetros educacionais elevados, utilizavam de seu lugar privilegiado no ranking para aumentar as mensalidades, proporcionando mais oportunidades para aqueles que tinham as condições de arcar com os custos e menos oportunidades para quem não tinham – novamente, reforçando os seus próprios parâmetros. Ao perceber a opacidade e injustiça do modelo, hoje em dia, são disponibilizados dados em um site do Departamento de Educação, no qual o possível aluno pode selecionar as características relevantes para sua formação e eleger a melhor universidade para si, tornando a experiência transparente, controlável e pessoal, que é o oposto de uma WMD.

Na sequência, o assunto abordado é a publicidade online – em específico, os anúncios predatórios. Conforme O’Neil, “nós somos classificados, categorizados e avaliados em centenas de modelos, baseados nas nossas preferências e padrões. Isso estabelece uma base poderosa para campanhas publicitárias legítimas, mas também alimenta seus parentes predatórios: anúncios que visam a atingir pessoas em necessidade e vender a elas promessas falsas ou abusivas. Eles encontram desigualdade e banqueteiam-se com isso. O resultado é que eles perpetuam nossa estratificação social existente, com todas suas injustiças”. A ignorância e a vulnerabilidade são peças-chave, e exploram o consumidor em seus momentos mais frágeis, podendo, inclusive, levar à exposição a softwares maliciosos, como vírus, para que depois seja enviado um anúncio para o conserto.

A quinta seção diz respeito à “justiça na era do big data”, discorrendo sobre algoritmos de auxílio a polícia e ao judiciário. Se até agora já ficava nítida a discriminação e o poder de dano que o uso desenfreado e enviesado de programas de computador causa às pessoas, quando se vê sua aplicação no poder público, o impacto é ainda mais severo. O algoritmo PredPol, instituído na cidade de Reading, nos EUA, em 2013, é uma das estrelas do capítulo. O programa processava o histórico de crimes reportados em determinadas regiões da cidade e indicava onde os crimes estavam mais propensos a ocorrer; isto é, se a polícia fiscalizasse por mais tempo estes locais, poderiam combater o crime mais facilmente. Por ser baseado meramente na localização das ocorrências, pode parecer neutro quanto a cor, renda e atributos da pessoa; contudo, crimes de menor potencial ofensivo também são contabilizados, os quais ocorrem principalmente em bairros de classe baixa – e, ressalte-se, são contabilizados pois havia lá um policial para vê-los. Ou seja, por patrulhar mais intensivamente uma área em que ocorrem esses delitos, diga-se, áreas pobres, vão estar mais atentos a esses crimes, aumentando o número de registros, o que vai indicar no programa que aquela área deve ser mais patrulhada por ocorrerem lá mais crimes, e assim por diante; enquanto um bairro mais abastado, pela falta de olhos oficiais para presenciarem os ocorridos, já que direcionaram-se a áreas empobrecidas, não terá ocorrências formalizadas – o que não quer dizer que não ocorram ilicitudes. Em síntese, o algoritmo também confirma a si mesmo em um looping pernicioso. Isso, conforme a autora, povoa o sistema prisional majoritariamente com pessoas da classe baixa, em sua maioria negros e hispânicos, e, portanto, “os pobres e não-brancos são punidos mais por serem quem são e morarem onde moram”. E tudo se torna menos imparcial se é colocado em evidência que o propósito do algoritmo de polícia é combater crimes sérios, não os de menor potencial ofensivo. Pode-se, com isso, perceber que o propósito dos modelos matemáticos tende à eficiência; no entanto, acaba por prejudicar a justiça – que é aquilo pelo que preza a lei. O’Neil, então, questiona se estamos dispostos a sacrificar a justiça em nome de uma eficiência duvidável, e conclui que o resultado da implementação desses modelos é que se criminaliza a pobreza, “nos fazendo acreditar que as ferramentas usadas para isso não são apenas científicas, mas justas”.

Em seguida, os capítulos 6 e 7 abordam o tema do emprego. Inicialmente, a questão proposta é: como os sistemas julgam as pessoas na busca por empregos e que critérios são utilizados? Vários modelos são citados, desde a década de 1970 até os dias atuais, que prejudicavam os candidatos por conta da discriminação racial e de gênero na análise de currículos mascarada pela falsa imparcialidade da máquina. Vê-se o caso em que a implantação do programa foi feita para evitar o preconceito humano sobre gênero, cor e origem, mas utilizou como requisito de admissão do currículo a semelhança dele com as últimas contratações da empresa. O resultado é que o padrão se manteve o mesmo, repetindo os preconceitos que antes eram realizados por seres humanos, e agora sendo aprendidos pelas máquinas, que incorporaram para si a preferência enviesada de contratação daquela companhia. Após, ao tratar sobre algoritmos atuantes no curso do emprego, é mencionado o programa que realizava a organização de horários de trabalho, como em cafeterias e bares. O horário dos atendentes era incerto, sujeito ao que determinava o programa, baseado no fluxo de clientes no estabelecimento; isso levava a jornadas exaustivas, mas, cuidadosamente, não extrapolava o limite de 30 horas semanais, a fim de não responsabilizar a empresa pelo seguro saúde dos funcionários. Esse algoritmo também criava a retroalimentação: mais trabalho, menos estudo, funcionário continuava sem qualificação para ascender no emprego; e, ainda, as horas irregulares e longas dificultavam a organização dos trabalhadores para protesto por melhorias.

O oitavo capítulo tem como tema a obtenção de crédito, mediante programas que classificam a pessoa com base na maneira com que outras pessoas parecidas com ela se comportaram no passado – em vez de analisar, na verdade, como esta pessoa específica se comportou no passado – para determinar a possibilidade ou não da abertura de certo crédito. Não somente são mencionados erros quanto à confusão de identidades entre pessoas com o mesmo nome, como também mostra-se uma generalização exacerbada com base em características discriminatórias como cor, origem e até antecedentes criminais familiares. Na mesma lógica, o capítulo seguinte fala sobre a concessão de seguros, com falácias lógicas e preconceituosas, que, como nos outros modelos indicados anteriormente, acabam se “autoconfirmando”, ou onerando excessivamente o consumidor. Como no caso de seguros de carro, O’Neil comenta que, por mais que não seja vista uma correlação explícita entre o ranking de crédito e a direção segura, essa associação cria um grupo de motoristas vulneráveis, que, muitas vezes, precisam dirigir para realizar seu trabalho e, por isso, aceitam pagar preços abusivos pelo seguro. O problema é acentuado porque os anúncios de seguro são personalizados para cada grupo, ao mesmo tempo que não são transparentes para comparar a oferta para um e para outro. A abusividade e discriminação se revela de diversos ângulos, e a Arma de Destruição Matemática continua prejudicando a população.

No décimo e último capítulo sobre os modelos, o cenário político-eleitoral é posto em evidência. O Facebook, por exemplo, com seu algoritmo opaco e que atinge milhões de usuários, faz com que as pessoas acreditem que aquilo que elas recebem em sua linha do tempo é a reflexão exata da realidade na qual estão inseridas; no entanto, pode ser (e já foi) distorcida de diversas formas, tanto para o marketing de produtos, a manipulação de emoções e até mesmo em campanhas políticas. Além desse tipo de manipulação, o fato de a rede social traçar perfis de usuários e vendê-los para corporações e instituições faz com que o político saiba exatamente aquilo que o possível eleitor quer ouvir, direcionando propostas, o chamado “microtargeting”. Conforme a autora, uma vez que o eleitor ouve o que quer, ele está mais suscetível a aceitar a informação pelo valor nominal porque confirma suas crenças prévias, um fenômeno chamado pelos psicólogos de “viés de confirmação”. Enquanto os marqueteiros políticos anunciam a uma pessoa tudo que ela quer ouvir, esse eleitor não sabe aquilo que as outras pessoas estão ouvindo; “essa assimetria de informação impede que as várias partes se unam – o que é precisamente o objetivo de um governo democrático”. Diante do exposto, a reflexão que pode ser feita para o mundo do direito a partir dessa obra é acerca do papel que tem o jurista na regulação dos algoritmos, modelos matemáticos preditivos e demais programas de computador, que podem ter impacto significativo na vida do indivíduo, do grupo e da sociedade como um todo. Já existem projetos que pretendem auxiliar na regulamentação desses modelos, como é o caso do Web Transparency and Accountability Project, campanhas de consumidores expondo a desigualdade sobre os anúncios que recebem, e a indicação da Lei Geral de Proteção de Dados europeia como modelo de regulação, a qual estabelece que o usuário deve aprovar a coleta de seus dados para fins especificados. É importante, portanto, que seja feita uma avaliação do potencial de risco dos algoritmos, quais as variáveis que são utilizadas, a relação entre eficácia e justiça e a transparência do programa. Assim, será possível discernir os algoritmos justos e úteis das Armas de Destruição Matemática, sem escondê-las sob o manto da imaculabilidade científica e tecnológica.

Luiza Berger von Ende, graduanda em Direito/UFSM

Referência: O’NEIL, Cathy. Weapons of Math Destruction: how big data increases inequality and threatens democracy. New York: Crown Publishers, 2016. [livro eletrônico]

Deixe um comentário

Faça o login usando um destes métodos para comentar:

Logotipo do WordPress.com

Você está comentando utilizando sua conta WordPress.com. Sair /  Alterar )

Foto do Google

Você está comentando utilizando sua conta Google. Sair /  Alterar )

Imagem do Twitter

Você está comentando utilizando sua conta Twitter. Sair /  Alterar )

Foto do Facebook

Você está comentando utilizando sua conta Facebook. Sair /  Alterar )

Conectando a %s