Como fórmulas matemáticas fomentam desigualdade e discriminação, segundo ex-analista de dados de Wall Street

Como ciência exata, a matemática é admirada por muitos, mas uma estudiosa do tema levanta surpreendentes críticas a fórmulas que sempre pensamos serem “inofensivas”. Cathy O’Neil garante: elas são parte da causa da desigualdade e discriminação do mundo.

A ex-professora da prestigiada Barnard College, na Universidade de Columbia, nos Estados Unidos, trabalhou como analista de dados de Wall Street. Ela deixou o mundo acadêmico e financeiro para se tornar uma das representantes mais ativas do movimento Ocuppy Wall Street (OWS), que denuncia os excessos do sistema financeiro americano desde 2011.

Cinco anos depois do surgimento do movimento, O’Neil publicou seu livro Weapons of Math Destruction (Armas de Destruição Matemática, na tradução livre), em que descreve como algoritmos matemáticos “governam” nossas vidas (e tendem a prejudicar os mais desfavorecidos).

“Vivemos na era dos algoritmos. Cada vez mais, as decisões que afetam as nossas vidas – como qual escola estudar, se podemos ou não fazer um empréstimo, quanto pagamos por um seguro de saúde – não são tomadas por humanos, e sim por matemáticos”, escreveu ela.

Na teoria, explica a especialista, isso deveria levar a uma maior igualdade, para que todo mundo fosse julgado sob as mesmas regras – e a discriminação não existisse.

Mas segundo O’Neil, o que ocorre é exatamente o contrário.

O lado obscuro

Os algoritmos funcionam como “receitas” criadas por computadores para analisar grande quantidade de dados.

Um algoritmo pode nos recomendar um filme ou proteger de um vírus no computador – mas isso não é tudo.

Há certos algoritmos que O’Neil define como “opacos, desregulados e irrefutáveis”. Mas o mais preocupante, diz ela, é que eles reforçam a discriminação.

A primeira característica desses algoritmos, conta O’Neil à BBC Mundo, o serviço em espanhol da BBC, é que eles “tomam decisões muito importantes na vida das pessoas”.

Por exemplo: se um jovem pobre nos Estados Unidos quer pedir um empréstimo para pagar seus estudos, o sistema irá rejeitá-lo porque será considerado “muito arriscado” emprestar dinheiro a ele (por causa de sua raça ou pela região onde ele vive). Sendo assim, esse estudante ficará isolado do sistema educativo que poderia tirá-lo da pobreza – e isso alimenta um ciclo vicioso.

Esse é só um exemplo de como esses algoritmos respaldam os que já são “mais afortunados” e castigam ainda mais os desfavorecidos, criando um “coquetel tóxico para a democracia”, explica O’Neil.

Esse é o lado obscuro da matemática e dos algoritmos, segundo ela.

Além disso, a analista aponta que “esses algoritmos são, em certo sentido, opacos: as pessoas não entendem de onde eles vêm, como são calculados e computados. Às vezes, eles até são secretos.”

“Uma das coisas que mais me preocupa é que essas pontuações – os algoritmos que nos avaliam e pontuam o tempo todo – não são visíveis para nós”, explica.

“Por exemplo, quando ligamos para o serviço de atendimento ao consumidor de uma empresa, às vezes nos pontuam de acordo com nosso número de telefone e o perfil que eles têm registrado de nós. E decidem se somos um cliente de alto ou baixo valor. Se somos de valor baixo para eles, pode ser que nos façam esperar mais tempo na ligação.”

De acordo com a matemática, esses modelos ocultos comandam nossas vidas desde que começamos a escola primária até o fim de nossa existência.

Eles estão presentes em infinitos aspectos da vida pessoal e profissional: controlam resultados acadêmicos de estudantes e alunos, classificam os currículos, concedem ou negam bolsas, avaliam trabalhadores, determinam eleitores, estabelecem penas de liberdade condicional e até vigiam nossa saúde.

E, segundo O’Neil, todos eles escondem vasta quantidade de informações negativas que acabam sendo retroalimentadas pelo uso dos algoritmos.

Mas o que quer dizer isso?

Entendendo o algoritmo

O que O’Neil argumenta é que algoritmos simplesmente “não descrevem a realidade tal qual ela é”, e a modificam expandindo ou limitando nossas oportunidades na vida.

“Esses algoritmos são destrutivos e debilitam seu próprio objetivo original, como a melhora do sistema educativo, por exemplo”, afirmou O’Neil.

“Um dos meus exemplos favoritos é o modelo de pontuação do valor agregado do professor, algo que é muito difundido nos Estados Unidos. É uma forma que eles usam para avaliar o esforço dos professores e ‘se livrar’ dos que são ruins.”

A analista explica como funciona: os resultados dos alunos são informatizados, e os professores ganham pontos quando seus alunos obtêm melhores resultados do que o esperado (e vice-versa). O problema, ela diz, é que ninguém entende de verdade como funciona o sistema – ele até seria uma “boa ideia” se fosse perfeito, mas não é o caso, afirma a especialista.

O que acontece é que há muito “ruído estatístico”, de acordo com a professora, e os algoritmos “são inconsistentes” – o que faz com que muitos professores acabem demitidos por falhas nesta tecnologia.

O’Neil diz que as pessoas encarregadas de “modelar” esses algoritmos deveriam assumir uma responsabilidade maior sobre como esses modelos matemáticos estão sendo usados.

Mas, no fim, está em nossas mãos informar mais sobre os tão misteriosos algoritmos, fazermos as perguntas adequadas e buscarmos entender como funcionam esses modelos matemáticos que regem nossas vidas, segundo a professora.

“É muito difícil lutar contra sistemas de pontuação que você nem sabe que existem. Por isso, uma das coisas que reivindico no meu livro é que a gente não aceite e refute esses sistemas.”

“Há muitas formas de fazer isso. Por exemplo, se eu faço uma busca na internet sobre um problema de saúde, sempre faço isso abrindo uma janela anônima (os browsers mais conhecidos oferecem a ferramenta de navegação anônima) na internet”, afirmou O’Neil.

O segredo, ela pontua, é “garantir que as pessoas (e os algoritmos) que compilam as informações sobre você na internet não tenham ‘notícias negativas'”.

bbc