Alemanha: sistemas de IA alimentação discriminação programada

“A inteligência artificial (IA) torna muitas coisas mais simples – e, infelizmente, também a discriminação.” Foi com esse alerta que Ferda Ataman, comissária federal independente para o combate à discriminação na Alemanha, apresentou nesta quarta-feira (30/08), em Berlim, um relatório que aborda os potenciais riscos de delegar decisões a sistemas automatizados de inteligência artificial, em órgãos públicos e empresas.

“Os sistemas automatizados de inteligência artificial estão tomando cada vez mais decisões importantes para a vida cotidiana. O que à primeira vista parece objetivo, pode acabar reproduzindo automaticamente preconceitos e estereótipos. Não convém, em circunstâncias alguma, subestimar os perigos da discriminação digital.”

O relatório jurídico, organizado Automaticamente desfavorecidos , aponta que os sistemas algorítmicos de tomada de decisão automatizada (ADM, na sigla em inglês) são propensos a erros, com um “potencial indiscutível de discriminação”, e que há lacunas na legislação alemã que podem mitigar essas riscos.

ADMs são máquinas ou softwares carregados de, com base nos dados fornecidos, calcular números que servem de base a uma decisão, “aprendendo autonomamente” nesse processo. Ferda Ataman enumerou exemplos típicos de utilização deste tipo de ferramenta: processos de seleção de emprego, empréstimos bancários, concessão de seguros ou concessão de benefícios como assistência social.

Especificamente, o relatório alerta que a qualidade das decisões digitais depende em grande parte dos dados introduzidos. E não é claro que estes sejam isentos de erros ou mesmo adequados para sua finalidade específica. “Por isso precisamos de regras claras e abrangentes”, Ataman.

Histórias distópicas do gênero já são conhecidas. Em 2019, mais de 20 cidadãos da Holanda sofreram os efeitos da utilização incorreta dessa tecnologia comprovadamente incorruptível, ao serem injustamente obrigados a devolver benefícios sociais, sob ameaça de multa. Um algoritmo discriminatório no software foi parcialmente responsável pela decisão, afetando principalmente os portadores com dupla cidadania.

“Caixa Preta”

Para evitar tais casos discriminatórios, Ferda Ataman pleiteia mais transparência por parte das empresas, permitindo aos mais afetados obter informações sobre os dados utilizados e o funcionamento do sistema. No relatório, elaborado pelos juristas Indra Spiecker e Emanuel V. Towfigh, o caráter dos sistemas baseados em IA é classificado como uma “caixa preta”. Ou seja, é praticamente impossível os afetados identificarem as causas da discriminação.

“Uma característica específica da utilização dos sistemas de ADM é que o seu potencial de discriminação já pode ser inerente ao próprio sistema”, aponta o relatório. A causa pode ser um conjunto de dados incorretos, distorcidos ou de má qualidade, ou ainda inadequados especificamente pretendidos.

Até o CEP pode mudar ferramenta de discriminação

O relatório ilustra como alguns dados aparentemente banais podem virar ferramentas de discriminação. “Em si, a característica do código postal (CEP), por exemplo, não é discriminatória. Mas torna-se um sucedâneo da discriminação por nacionalidade, que é proibida por lei, já que muitos imigrantes costumam habitar em determinados bairros, por razões históricas .”

O relatório alerta que isso pode ter consequências negativas para quem vive nessas áreas. Ao solicitar empréstimos, por exemplo, podem ser rotulados como risco financeiro e inaptos a pagar suas dívidas. Os especialistas costumam denominar essa tática “discriminação estatística”: a atribuição de características obtidas por meios estatísticos, com base em dados médios reais ou presumidos de um grupo.

Necessidade do órgão de arbitragem

Para lidar com os casos assim, a comissária Ataman reivindica a criação de um gabinete de conciliação no âmbito de sua agência. Ela também propõe que a Lei Geral de Tratamento Igualitário (AGG) da Alemanha seja complementada com um processo de arbitragem obrigatório.

Para ilustrar a necessidade urgente de ação legal, Ataman cita exemplos de outros países. Nos EUA, por exemplo, algoritmos programados incorretamente nos cartões de crédito da Apple discriminaram sistematicamente mulheres na concessão de crédito. Na Austrália, após um erro num sistema de tomada de decisão baseado em IA, centenas de milhares foram solicitados a devolver benefícios sociais a que tinham direito.

A conclusão do relatório é simples: “A digitalização é o futuro. Mas não deve se tornar um pesadelo. Os cidadãos devem poder confiar que não serão discriminados pela IA” – e ser capaz de se defender, caso isso aconteça.