- Imprecisão e enviesamento incorporados nos sistemas de IA
- Falta de supervisão humana nos processos automatizados
- O Estado de vigilância
O assassinato de George Floyd, um homem negro desarmado, por agentes da polícia de Minneapolis, em maio de 2020, chamou recentemente a atenção para este facto - desencadeando ondas de protesto por todo o país e pondo em evidência as formas como aqueles que estão destinados a "servir e proteger-nos" não servem todos os membros da sociedade por igual.
Com o aparecimento da inteligência artificial (IA), uma série de novas ferramentas de aprendizagem automática prometem ajudar a proteger-nos - localizando rápida e precisamente aqueles que podem cometer um crime antes de este acontecer - através de dados. Informações passadas sobre crimes podem ser utilizadas como material para os algoritmos de aprendizagem automática fazerem previsões sobre crimes futuros, e os departamentos de polícia estão a afetar recursos à prevençãoAs próprias ferramentas, no entanto, apresentam um problema: os dados que estão a ser utilizados para "ensinar" os sistemas de software estão envoltos em preconceitos e apenas servem para reforçar a desigualdade.
Eis como: os negros têm mais probabilidades do que os brancos de serem denunciados por um crime - quer o denunciante seja branco ou negro - o que leva a que os bairros negros sejam marcados como "de alto risco" a uma taxa desproporcionada.
A utilização de dados como ferramenta para o policiamento não é nova - tem vindo a ser utilizada desde os anos 90, num esforço para ajudar os departamentos a decidir quais as comunidades de "alto risco". Se souberem onde ocorre a maior parte dos crimes, a polícia poderia colocar mais recursos no policiamento de uma determinada área.
No entanto, a lógica é errada: se mais polícias forem enviados para um determinado bairro, é óbvio que "mais" crimes aparecerão nesse bairro. Essencialmente, é um ciclo de feedback, que fornece uma versão distorcida de onde o crime está realmente a ocorrer. (Outra questão em causa é a atribuição de recursos policiais em vez de serviços sociais. Há muito debate, por exemplo, sobre se o papelO facto de a polícia estar presente em certos bairros pobres e negros também tende a criar um ambiente de "estado policial", no qual os cidadãos não se sentem seguros, e há fortes argumentos de que um maior financiamento para a saúde mental ou outros serviços sociais serviria melhor estas comunidades). Quando os algoritmos de aprendizagem automática são alimentados com estes "dados" para treinar os seus sistemas preditivos, replicam este enviesamento, reforçando falsasideias sobre que bairros são mais "de alto risco".
Outro problema deste raciocínio é o facto de se basear em informações passadas. Embora o nosso passado possa dar-nos uma pista sobre o comportamento futuro, não tem em consideração o conceito e o potencial de reabilitação e tem o efeito de reforçar opiniões negativas e continuar a punir aqueles que já pagaram a sua dívida.
Embora existam dezenas de empresas tecnológicas americanas que vendem este tipo de software a agências de aplicação da lei, uma startup em particular, a Voyager Labs, está a recolher informações sobre as redes sociais - incluindo publicações no Facebook, emojis, amigos - e a analisá-las para estabelecer ligações, chegando mesmo a cruzar essas informaçõescom dados privados, para criar um perfil "holístico" que possa ser utilizado para encontrar pessoas que representem "riscos".
Imprecisão e enviesamento incorporados nos sistemas de IA
Um ensaio realizado em 2018 pela Polícia Metropolitana de Londres utilizou o reconhecimento facial para identificar 104 pessoas anteriormente desconhecidas, suspeitas de terem cometido crimes. Apenas 2 das 104 pessoas foram correctas.
"Desde o momento em que um agente da polícia identifica erradamente um suspeito até ao momento em que o agente se apercebe do seu erro, pode ter lugar uma ação coerciva significativa: o suspeito pode ser detido, levado para uma esquadra da polícia e ficar detido. Pode ser aterrador, com consequências irreversíveis, incluindo violações dos direitos humanos", escreve Edward Santow em O Trimestre Australiano .
Além disso, os sistemas de reconhecimento facial também têm demonstrado preconceitos contra as pessoas de cor. Num exemplo flagrante, o algoritmo de reconhecimento facial do Facebook rotulou as pessoas negras como "primatas" - o que, segundo a BBC, "foi claramente um erro inaceitável".
Falta de supervisão humana nos processos automatizados
Os sistemas automatizados eliminam a supervisão humana. À medida que as agências de aplicação da lei dependem cada vez mais destas ferramentas de aprendizagem profunda, as próprias ferramentas assumem uma autoridade e as suas previsões são frequentemente inquestionáveis. Isto resultou naquilo a que Kate Crawford e Jason Schultz, no seu relatório "AI Systems as State Actors", chamam uma "lacuna de responsabilização", que "pode resultar em funcionários humanos tanto estatais como privadoster menos conhecimento ou envolvimento direto nas decisões específicas que causam danos".
As próprias ferramentas podem ter várias origens - criadas "internamente" por agências governamentais, desenvolvidas por contratantes ou mesmo doadas, salientam Crawford e Schultz. E com estas várias configurações, há pouca informação sobre quem deve ser responsabilizado quando os sistemas falham.
Um novo projeto da Universidade de Columbia, em conjunto com o Instituto AI Now e o Centro de Raça, Desigualdade e Direito da Faculdade de Direito da Universidade de Nova Iorque, e a Electronic Frontier Foundation, foi recentemente iniciado "para realizar um exame dos actuais litígios nos tribunais dos Estados Unidos em que a utilização de algoritmos pelo governo era central para os direitos e liberdades em causa no caso".Neste relatório, os investigadores centraram-se em casos em que a IA está atualmente a ser utilizada na aplicação da lei: nas áreas do Medicaid e dos benefícios por incapacidade, nas avaliações de professores públicos e nas avaliações de risco criminal. Nestes casos, os investigadores analisaram a forma como os sistemas de IA foram utilizados por humanos. Os autores concluíram:
Estes sistemas de IA foram implementados sem formação, apoio ou supervisão significativos e sem quaisquer protecções específicas para os destinatários, o que se deveu, em parte, ao facto de terem sido adoptados para produzir poupanças de custos e normalização no âmbito de um modelo monolítico de aquisição de tecnologia, que raramente tem em conta as preocupações de responsabilidade constitucional.
O foco dos algoritmos era tendencioso - num esforço para cortar orçamentos, visavam aqueles que teriam mais probabilidades de necessitar de apoio. "Assim, um sistema algorítmico em si, optimizado para cortar custos sem considerar preocupações legais ou políticas, criou os principais problemas constitucionais que acabaram por decidir os processos judiciais." Como "representantes de vendas itinerantes", observaram os autores, estes sistemas automatizadosAs ferramentas de avaliação levariam a informação de um local para outro, aplicando-a a novas populações, aumentando o potencial de enviesamento dos resultados.
"À medida que os sistemas de IA dependem mais da aprendizagem profunda, tornando-se potencialmente mais autónomos e inescrutáveis, a lacuna de responsabilização por violações constitucionais ameaça tornar-se mais ampla e profunda."
Quando se dá rédea solta aos sistemas automatizados e a supervisão humana se torna obsoleta, as empresas tecnológicas devem assumir a responsabilidade pela forma como os seus produtos são utilizados? A lei ainda não é clara sobre esta questão.
"Quando questionados, muitos governos estatais negaram qualquer conhecimento ou capacidade para compreender, explicar ou resolver problemas criados por sistemas de IA que adquiriram a terceiros", argumentam Crawford e Schultz. "A posição geral tem sido "não podemos ser responsáveis por algo que não compreendemos".tomada de decisões sem quaisquer mecanismos de responsabilização ou de prestação de contas".
A incapacidade de colmatar esta lacuna em matéria de responsabilização deveria implicar a suspensão da utilização destes instrumentos.
O Estado de vigilância
Apesar de todos os problemas evidentes em matéria de direitos humanos no policiamento automatizado nos Estados Unidos, vivemos num país em que a ideia de proteção policial está consagrada na nossa Constituição. Nos governos que não dispõem deste tipo de proteção, a tecnologia de policiamento automatizado pode ser utilizada para fins ilícitos. Na China, por exemplo, o reconhecimento facial é utilizado para compras e na regulação do tráfego, as imagens de vigilânciaA China vende a sua tecnologia de reconhecimento facial a governos autoritários que pretendem localizar os seus próprios cidadãos. Esta tecnologia chinesa é relativamente barata de adquirir e funciona bastante bem, sendo utilizada furtivamente, sem deteção pública ou agitação", escreve Maria Stefania Cataleta num relatório para o East-West Center.
Felizmente, algumas agências de aplicação da lei estão a levar estas preocupações a sério. Em setembro de 2021, por exemplo, o Toronto Police Services Board anunciou que iria elaborar uma política para reger a utilização da tecnologia de IA. Relatórios condenatórios sobre o departamento de polícia de Chicago levaram-no a suspender também a utilização do policiamento preditivo. Todas as agências de aplicação da lei devem levar esta questão a sério.pode significar a diferença entre colocar uma pessoa inocente ou culpada atrás das grades.