|
Noam Sohlberg Vice-Presidente
|
Juiz Ofer Grosskopf:
Concordo.
|
Ofer Grosskopf Juiz
|
Juíza Gila Kanfi-Steinitz:
Concordo com o julgamento do meu colega, o Vice-Presidente v. Solberg. O meu colega descreveu as falhas que ocorreram na conduta do município, e o seu julgamento serve de alerta quanto à forma como as autoridades administrativas utilizam os sistemas de inteligência artificial. De facto, muitos benefícios podem resultar da utilização de ferramentas de inteligência artificial pelas autoridades administrativas – tanto na melhoria do serviço ao cidadão como na poupança de recursos públicos. No entanto, para além destes benefícios, o meu colega enfatizou corretamente o perigo inerente neste momento à dependência cega desta tecnologia.
À luz do ritmo acelerado de desenvolvimento das ferramentas de inteligência artificial e das mudanças que se espera que tragam no serviço público, gostaria de fazer alguns comentários sobre os desafios colocados pela tomada de decisão utilizando ferramentas de inteligência artificial, do ponto de vista do direito administrativo.
- Em primeiro lugar, parece haver uma grande diferença entre a apresentação de decisões judiciais que se baseiam em referências inexistentes, resultado da "alucinação" da inteligência artificial, e a adoção de uma decisão administrativa baseada nestas ferramentas. O meu colega, o Vice-Presidente Sohlberg, culpou a falha administrativa por arbitrariedade, mas parece que, em alguns casos, o problema pode ir à raiz da própria autoridade. Afinal, mais do que uma vez concordamos que é uma regra básica que uma autoridade não tem direito a dissolver-se a seu critério ou a delegar autoridade sem autorização explícita (Tribunal Superior de Justiça 2303/90 Filipovich v. Registrar of Companies, IsrSC 46(1) 410, 420 (1992) (doravante: o caso Filipovich); Baruch Bracha, Direito Administrativo, 2, 154 (1996)). Desta perspetiva, há quem aponte que a integração dos sistemas de inteligência artificial no processo de tomada de decisão desafia esta proibição, uma vez que, na prática, as decisões individuais, e mesmo as relativas à formulação de políticas gerais, são "delegadas" ao algoritmo e implicitamente aos fornecedores privados que o desenvolvem (Deirdre K. Mulligan & Kenneth A. Bamberger, Compras como Política: Processo Administrativo para Aprendizagem Automática, 34 Berkeley Tech. L.J. 773 (2019) (doravante: Mulligan & Bamberger);Danielle Keats Citron, Processo Tecnológico, 85 Wash. U. L. Rev. 1249, 1296-97 (2008) (Citron).
- De facto, é possível que o uso de ferramentas de inteligência artificial seja feito com a ajuda delas e nada mais – assistência que também deve ser cuidadosa e controlada – sem que a autoridade administrativa seja desmembrada do seu julgamento profissional (e comparar: Tribunal Superior de Justiça 38379-12-24 Anonymous v. Sharia Court of Appeals, Jerusalém, parágrafo 26 [Nevo] (23 de fevereiro de 2025) (doravante: o caso Anonymous)). No entanto, a imagem muda quando a própria tomada de decisão é transferida para a ferramenta de IA. Nesta situação, já não é possível ver o uso do sistema como uma mera 'assistência técnica', uma espécie de utilização de uma calculadora, uma base de dados ou uma ferramenta de redação (para mais informações sobre a distinção entre delegação e assistência e consulta, ver: Filipovich, pp. 422-424; Dafna Barak-Erez, Administrative Law, 1, 178-180 (2010)), mas sim como deslocar o centro de gravidade do exercício do juízo do ser humano para as ferramentas da inteligência artificial. Transferir a decisão para uma inteligência artificial que exerça uma espécie de "discricionariedade" própria pode, em alguns casos, equivaler a uma dissolução imprópria da discricionariedade ou a uma delegação proibida.
Assim, por exemplo, ocorreu o caso perante nós em que a ISA baseou a sua decisão numa Circular do Diretor-Geral inexistente, resultado da "alucinação" da inteligência artificial, referindo-se às suas várias secções e baseando-se em "citações" detalhadas dessa circular inventada. Não pode haver contestação de que, se a decisão tivesse sido tomada por uma entidade humana, o desfecho do processo administrativo teria sido completamente diferente. Além disso, se a decisão tivesse sido entregue ao recorrente sem os detalhes que nela se baseavam, é possível que ele não tivesse conseguido compreender a falha na sua base.
- Para evitar uma dissolução indevida da autoridade e discricionariedade da autoridade administrativa, o meu colega determina, com razão, que os órgãos administrativos devem exercer controlo humano sobre o produto do sistema e examiná-lo antes de tomar uma decisão. O espírito desta abordagem, conhecido como "humano no circuito", é também utilizado em sistemas jurídicos paralelos (ver, por exemplo, o Artigo 22 do Regulamento Geral de Proteção de Dados da União Europeia; para mais informações sobre as abordagens regulatórias adotadas em direito comparado, veja Ben Green, The Flaws of Policies Requiring Human Oversight of Government Algorithms, 45 L. & Sec. Rev. 1, 4-7 (2022) (doravante: Verde); Aziz Z. Huq, Um Direito a uma Decisão Humana, 106 Va. L. Rev. 611, 620-27 (2020)).
De facto, a supervisão humana pode, entre outras coisas, aumentar a responsabilização e, em alguns casos, melhorar a qualidade e precisão dos produtos do sistema (o Ministério da Inovação, Ciência e Tecnologia e o Ministério da Justiça). Princípios Políticos, Regulatórios e Éticos no Campo da Inteligência Artificial 55-56 (2023) (a seguir: Documento de Política e Regulamentação da Inteligência Artificial)). No entanto, a literatura científica atual mostra que a necessidade de supervisão humana, por si só, está longe de fornecer proteção adequada contra falhas ou erros da IA; e alerta contra a adição de um fator humano à cadeia de decisão, sem ter em conta a complexidade da interface entre humanos e ferramentas de inteligência artificial (ver o artigo a que o meu colega se referiu: Rebecca Crootof, Margot E. Kaminski & W. Nicholson Price II, Humanos no Loop, 76 Água. L. Rev. 429 (2023). Ver também: Lemon, nas pp. 1271-1277; Verde, nas pp. 7-11). Por exemplo, esta interface sofre frequentemente de vieses cognitivos que desafiam a eficácia da supervisão. Alguns supervisores humanos tendem a depender demasiado dos resultados do sistema em vez de exercerem julgamento independente (um fenómeno conhecido como "viés de automação").Viés de automação)). Por outro lado, estudos indicam uma tendência irracional para adiar uma decisão tomada por um sistema de inteligência artificial, mesmo na ausência de justificação para tal (um fenómeno conhecido como aversão algorítmica).Aversão ao algoritmo); Para mais informações sobre estes preconceitos, veja: Marina Chugunova & Daniela Sele, We and It: Uma Revisão Interdisciplinar das Evidências Experimentais sobre Como os Humanos Interagem com Máquinas, 99 J. Comporta-te. & Exp. Economia. 1, 8-9 (2022); Documento de Política e Regulamentação da Inteligência Artificial, p. 57-58). Deve também notar-se que o envolvimento humano, que é feito sem os meios e conhecimentos necessários, muitas vezes carece de uma capacidade real para identificar e corrigir os erros ou preconceitos da inteligência artificial. Noutros casos, pode até prejudicar a qualidade do produto obtido pela inteligência artificial e compensar as suas vantagens (Documento de Política e Regulamentação da Inteligência Artificial, p. 57-56; Verde, na p. 8; Amit Haim, O Estado Administrativo e a Inteligência Artificial: Rumo a uma Lei Interna dos Algoritmos Administrativos, 14 UC Irvine L. Rev. 103, 142 (2024)).
- À luz destas perceções, que são apresentadas em resumo, deve-se ter cuidado para não interpretar o modelo do "homem em loop" como uma mera qualificação para supervisão humana formal. É claro que apenas a supervisão e a análise passiva dos produtos do sistema não devem ser satisfeitas, sendo exigida uma participação mais significativa por parte da Autoridade, para além da obrigação que o meu colega insistiu. Esta obrigação acrescida não é composta por uma única peça, podendo ser assumida e simplificada de acordo com a natureza da decisão administrativa e as características do sistema utilizado. Sem exaustão, este envolvimento pode expressar, entre outras coisas, um uso informado que inclua familiaridade suficiente com as vantagens, limitações e limitações do sistema; E, mais importante ainda – a competência e autoridade para rejeitar as suas recomendações nos casos apropriados (e comparar: Estado v. Loomis, 881 N.W.2d 749, 768-70 (Wis. 2016); Green, nas páginas 6-7). Pode impor o dever de monitorizar continuamente os produtos resultantes, enquanto os examina criticamente, entre outras coisas, na forma como são comparados com decisões humanas semelhantes. Em particular, no que diz respeito a questões que têm um impacto real no indivíduo, como no nosso caso. É possível que este envolvimento comece nas fases do desenho do sistema e do processo de aprendizagem – adaptando as suas características às regras do direito administrativo (ver: Mulligan & Bamberger, p. 773). Por fim, é apropriado que, antes da implementação dos sistemas, as autoridades estatais realizem um procedimento preliminar no qual examinem se a decisão necessária é realmente adequada para a utilização de um modelo de inteligência artificial; e se o modelo específico for suficientemente fiável e apropriado nas suas características para ajudar na tomada dessa decisão (e para as considerações necessárias a este respeito, ver: Citron, pp. 1303-1304; Green, pp. 11-15). Naturalmente, estas conclusões devem ser reiteradas de tempos a tempos, tendo em conta as mudanças tecnológicas e as ferramentas disponíveis para uso.
- Estes comentários estão longe de esgotar o leque de desafios e considerações fundamentais que devem ser tidos em conta ao utilizar ferramentas de inteligência artificial pela administração pública. Estas palavras são um apelo para as questões que certamente ocuparão as autoridades administrativas no futuro, e para as regras que seriam boas se fossem desenhadas como "calcanhar do lado do polegar". É óbvio que a interface de trabalho adequada entre humanos e inteligência artificial depende das circunstâncias. Deve ser concebida com toda a atenção, cuidado e tendo em conta as frequentes mudanças tecnológicas que caracterizam esta tecnologia. Também não é impossível que, tendo em conta o ritmo acelerado de desenvolvimento da tecnologia, os meios acima detalhados um dia se tornem obsoletos, e as obrigações substanciais impostas à Autoridade sejam satisfeitas de formas alternativas que ainda não conhecemos. Como tive oportunidade de salientar noutro caso – "Devemos ter em conta a possibilidade de que as preocupações que somos obrigados a abordar hoje recebam, com o tempo, uma resposta tecnológica satisfatória; e que as regras são adequadas para este período, darão lugar a regras mais atuais e apropriadas" (Caso Anónimo, no parágrafo 26).
Por agora, no entanto, a adoção de ferramentas de IA exige "Fazer uso responsável, cuidadoso e crítico desta tecnologia, compreender as suas capacidades e limitações em profundidade, e ser atualizado periodicamente quanto às suas fraquezas e forças" (עניין Anónimono parágrafo 26). Estas palavras, ditas em relação aos deveres dos advogados, são ainda mais apropriadas quando lidamos com as autoridades estaduais.