{"id":7936,"date":"2024-10-30T16:38:22","date_gmt":"2024-10-30T19:38:22","guid":{"rendered":"https:\/\/aprimora.site\/carvalhoalmeidaadvogados\/2024\/10\/30\/ia-no-judiciario-cuidados-e-transparencia-podem-evoluir-tecnologias-para-todos\/"},"modified":"2024-10-30T16:38:22","modified_gmt":"2024-10-30T19:38:22","slug":"ia-no-judiciario-cuidados-e-transparencia-podem-evoluir-tecnologias-para-todos","status":"publish","type":"post","link":"https:\/\/aprimora.site\/carvalhoalmeidaadvogados\/2024\/10\/30\/ia-no-judiciario-cuidados-e-transparencia-podem-evoluir-tecnologias-para-todos\/","title":{"rendered":"IA no Judici\u00e1rio: cuidados e transpar\u00eancia podem evoluir tecnologias para todos"},"content":{"rendered":"

O Judici\u00e1rio brasileiro possui algumas implementa\u00e7\u00f5es, estudos de casos e bases de dados que j\u00e1 s\u00e3o refer\u00eancias internacionais. Desde a Resolu\u00e7\u00e3o 332 de 2020, que disp\u00f5e sobre a \u00e9tica, a transpar\u00eancia e a governan\u00e7a na produ\u00e7\u00e3o e no uso de intelig\u00eancia artificial<\/a> no Judici\u00e1rio, o Conselho Nacional de Justi\u00e7a (CNJ<\/a>) estabeleceu bases normativas que v\u00eam sendo discutidas como caso n\u00e3o s\u00f3 para o pr\u00f3prio setor, mas para outros grupos interessados nos potenciais e limites do controle social da tecnologia.<\/p>\n

Potencialmente a plataforma nacional Sinapses, que tem como armazenamento, treinamento supervisionado, controle de versionamento, distribui\u00e7\u00e3o e auditoria dos modelos de IA usados pelo Judici\u00e1rio brasileiro, fortalece tamb\u00e9m a abordagem de transpar\u00eancia por outros setores.<\/p>\n

Assine a newsletter \u00daltimas Not\u00edcias do JOTA<\/span> e receba as principais not\u00edcias jur\u00eddicas e pol\u00edticas no seu email<\/a><\/h3>\n

Em um contexto em que o brasileiro ainda demonstra, com raz\u00f5es, desconfian\u00e7a em rela\u00e7\u00e3o \u00e0 IA[1]<\/a>, o entusiasmo disruptivo do Judici\u00e1rio tem sido repetidamente comprovado. O rec\u00e9m-publicado relat\u00f3rio de pesquisa O uso da intelig\u00eancia artificial generativa no Poder Judici\u00e1rio brasileiro<\/em>[2]<\/a> mostrou que quase 50% dos magistrados e servidores j\u00e1 utilizam a tecnologia com alguma frequ\u00eancia de uso. E um dado alarmante \u00e9 que a maioria absoluta utiliza solu\u00e7\u00f5es desenvolvidas pelas big tech<\/em>, notadamente OpenAI, Microsoft e Google.<\/p>\n

Nesse contexto, que ganhou mais urg\u00eancia com a dissemina\u00e7\u00e3o dos grandes modelos de linguagem (LLM), o Grupo de Trabalho sobre Intelig\u00eancia Artificial no Poder Judici\u00e1rio (GTIA) tem revisado a resolu\u00e7\u00e3o. Dois pontos me parecem particularmente interessantes na minuta[3]<\/a> posta \u00e0 escrut\u00ednio p\u00fablico em setembro: a inclus\u00e3o de cap\u00edtulo dedicado a IA generativa e LLMs; e o direcionamento a uma harmoniza\u00e7\u00e3o com o PL 2338\/23<\/a>, a proposta mais avan\u00e7ada de regula\u00e7\u00e3o de IA que temos no Legislativo.<\/p>\n

Na audi\u00eancia p\u00fablica realizada ao final de setembro no CNJ[4]<\/a>, juristas, especialistas convidados e participantes apresentaram uma mir\u00edade de posi\u00e7\u00f5es sobre abordagens de uso, cuidados sobre contrata\u00e7\u00e3o, potenciais e impactos da IA no judici\u00e1rio. Acredito que alguns pontos parecem essenciais para o uso da intelig\u00eancia artificial centralizada em direitos em uma \u00e1rea t\u00e3o nevr\u00e1lgica para a inova\u00e7\u00e3o respons\u00e1vel.<\/p>\n

O primeiro ponto trata do papel da participa\u00e7\u00e3o social ampla e multidisciplinar na an\u00e1lise de potenciais e impactos da IA nos Poderes P\u00fablicos. Parte dos convidados defendeu que a participa\u00e7\u00e3o representativa (Cap. VIII) seja aperfei\u00e7oada e ampliada, considerando o grande potencial de impacto.<\/p>\n

A demanda \u00e9 especialmente relevante se consideramos que os estudos sobre impactos algor\u00edtmicos t\u00eam demonstrado uma enorme dificuldade sobre responsabiliza\u00e7\u00e3o e transpar\u00eancia devido a assimetria de poder entre big techs, startups impulsionadas pelo capital financeiro e o resto da popula\u00e7\u00e3o. Assim, tanto para fins republicanos de controle social quanto para fins de qualidade epist\u00eamica do desenvolvimento, refor\u00e7o tamb\u00e9m o apelo por inclus\u00e3o de mecanismos de participa\u00e7\u00e3o social.<\/p>\n

Parte da pesquisa cr\u00edtica sobre a intelig\u00eancia artificial generativa at\u00e9 recha\u00e7a o termo, preferindo alternativas como, no meu caso, \u201csistemas algor\u00edtmicos derivativos\u201d por considerar que s\u00e3o sistemas desenvolvidos em grande medida sobre enormes bases de dados, extra\u00eddas de ambientes online, em sua maioria sem autoriza\u00e7\u00e3o ou consentimento de autores. Al\u00e9m disso, grande parte dos grandes players da \u00e1rea tem lan\u00e7ado sistemas sem os testes necess\u00e1rios para competir em um mercado ca\u00f3tico.<\/p>\n

Quanto aos grandes modelos de linguagem, algumas not\u00edcias e t\u00edtulos dos artigos podem dar uma no\u00e7\u00e3o sobre as quest\u00f5es em jogo desde que o atual boom da chamada IA generativa acelerou a competi\u00e7\u00e3o entre o oligop\u00f3lio das big techs.<\/p>\n

Alguns exemplos: \u201cGrandes modelos de linguagem propagam cren\u00e7as racistas na medicina\u201d, publicado na Nature[5]<\/a>; \u201cSistema da OpenAI discrimina curr\u00edculos a partir de nomes\u201d, investiga\u00e7\u00e3o da Bloomberg[6]<\/a>; e um preferido meu: \u201cComo uma pedra por dia e bote cola na sua pizza: como a AI da Google se descolou da realidade\u201d[7]<\/a>, reportado por v\u00e1rios ve\u00edculos.<\/p>\n

Os impactos nocivos reais das pr\u00e1ticas problem\u00e1ticas socialmente, seja da chamada IA generativa, seja de outros tipos de implementa\u00e7\u00f5es de aprendizado de m\u00e1quina, est\u00e3o dispon\u00edveis em muitos reposit\u00f3rios[8]<\/a>. S\u00e3o investiga\u00e7\u00f5es feitas por pesquisadores, jornalistas e ativistas, j\u00e1 que as grandes empresas de tecnologia recha\u00e7am ou at\u00e9 punem transpar\u00eancia.<\/p>\n

A partir dos ac\u00famulos sobre impactos algor\u00edtmicos, alguns juristas e ativistas tem aprofundado abordagens de justifica\u00e7\u00e3o e de confian\u00e7a zero para governan\u00e7a de intelig\u00eancia artificial. Um segundo ponto ent\u00e3o \u00e9 que a participa\u00e7\u00e3o social representativa gere tamb\u00e9m o direcionamento para postura ainda mais cuidadosa sobre o uso de IA, como por exemplo a abordagem de justifica\u00e7\u00e3o.<\/p>\n

Nesse panorama, explicabilidade \u00e9 considerada insuficiente. A maioria das abordagens de explicabilidade oferece uma perspectiva limitada por ser intr\u00ednseca e descritiva, focada em m\u00e9tricas internas sem levar em conta fatores institucionais.<\/p>\n

A justifica\u00e7\u00e3o move a agulha para uma abordagem normativa sist\u00eamica. Pasquale e Malgieri[9]<\/a>, por exemplo, entendem a abordagem de justifica\u00e7\u00e3o como indo al\u00e9m de apenas transpar\u00eancia sobre a tecnologia e seus processos, mas de fato uma justifica\u00e7\u00e3o sobre a legalidade, justi\u00e7a, necessidade, precis\u00e3o e legitimidade de certas decis\u00f5es automatizadas antes de qualquer uso ou contrata\u00e7\u00e3o quando se trata de alto risco ou grande escala.<\/p>\n

Do ponto de vista da sociedade civil, podemos citar a proposta de \u201cconfian\u00e7a zero\u201d.\u00a0 As organiza\u00e7\u00f5es que defendem a postura[10]<\/a> consideram que os custos sociais da corporativa pela supremacia da IA \u200b\u200bj\u00e1 est\u00e3o se acumulando \u00e0 medida que as empresas apressam sistemas inseguros para o mercado \u2013 como chatbots propensos a vomitar mentiras com confian\u00e7a \u2013 integrando-os de forma imprudente em produtos e servi\u00e7os essenciais.<\/p>\n

As organiza\u00e7\u00f5es defendem que em vez de confiar na boa vontade das empresas, encarregando as institui\u00e7\u00f5es estatais com recursos insuficientes ou os utilizadores afetados de provar e prevenir danos, ou de confiar em processos de auditoria p\u00f3s-comercializa\u00e7\u00e3o, as empresas devem provar que suas ofertas de IA n\u00e3o s\u00e3o danosas.<\/p>\n

Um terceiro ponto de sugest\u00e3o \u00e9 a adi\u00e7\u00e3o mais expl\u00edcita de considera\u00e7\u00f5es sobre avalia\u00e7\u00e3o de discrimina\u00e7\u00e3o indireta durante os processos de avalia\u00e7\u00e3o, auditoria e an\u00e1lise de impactos, como no Art. 7\u00ba e Art. 8\u00ba C. A Conven\u00e7\u00e3o Americana contra o Racismo, a Discrimina\u00e7\u00e3o Racial e Formas Correlatas de Intoler\u00e2ncia[11]<\/a> estabelece que os Estados devem \u201crealizar pesquisas sobre a natureza, as causas e as manifesta\u00e7\u00f5es do racismo, da discrimina\u00e7\u00e3o racial e formas correlatas de intoler\u00e2ncia; coletar, compilar e divulgar dados sobre a situa\u00e7\u00e3o de grupos ou indiv\u00edduos que sejam v\u00edtimas do racismo, da discrimina\u00e7\u00e3o racial e formas correlatas de intoler\u00e2ncia\u201d. A conven\u00e7\u00e3o, que j\u00e1 possui status de emenda constitucional, considera discrimina\u00e7\u00e3o indireta:<\/p>\n

Aquela que ocorre, em qualquer esfera da vida p\u00fablica ou privada, quando um dispositivo, pr\u00e1tica ou crit\u00e9rio aparentemente neutro tem a capacidade de acarretar uma desvantagem particular para pessoas pertencentes a um grupo espec\u00edfico ou as coloca em desvantagem, a menos que esse dispositivo, pr\u00e1tica ou crit\u00e9rio tenha um objetivo ou justificativa razo\u00e1vel e leg\u00edtima.<\/em><\/p>\n

Mencionando o hist\u00f3rico de casos de impactos nocivos e a tend\u00eancia de sistemas algor\u00edtmicos refor\u00e7ar discrimina\u00e7\u00e3o indireta, o relat\u00f3rio Discrimina\u00e7\u00e3o racial e tecnologias digitais emergentes<\/em>[12]<\/a> produzido pela ent\u00e3o relatora especial da ONU Tendayi Achiume recomendou que \u201ctornar avalia\u00e7\u00f5es de impactos em direitos humanos, igualdade racial e n\u00e3o-discrimina\u00e7\u00e3o um pr\u00e9-requisito para a ado\u00e7\u00e3o de sistemas baseados em tais tecnologias por autoridades p\u00fablicas. Estas avalia\u00e7\u00f5es de impacto devem incorporar oportunidades significativas para codesign e co-implementa\u00e7\u00e3o com representantes de grupos \u00e9tnico-raciais marginalizados\u201d.<\/p>\n

Finalmente, considerando quest\u00f5es de seguran\u00e7a de dados e de soberania digital, parece que o que o \u00f3timo caput do artigo art. 8\u00ba-E que define que os LLM \u201cpoder\u00e3o ser utilizados individualmente pelos magistrados e pelos servidores do Poder Judici\u00e1rio como ferramentas de aux\u00edlio em suas respectivas atividades, desde que o seu acesso seja habilitado, fornecido e monitorado pelos tribunais\u201d v\u00e1 al\u00e9m, em termos de seguran\u00e7a.<\/p>\n

Hoje \u00e9 plenamente poss\u00edvel que modelos de linguagem sejam rodados localmente, a partir de tecnologias abertas e seguras. H\u00e1 muitos desenvolvedores no mundo todo que tem buscado propor abordagens que possam prescindir de presentear as big techs\u00a0com todos nossos dados e poder de enviesar, epistemicamente, decis\u00f5es e ideologias.<\/p>\n

[1]<\/a> Pesquisa recente lan\u00e7ada pelo Instituto IDEIA em parceria com o Brazil Forum UK 2024 demonstrou desconfian\u00e7a dos brasileiros na I.A. Leia an\u00e1lise por Cynthia Picolo e Paula Guedes em\u00a0 https:\/\/desinformante.com.br\/brasileiros-regulacao-ia\/<\/a><\/p>\n

[2]<\/a> Relat\u00f3rio dispon\u00edvel na p\u00e1gina de Pesquisas Judici\u00e1rias do CNJ \u2013 https:\/\/www.cnj.jus.br\/pesquisas-judiciarias\/<\/a><\/p>\n

[3]<\/a> Minuta dispon\u00edvel em: https:\/\/www.cnj.jus.br\/wp-content\/uploads\/2024\/09\/minuta-proposta-resolucao-332-cnj-rev.pdf<\/a><\/p>\n

[4]<\/a> Audi\u00eancia p\u00fablica trata sobre riscos, mecanismos e custos associados ao uso de IA no Judici\u00e1rio https:\/\/www.cnj.jus.br\/audiencia-publica-trata-sobre-riscos-mecanismos-e-custos-associados-ao-uso-de-ia-no-judiciario\/<\/a><\/p>\n

[5]<\/a> Large language models propagate race-based medicine https:\/\/www.nature.com\/articles\/s41746-023-00939-z<\/a><\/p>\n

[6]<\/a> OpenAI\u2019s GPT Is a Recruiter\u2019s Dream Tool. Tests Show There\u2019s Racial Bias https:\/\/www.bloomberg.com\/graphics\/2024-openai-gpt-hiring-racial-discrimination<\/a><\/p>\n

[7]<\/a> Eat a rock a day, put glue on your pizza: how Google\u2019s AI is losing touch with reality https:\/\/theconversation.com\/eat-a-rock-a-day-put-glue-on-your-pizza-how-googles-ai-is-losing-touch-with-reality-230953<\/a><\/p>\n

[8]<\/a> Poderia citar, por exemplo, AI Intersections Database da Mozilla; Artificial Intelligence Database do coletivo Responsible AI Collaborative; AI Incidents Monitor da OCDE; e o que mantenho na plataforma Desvelar.<\/p>\n

[9]<\/a> Licensing high-risk artificial intelligence: Toward ex ante justification for a disruptive technology https:\/\/www.sciencedirect.com\/science\/article\/pii\/S0267364923001097<\/a><\/p>\n

[10]<\/a> Zero Trust AI Governance \u2013 https:\/\/ainowinstitute.org\/publication\/zero-trust-ai-governance<\/a><\/p>\n

[11]<\/a> Conven\u00e7\u00e3o Interamericana contra o Racismo passa a ser adotada no Brasil https:\/\/www12.senado.leg.br\/radio\/1\/noticia\/2022\/01\/11\/convencao-interamericana-contra-o-racismo-passa-a-ser-adotada-no-brasil<\/a><\/p>\n

[12]<\/a> Racial discrimination and emerging digital technologies : a human rights analysis https:\/\/digitallibrary.un.org\/record\/3879751?v=pdf<\/a><\/p>","protected":false},"excerpt":{"rendered":"

O Judici\u00e1rio brasileiro possui algumas implementa\u00e7\u00f5es, estudos de casos e bases de dados que j\u00e1 s\u00e3o refer\u00eancias internacionais. Desde a Resolu\u00e7\u00e3o 332 de 2020, que disp\u00f5e sobre a \u00e9tica, a transpar\u00eancia e a governan\u00e7a na produ\u00e7\u00e3o e no uso de intelig\u00eancia artificial no Judici\u00e1rio, o Conselho Nacional de Justi\u00e7a (CNJ) estabeleceu bases normativas que v\u00eam […]<\/p>\n","protected":false},"author":0,"featured_media":0,"comment_status":"open","ping_status":"open","sticky":false,"template":"","format":"standard","meta":[],"categories":[1],"tags":[],"_links":{"self":[{"href":"https:\/\/aprimora.site\/carvalhoalmeidaadvogados\/wp-json\/wp\/v2\/posts\/7936"}],"collection":[{"href":"https:\/\/aprimora.site\/carvalhoalmeidaadvogados\/wp-json\/wp\/v2\/posts"}],"about":[{"href":"https:\/\/aprimora.site\/carvalhoalmeidaadvogados\/wp-json\/wp\/v2\/types\/post"}],"replies":[{"embeddable":true,"href":"https:\/\/aprimora.site\/carvalhoalmeidaadvogados\/wp-json\/wp\/v2\/comments?post=7936"}],"version-history":[{"count":0,"href":"https:\/\/aprimora.site\/carvalhoalmeidaadvogados\/wp-json\/wp\/v2\/posts\/7936\/revisions"}],"wp:attachment":[{"href":"https:\/\/aprimora.site\/carvalhoalmeidaadvogados\/wp-json\/wp\/v2\/media?parent=7936"}],"wp:term":[{"taxonomy":"category","embeddable":true,"href":"https:\/\/aprimora.site\/carvalhoalmeidaadvogados\/wp-json\/wp\/v2\/categories?post=7936"},{"taxonomy":"post_tag","embeddable":true,"href":"https:\/\/aprimora.site\/carvalhoalmeidaadvogados\/wp-json\/wp\/v2\/tags?post=7936"}],"curies":[{"name":"wp","href":"https:\/\/api.w.org\/{rel}","templated":true}]}}