Unknown

senhoras e senhores boa tarde retomamos neste momento a audiência pública para debater a minuta de ato normativo que dispõe sobre a regulamentação do uso de sistemas de Inteligência Artificial generativa baseada em grandes modelos de linguagem no poder judiciário informamos que para os que participam virtualmente o registro de frequência deve ser feito por meio do link disponibilizado na descrição deste vídeo para quem participa de forma presencial a frequência foi registrada durante o credenciamento as audiências públicas organizadas pelo Conselho Nacional de Justiça seguem formalidades para sua viabilização assim em respeito às tradições desta casa e aos argumentos

defendidos pelos senhores expositores não serão permitidas quaisquer formas de manifestações não previstas e pronunciamentos com temas estranhos à audiência solicitamos que atentem para a limitação de tempo oferecido a cada expositor e instituição credenciada não haverá tempo adicional para reprodução de vídeos ou slides informamos que o cronômetro será acionado ao início de cada exposição para evitar incorreções relacionadas à contagem do tempo para que todos tenham a mesma oportunid pedimos aos participantes que se atenham ao tempo determinado de fala que é de 15 minutos daremos início à mesa um governança transparência e regulamentação de soluções de inteligência

artificial no poder judiciário para a condução dos trabalhos tem a palavra a conselheira Daniela Madeira Boa tarde a todos e a todas eh iniciamos nosso trabalho aqui da audiência pública de inteligência eh artificial no poder judiciário aqui do meu lado o Dr Faustino que também é um grande entusiasta no tema o conselheiro bandeira está a caminho daqui a pouquinho ele estará aqui conosco e vamos agora na nossa na nossa primeira mesa né a mesa de governança transparência regulamentações de soluções EA no poder judiciário eh aqui o objetivo é ouvir várias manifestações para que depois a

gente possa pegar algumas ideias para contribuir para esse Grande Debate que é a utilização da inteligência artificial no poder judiciário eh eu vou pedir eu vou chamando cada um eu vou pedir para que cada um eh respeite o prazo de 15 minutos porque nós temos eh outra mesa logo após a essa e teremos amanhã também então para que a gente não ultrapasse um pouco o tempo assim que finalizar os 15 minutos eh eu vou eu vou também eh sinalizar que tá terminando eh pro primeiro agora para começar nós vamos começar com chamando o Dr Alisson

Alexandro eh ele vai falar sobre tema mecanismos regulatórios para garantia do devido processo legal no uso de Inteligência Artificial pelo Poder Judiciário eh e ele tá aqui de forma é presencial ele é representante do comitê de acompanhamento legislativo do GT de lgpd e inteligência artificial da frente parlamentar do setor de serviços pois não Dr Alon C de 15 minutos Muito obrigado eh primeiramente eu quero saudar o Conselho Nacional de Justiça pela iniciativa de abrir esse debate pra sociedade como um todo Acerca das impressões da da nova minuta elaborada pelo GT de Inteligência Artificial eh representada

aqui na figura da conselheira D Daniela madeira também Saúdo o grupo de trabalho de especialistas do Nacional de Justiça pelo trabalho na nessa nova resolução que conta aí com grandes profissionais que admiro profundamente e por fim eu quero eh saudar a colega Rebeca Azevedo D Rebeca que foi a coautora da pesquisa que Analisa os impactos de Inteligência Artificial sejam elas generativas preditivas ou organizacionais eh perante o princípio do devido processo legal e as garantias processuais eh esse trabalho ele foi publicado no anuário das comissões de proteção de dados e direito digital do Conselho Nacional da

OAB sobre a presidência da Dra Laura cherel Mendes e do Dr Rodrigo Badaró que estavam hoje pela manhã e muito da da minha fala está amparado nessa pesquisa que nós realizamos então num primeiro contexto acerca da nova minuta da resolução ã eu eu quero abordar que enfim evidenciar como a minuta ela demonstra que a abordagem regulatória para Inteligência Artificial baseada em riscos numa regulação assimétrica ela demonstra a adequação de uma estrutura normativa pros usos de Inteligência Artificial Esse é um debate que nós estamos passando no senado com o projeto de lei 2338 e existe muita

discussão A dessa abordagem de riscos e agora com a a a proposta da atualização da resolução número 332 aqui pro poder judiciário mostra como essa abordagem de riscos ela deixa a abertura suficiente para que as regulamentações setoriais específicas elas consigam ã Direcionar para aqueles temas e setoriais específicos em então é é muito bom ver que antes mesmo de uma possível aprovação do de uma lei e que disciplina parâmetros mínimos a a gente tenha como um setor específico pode usar essa mesma abordagem em caráter de complementação então parabenizo aqui a o GT por eh implementar essa

abordagem e conseguir demonstrar que podemos sim regular a inteligência artificial com essa metologia de riscos em uma regulação assimétrica só que chama a atenção que o texto ele foi muito focado com com a possibilidade de danos a a indivíduos e a preocupação com a não discriminação muito utilizando aqui critérios de dados pessoais sensíveis eh Apesar de muito salutar essa preocupação eh como advogado eu não tenho como não ficar preocupado com a falta de de previsões so a observância do devido processo legal e das prerrogativas da advocacia e digo isso porque no final de 2023 nós

já tivemos um caso do uso de ias generativas por um magistrado que ele acabou utilizando uma bu chat GPT para para fazer o voto e no seu voto ali veio uma jurisprudência inventada do do STJ esse caso ele ganhou a mídia no final do ano e e assistindo hoje pela manhã a a fala de abertura A exposição da pesquisa do professor Juliano Maranhão e da sua equipe deixou muito claro da Vontade que os magistrados e os servidores TM eh nesse tipo de ferramenta e fiquei preocupado com algumas Exposições alguns dados e que muitos usam até

para pesquisa de jurisprudência demonstrando a falta de conhecimento sobre as limitações da ferramenta só que esse caso já com aconteceu a questão é que ele foi tão ele chamou tanta atenção eh que rapidamente foi solucionado mas a gente sabe que no poder judiciário eh considerando a quantidade de processos a extensão territorial do Brasil a maior parte desses casos não vai ser solucionada com tanta rapidez se se se for seguir nessa linha eh que acredito que que não irá seguir na época o magistrado ele eh alegou que foi uma falha ah de um servidor que fez

ali o voto e ele por conta da grande quantidade de processos não conseguiu revisar já demonstrando eh um ponto que vai estar nas nas conclusões que mesmo mecanismos de revisão humana eles podem não ser suficiente porque a gente vai acabar gerando um humano Carimbador digamos assim da das minutas Possivelmente geradas então e essa celeridade como como o caso foi foi resolvido a gente sabe que é exceção e a gente não precisa ir muito longe para saber que erros sistêmicos no poder judiciário hoje de sistemas informacionais eh muitos deles estão sendo tratado como matéria de recurso

e aqui eh algumas semanas atrás estava conversando com um colega que me narrou uma situação sem envolver a inteligência artificial envolvendo eh eh o próprio pje se eu não me engano eh em que o foi ele foi instado a apresentar embargos de declaração para solucionar um erro do sistema que reconheceu o decurso de prazo sem a manifestação do do advogado mesmo sem a intimação prévia então ocorreu ali o decurso de prazo o colega Ele ficou desesperado porque nunca havia perdido um um prazo antes ficou desesperado foi atraso do processo encontrou ali que não havia de

fato existido a intimação ligou pra secretaria foi atrás a secretaria falou Doutor embarga um erro de um sistema informacional claro assim era Evidente eh foi tratado como matéria de recurso Isso demonstra que erros de sistemas informacionais eh por mais que os sistemas eles possam ser de uso administrativo de suporte eles podem criar gargalos se forem tratados como matéria recursal eh e aí a gente perde uma parte da utilidade de ferramentas de inteligência artificial com ganho de ciência porque nós vamos criar gargalo nas instâncias superiores por isso que o que eu trago aqui é a necessidade

de implementação de medidas de governança para garantir o devido processo legal e todos os direitos que asseguram a o cumprimento desse princípio eh uma vez que as ferramentas de ia podem gerar erros que vão ser tratadas como matéria de eh matérias recursais criando uma maior demanda pros órg recursais de julgamentos recursais Mas o problema que quando a gente fala de Inteligência Artificial não S só somente os erros aqui o grande foco hoje tem sido a questão da ia generativa porque pode sim trazer um grande ganho de eficiência pro Judiciário eh mas a gente fala também

nas Iá de suporte administrativo sejam elas preditivas ou meramente organizacionais porque por exemplo se pegarmos um Iá que vão fazer parte de buscadores de jurisprudência para indicar aquela jurisprudência mais específica pro caso eh cabível pro caso que o magistrado está está julgando quando a gente tem a a ferramenta da Inteligência Artificial por trás procurando aquela que mais se adequa vai existir uma uma espécie de viés de que de aceitar essa jurisprudência Como aquela melhor que aquela que melhor se adequa sem necessariamente um critério uma revisão ou um critério crítico de questionar se é realmente Aquele

caso eh ou se por exemplo não existem outras visões nós sabemos aqui eh o conselheiro luí Bandeira colegas que que que advm da advocacia que é comum nós temos ali turmas diferentes com entendimentos diferentes acerca do mesmo tema uma inteligência um buscador pros magistrados e pros servidores com um algoritmo de Inteligência Artificial que se propõe a a a entregar a jurisprudência que mais está adequada àquele caso Sem demonstrar que às vezes existem outras outras visões eh diferentes outros entendimentos diferentes nós vamos nós podemos a criar eh uma um fechamento do Poder Judiciário às visões divergentes

e que não são majoritárias cria-se esse reforço quase como uma nós falamos aqui quando se discute as bolhas algorit nas redes sociais nós vamos criar uma quase bolha algoritma dentro do Poder Judiciário porque vamos estar sempre reforçando as mesmas visões os magistrados e os servidores ali com a quantidade imensa de processos muitas vezes não vão procurar se tem ou não tem uma posição divergente eh vão aceitar como uma melhor jurisprudência e nós vamos perder muito aí do da oxigenação e o de fato abertura da Justiça a todos os os advogados e cidadãos por isso que

eh Há uma possibilidade de agravamento de problemas polêmicos na jurisdição brasileira que podem divir do simples reprodução desses resultados indicados algoritmos e essa é uma realidade que infelizmente hoje em dia mesmo sem a inteligência artificial nós já vivemos mas e é um argumento muito comum assim quando nós nós trabalhamos no âmbito de pesquisa trazendo riscos e tal normalmente o pessoal eh eh sempre sempre traz o contraargumento olha mas isso já acontece isso já acontece hoje o ser humano ele é falho ele gera esses erros sim mas no momento em que nós temos algoritmos que tendem

a padronizar Tudo Para uma determinada situação Nós perdemos a abertura para influenciar e trazer novas visões então aqui é uma preocupação muito grande do ponto de vista é da advocacia em se não não não teros essas previsões de de garantir medidas que garantam o devido processo legal a paridade de armas e todos os direitos que que compõe Esse princípio fundamental por isso que eu digo que os mecanismos de revisão humana provavelmente eles não vão ser suficientes para garantir o controle adequado Esse controle adequado os julgadores eles vão ser capazes de ler eh com uma visão

mais crítica tudo aquilo que é indicado pelos algoritmos de Inteligência Artificial eh e essa resposta já foi dada no caso do magistrado do trf1 então não tô falando aqui de de riscos e problemas a médio e longo prazo não eu tô falando de problemas que já podem acontecer e conforme os tribunais vão adotando o sistema de Inteligência Artificial de novo sejam eles generativos sejam eles administrativos eh sem essa visão de garantir eh de trazer mecanismos para garantia desses direitos nós vamos acabar criando problemas que vão que vão gerar ali gargalos muito grande eh em órgãos

revisores e aqui me recordo que eh esse ano final do ano passado H Saiu em várias várias publicações sobre o uso de inteligência artificial no INSS que eh depois que que colocaram paraa revisão se eu não me engano dos de um determinado benefício eh a tomada de decisões foi muito mais rápida mas ela gerou a maior parte delas era negativa pela negação do benefício e acabou gerando um aumento no uso de recursos Então não é a sem essa esse pensamento sistêmico do sistema judiciário como um todo do processo como um todo nós vamos criar mais

problemas do que vamos resolver por isso que eu trago aqui duas sugestões que vão ser vão estar no material enviado eh a ao e-mail do Conselheiro Bandeira e da sua equipe mas que foram tratadas nesse nosso artigo de certa forma o a minuta do do igt Ela traz uma uma previsão semelhante eh quando fala do Conselho eh que vai do Conselho de Inteligência Artificial a questão é que eu vejo como uma possibilidade de aprofundar mais então eu tenho duas sugestões que eh a primeira a inclusão de a previsão de inclusão da OAB do Ministério Público

da defensoria pública e da advocacia pública no geral durante as fases de testes e implementação de sistemas de Inteligência Artificial seja um éli generativa ou para suporte administrativo porque pode com levando em consideração esse grande eh eh possível potencial de impacto negativo na eh no trâmite processual então aqui é realmente uma uma previsão não de um órgão específico a nível Nacional mas que sejam chamados eh as as seccionais das oabs eh as organizações estaduais da Defensoria Pública pelos tribunais estaduais ou pelos trfs para fazer parte ali de um período de t testes antes de que

eh seja de fato implementado o sistema de Inteligência Artificial eh num período de teste para coletar impressões e ver se realmente vai ser serão possíveis essas eh eh se serão eh identificados esses problemas ali do ponto de vistas eh dos Defensores e e advogados e por fim a criação de procedimentos de governança para que usuários naquela eh naquela divisão de internos e externos possam denunciar os erros e o e ou os problemas no uso das inteligências artificiais eh de forma que evitem que essas questões sejam tratadas como matéria recursal aqui eh eu sei que é

uma proposta Talvez um pouco polêmica Porque alguns colegas vão falar que olha vai se criar então um novo Código de Processo Civil focado especificamente Inteligência Artificial dentro de uma resolução do CNJ Mas não é isso a questão é se nós mantivermos todos o o único canal de de de de reclamações e apontamento de erros e problemas dentro do processo nós vamos gerar o problema de que vai ser tudo tratado como matéria recursal eh criando essa esse gargalo na na jurisdição Dr Alisson eh então eu encerro aqui porque era essa a minha contribuição Ah Como disse

o o o o a a contribuição escrita vai ser enviada por e-mail e eu fico à disposição para debates questionamentos dúvidas enfim Muito obrigado obrigada Dr Alisson obrigada pelas contribuições eu registro aqui a presença do nosso querido Presidente é da comissão Conselheiro Bandeira e agora vamos para a segunda eh eh segundo inscrito né que é o tema é colaboração e compartilhamento de informações acerca do uso das soluções de a nós temos aqui o Dr Leon Ferreira de Carvalho que é diretor do Instituto de Ciências Matemáticas e de computação da Universidade de São Paulo D André

Senor tem a palavra por 15 minutos queria parabenizar o CNJ esse evento todo apoio eu queria fazer algumas observações inicialmente eu trabalho JA comun desde 87 ou seja quase 40 anos n comecei a trabalhar com que tá por trás tá o que chama I generativa quereria observar primeiro que eh ia generativa é aprendizado de máquina aprendizado de máquina é uma das subáreas da ia a ia é muito mais do que o chpt do que a generativa do que aprendizado de máquina EA Tem a parte lógica matemática tem a parte robótica deas multiagentes eu queria observar

também que em geral as decisões invadas da El preconceituosas não são por causa do algorítmos são por causa dos dados que são usados para treinar os algoritmos Então os vieses vê dos dados não dos algoritmos e os algoritmos são projetados por seres humanos é claro que eles podem ter a má intenção de prejudicar alguém né mas existem dezenas de milhares de algorit de aprendizado de máquina apenas né e cada um ele vai olhar sobre ótica diferente os dados então por exemplo a preocupação de você ter um único algoritmo único modelo né tirando sempre uma interpretação

Única dos dados ela pode ser evitada quando você usa mais de um algoritmo então Imagine que cada algoritmo como se fosse uma pessoa ele aprende de forma diferente porque tem experiências diferentes a partir dos dados né bom ah é importante observar também que em que Pese a importância regulação da Ia do do cuidado que tem que ter tido com riscos da ia para as pessoas a ia tem o benefício de aumentar o acesso a várias atividades da do que o estado eh provê aos cidadãos como a parte de saúde e a parte legal por exemplo

e é importante observar também que a ia Não Tem Fronteiras ou seja o que pode ser inibido e desenvolvido aqui no Brasil vai ser desenvolvido em outro país então algumas práticas ser olhadas com muito cuidado para não inviabilizar tanto o desenvolvimento quando o uso da a no país eh o que tá acontecendo com ia também parte aconteceu com a computação né eu fiz computação acontece computação dezenas de anos atrás inclusive o computador é chamado de cérebro eletrônico naquela época bom eu quero falar um pouco sobre Minha experiência na parte jurídica né eu trabalhei em dois

projetos já finalizar esse ano um com a câmara dos deputados em Brasília e um com Trial Justiça do Estado de São Paulo os dois usando a aia tá Justiça nós usamos a aa por exemplo Para apoiar o trabalho dos Servidores então a oia nunca deve ser para substituir o ser humano mas sim Para apoiar nas tarefas que são braçais monótonas repetitivas Ou aquelas em outras linhas de trabalho que tem algum risco paraa pessoa no caso do Tribunal de Justiça nós trabalhamos com temas repetitivos tá então fizemos vários modelos de a para abordar vários temas que

pudessem apoiar o trabalho eh de um setor do tribal de justiça que trabalha com processos repetitivos tá então temos ferramentas para classificar o processo em tema os processo pode ter mais de um tempo ao mesmo tempo ser fer para agrupar os processos e que esses grupos podessem evoluir ao longo do tempo eh planificação de subtópicos e o grpos também que e casos de agrupamento onde você usava vários algoritmos diferentes onde cada algoritmo falava sugeria um agrupamento diferente e buscava-se um consenso entre os grupos achados por diferentes algoritmos ajudamos também a criar um grande corpo jurídico

que é usado pelas ferramentas de a na parte legal e na parte jurídica tá que é o tesmo que é disponível amente gratuitamente e trabalhando com a parte sumarização entidades nomeadas Para apoiar o pessoal do TJ e para buscar similaridade de documentos com a câmara doos deputados nós trabalhamos para incluir novas funcionalidades na ferramenta ulices que é uma ferramenta de a que a câmara já tinha e o nome vem em homenagem ao Deputado ulices Guimarães tá então foram ferramentas para apoiar né ou identificar o que as pessoas acham das leis estão sendo votadas e Para

apoiar o trabalho legislativo na hora de propor novas leis né ajudar a ver que leis vão ser eh ah vão ser afetadas por novas leis que estão sendo propostas e Buscar documentos similares Você pode buscar de várias Fontes diferen essa busca é muito importante porque é um trabalho muito pesado pro ser humano às vezes monótono se é até insalubre alguns casos e achar documentos relacionados ao texto que tá sendo votado na Câmara então com isso várias ferramentas que foram incorporadas a ferramenta ulices P EA que pon EA que já existia na câmara dos deputados e

então o que eu quero deixar claro quero deixar claro que aa não é para substituir a ia tem riscos é claro mas esse risc não pode impedir que a gente use os benefícios da ia para avaliar os riscos da ia teve um um encontro no Reino Unido no mesmo lugar onde o Alan T trabalhou na máquina enigma e foi constituído um grupo para a avalia-se os riscos da ia no mundo inteiro porque como eu já falei a ia Não Tem Fronteiras Então esse grupo tem representantes de 29 países o Brasil entre eles das Nações Unidas

e da União Europeia tá esse grupo é coordenado por um do maor especialistas em do mundo que é o Joshua benjo do Canadá trabalha em Montreal eh E esse grupo já propôs um documento Inicial que Tá circulando e a ideia é que os 29 países que fazem parte além da União Europeia vão receber depois um documento feito por esses especialistas tá tem eh 29 especialistas que trabalham na parte mais eh genérica do documento e tem mais alguns assessores na escrita aí a ideia é que esse documento depois seja compartilhado com chefe de estado mas que

não recomend nenhuma ação simplesmente mostre o cenário e quais são os possíveis riscos para que cada país defina Qual seu melhor procedimento aí então esse documento agora vai paraa segunda versão ele foi validado num reunião que teve há pouco tempo EMCU na Coreia do Sul tá e como eu já mencionei o faz parte da elaboração desse documento tá com relação a regulação da ia ela é muito importante Existem várias Vertentes diferentes a Vertentes talvez mais apoiada é vertente da União Europeia que é baseada em risco que o Brasil tá adotando é impossível é é interessante

que o Brasil tem o mesmo cuidado também com a união europeia para não ah cessar ou impedir a inovação tecnológica então nós temos que conciliar né evitar Minimizar os riscos mas ao mesmo tempo gerar benefíci di a população e gerar empregos no País tá então isso é é Um Desafio que é Um Desafio multidisciplinar que envolve pessoas da área jurídica da área tecnológica da área de Ciências Sociais para que encontre a melhor solução para que o país Possivelmente é o melhor Dois Mundos porque tecnologia é difícil você evitar E hoje é ia amanhã pode ser

outra tecnologia também e mesmo ia ela avança tão rapidamente que muito das coisas estão sendo discutidas agora e colocadas na lei não vão existir daqui a poucos anos vão ser outras tecnologias que vão aparecer por causa da evolução rápida que tá acontecendo nessa área como tá acontecendo também em outras áreas como a biotecnologia por exemplo onde você pode criar organismos novos n em laboratório tá então é importante que a ciência e o meio jurídico andem de mãos dadas para que no final o país e o mundo se beneficie né seja nas novas leis seja os

benefícios a opulação ou seja na parte de sustentabilidade tá Então essa é a minha visão que queria dar como pesquisador de a formação na área mais tecnológica na área de computação tá E mais uma vez agradeço e parabenizo o CNJ Obrigada Dr André pela objetividade e concisão que conseguiu fazer a sua eh manifestação e Vamos agora pro próximo inscrito que é o que é sobre modelo de governança para a gestão do processo de desenvolvimento sustentação e uso de soluções Deia orientado pela transparência de auditabilidade criação de regramento sobre política nacional de letramento digital e o

professor jly Nunes está aqui presente que é da Universidade Federal de Minas Professor pelo prazo de 15 dias pelo prazo de 15 dias tempo de 15 dias pelo tempo de 15 minutos pois não Boa tarde a todas Boa tarde para todos primeiramente queria eh parabenizar eh o conselho Nacional de Justiça pela brilhante iniciativa na verdade já é uma prática recorrente porque nós estamos aqui revendo exatamente a resolução eh 332 que é sem dúvidas uma uma regra importante e de Vanguarda eh que nós brasileiros tivemos e seguindo inclusive o movimento de promover uma regulação setorial que

é muito importante eu tenho aqui a a honra de estar representando o Instituto Brasileiro de Direito Processual e o Instituto de direito e inteligência artificial o ideia o ibdp e o ideia e eu vou aqui muito rapidamente pontuar algumas questões atinentes a à proposta já de antemão parabenizando pela excelência do trabalho que vem sendo desenvolvido pelo grupo de trabalho queria saudar aqui tanto a conselheira Daniela madeira o conselheiro Bandeira de Melo o meu queridíssimo amigo Pedro Felipe Desembargador Pedro Felipe Faustino e a todos e todas que tiveram oportunidade de fazer isso bem a as minhas

propostas aqui vão ser muito objetivas a primeira inclusive conversa com algo que já foi dito anteriormente aqui pelo Dr eh Alisson possa que é a necessidade que nós promovamos uma adequação da própria proposta para uma abordagem comp participativa eh e essa proposta vem inclusive do próprio Instituto Brasileiro de Direito Processual nas pessoas dos professores cinela Bueno da professora Flávia Rio do Professor Lúcio Vale que vai ter oportunidade de está aqui conosco também e é a professora Juliana justo que é basicamente o fato de que nós se nós estamos propondo eh uma um regramento que leve

em consideração todos os aspectos do sistema de Justiça nós precisamos levar em consideração a própria interdependência de todos os sujeitos processuais então é uma proposta específica pro artigo 2º inciso terceiro para que além de se colocar a participação entre os tribunais o Conselho Nacional de Justiça se coloque também a obrigatoriedade de participação de repres ent Anes da OAB do Ministério Público da Defensoria com o propósito de com isso promover uma percepção mais Ampla e mais panorâmica dos possíveis riscos que para cada um dos olhares do sistema de Justiça o regramento possa vir a trazer até

porque nós estamos diante como todos sabem e todos os regramentos o eia act o PL 2338 capitaneado pelo Ministro eh pelo Ministro Vilas Boas Cueva pela professora Lara chert é no sentido de pensar na questão de que nós estamos num ambiente de alto risco então é importante ter a participação de todas e todos a segunda questão diz respeito a um problema que também foi suscitado mais cedo pela professora eh Dora Kaufman e faz couro a ela que é a questão em torno do problema da supervisão humana quando nós estamos diante disso a proposta Ela traz

em vários dispositivos do modo como ela está aposta no artigo 2º quto 2 a 7 7f 2 e 19 a necessidade da participação humana e de uma supervisão humana Só que essa questão do mito da supervisão humana e de que a criança de que ela é possível e que ela vai resolver os problemas todos os estudos que trabalham com a inteligência artificial ao longo dos últimos anos Especialmente quando trabalham no âmbito de alto risco como por exemplo é o caso do da darpa envolvendo questões militares e outras questões de alto risco eles colocam o fato

de que nós temos desafios muito grandes No que diz respeito à supervisão humana primeiro é aquilo que costumeiramente a gente falamos de perda de de consciência situacional o professor US garer inclusive mais cedo fez alusão à questão do piloto de Fórmula 1 que se tornaram dependentes demais dos mecanismos tecnológicos dos sistemas de ti então isso pode gerar um problema dessa perda de consciência situacional e a gente tem inclusive um exemplo muito bárbaro que aconteceu entre nós terrível que foi o caso da queda do voo Rio Paris 447 que se deu exatamente por esse excesso de

confiança em relação a isso nós temos também a questão envolvendo a supervisão humana da questão da confiança excessiva com a máquina que é o que todos nós comumente chamamos de viés de automação de modo que especialmente envolvendo modelos avançados Como são os modelos de fundação as eas generativas a todos os estudos mais recentes mostram que a discussão de supervisão humana é problemática se a gente tem problema para discutir a resposta que o eaz nos dá no quando a gente tá fazendo o nosso trajeto que sar quando a gente ganhar costume no uso de um modelo

de a seja por uma questão mais singela que é Inclusive a que eu defendo mais em relação ao judiciário envolvendo gestão administração a própria possibilidade de conhecer o sistema ou de apoio à decisão de modo muito moderado mas como a gente caminha inclusive por uma possível potencialidade de auxílio de um apoio à decisão mais sofisticado que pode gerar Inclusive a indução de comportamento Por parte dos juízes a colocação eh tão somente nesses dispositivos que vai ter supervisão humana sem especificar qual tipo de supervisão humana vai ocorrer é algo muito tico que a gente pode cair

nessas armadilhas que já ocorreram inclusive gerando efeitos muito deletérios em relação a isso então a a proposta aqui nesse aspecto é que se cria uma estratégia de supervisão efetiva e vai entrar Inclusive a questão de monitoramento ativo a questão de revisão periódica feedback de loop e a questão que para mim Talvez seja mais delicada e que eu vou nessa parte final nessa minha brevíssima exposição pontuar é que é a questão do da discussão do próprio uso da ferramenta eu já tive até oportunidade de passar algumas dessas minhas considerações até já publiquei no Linkedin eh algumas

dessas minhas eh preocupações e para minha felicidade elas foram hoje pela manhã inclusive ditas pelo professor Felipe hacker e pelo professor rusgar que são No que diz respeito a algumas limitações do projetado Artigo 8 e do do projeto ele faz alusão de uma possível situação de que possa haver uma um uso dos das Iá que forem habilitadas especialmente aqui eu estou falando das ias generativas dos modelos de fundação dos dos grandes modelos de linguagem e uma vedação de utilização de modelos eh e isso me parece algo que eu entendo perfeitamente a rácio no sentido de

tentar algum criar algum nível de controle mas ao mesmo tempo essas proibições me parecem absolutamente insuficientes como foi dito inclusive pelo professor hacker mais cedo porque nós estamos diante de uma situação de que tentar proibir o uso de um tipo de ferramenta que você tem acesso a ela no seu próprio Smartphone e já temos inclusive inúmeros exemplos de uso inadequado disso cria claramente uma situação de que essa opção eh Legislativa normativa ela é insuficiente e a a colocação no parágrafo terceiro do artigo oavo é de uma colocação de um possível letramento etc é pouco e

a minha proposta ela é um pouco mais ousada de que se coloque um dentro como eixo fundamental da da alteração Legislativa da reforma da 332 a criação de uma política nacional de El letramento digital Ou seja que seja imperativo que isso seja colocado inclusive o relatório apresentado mais cedo que mostra claramente que há um interesse de todos os profissionais usarem e eles já usam muitos usam e como a própria pesquisa apresentada pelo professor Juliano Maranhão mais cedo demonstrou as pessoas usam e não contam e como a gente vê essa situação o letramento digital tem que

ser um eixo fundamental da proposta Porque sem isso a gente não vai conseguir resolver os grandes problemas a gente tem que ter uma compreensão fundamental de como é que funciona EA é que nós estamos diante de modelos que são probabilísticos eles não dão uma resposta pronta eles especialmente um chpt um gemeni um cloue eles são não são eh modelos plug and play você tem que ter uma eh é uma questão em torno da configuração até para evitar que se enviem dados sensíveis do Poder Judiciário eh e outros aspectos problemáticos inclusive para que eu tenha possibilidad

de customização do uso de as o ministro Barroso mais cedo Falou inclusive que vem sendo utilizado paraa elaboração de mentas customizações de GPT para fazer as ementas nos moldes que o próprio eh próprio CNJ idealizou Então a gente tem um problema eh para promover a proteção de dados para que tenha essa supervisão humana e efetivamente pra redução dos dos riscos e percebam a grande maioria dos problemas que a gente tem na atualidade pelo uso da ia são problemas de mau uso da ferramenta não é o problema da ferramenta em si eh a ferramenta obviamente ela

tem questões intrínsecas como a questão das alucinações o problema dos vieses que é um um velho conhecido mas questões envolvendo civ segurança vazamento de dados e usos inadequados inclusive para ferramentas que não são ferramentas de search de procura como Google e sem falar da falta de própria percepção de que eu preciso pensar num letramento digital buscando maior segurança maior Equidade maior confiança do próprio uso dessas ferramentas então sem a criação dessa política nós vamos ter eh e a colocação só pontual de que há de se criar manual de boas práticas eh H há de se

estabelecer que a gente estabelece como no 8f eh privacy by design privacy by Def é algo que se a pessoa não tiver um letramento adequado um treinamento periódico eh e uma supervisão humana genuína nós não vamos conseguir efetivamente implementar então eh percebam eh que a essa minha breve contribuição aqui em nome do ibdp em nome do Instituto de direito e inteligência artificial do ideia é exatamente no sentido de buscar claramente no sentido de contribuir para essa aprimoramento e E mais uma vez parabenizando o Conselho Nacional de J Justiça pela Excel pelo excelente trabalho que vem

fazendo eu já tive oportunidade inclusive de passar o link dessas minhas considerações pro Conselheiro Bandeira de Melo num grupo de discussão que nós estamos eh conjuntamente e espero que ao fim nós tenhamos a possibilidade de mais uma vez estarmos na Vanguarda não só da do próprio uso dessas tecnologias de informação e comunicação da Inteligência Artificial tanto preditiva quanto generativa mas que a gente possa fazer isso mediante uma implementação responsável e como disse o Desembargador Pedro Felipe mais cedo respeitando os direitos fundamentais Muito obrigado obrigada Professor pelas intervenções né bem cirúrgicas né pontuais que muito contribuíram

Vamos agora para nosso quarto inscrito que é a Dra Isabela Alves Jorge banc que ela é advogada e pesquisadora da Universidade Federal de Juiz de Fora ela vai dar um enfoque aqui no princípio da Transparência me para garantir transparência no uso e desenvolvimento da i direito à explicação e explicabilidade algoritma com a palavra D isab bom dia a todos e todas cumprimento especialment da mesa os membros do grupo de trabalho sobre inteligência artificial no poder judicio e todos os que porventura este ass ento de forma presen EUA possib audencia pública eh inicialmente Eu gostaria de

falar sobre o contexto no qual eu estou tendo em vista que as posições a qual as quais eu ocupo hoje são importantes paraa minha fala eu sou Mestrando em direito e inovação pela Universidade Federal do J de Fora sendo objeto da minha pesquisa o direito e explicação em Sistemas Dea partindo de uma perspectiva da proteção dos Direitos humanos também eu sou pesquisadora do grupo de pesquisa pessoa e inovação de direito e do projeto de pesquisa Inovação de direito na inteligência inteligência artificial mapeamento nor ativo e análise de impacto para o exercício de direitos fundamentais que

é vinculado ao CNPQ Universal Além disso eu trabalho no tjm na equipe de privacidade e proteção de dados realizando a adequação do tribunal lgpd nesse ponto destaco a minha atuação no desenvolvimento de metodologia de incorporação do privacy by design projetos iniciativas e contratações que envolvem o tratamento de dados pessoais de alto risco incluindo iniciativas que utilizam tecnologi JA no TJMG essa atuação pelo tribunal e o programa de privacidade foi regulamentado com resolução número 1075 deste ano que consolida as medidas de governância de dados pessoais e aí eu convido a todos a lerem esse documento bom

antes de iniciar a minha fala eu adotarei dois pressupostos o primeiro deles é que a tecnologia não é neutra porque ela é sempre baseada no seu contexto na sua aplicação e nas realidades materiais que ela está envolvida ela pode gerar discriminações e adotar vieses gerando consequências reais para os usuários para as pessoas afetadas por esse sistema o segundo pressuposto é que a inteligência artificial não é um campo mágico Mas é uma área de conhecimento de forma bem simplificada o sistema de a funciona como um sistema que recebe um conjunto de dados para ser treinado detecta

padrões nesse conjunto e aprende a realizar determinadas classificações e previsões a partir de um modelo probabilístico posteriormente outros dados serão inseridos para que ele trate segundo o padrão padrão aprendido e assim verá um resultado de saída com avanço da tecnologia principalmente da ia generativa os algoritmos não são mais simples sequências lógicas de instruções estáticas há uma dinamicidade e adaptabilidade envolvendo seus modelos de aprendizagem ao mesmo tempo que aprendem selecionam avaliam transformam produzem dados e conhecimento de forma determinística ou explor bom em contexto de crescente uso de sistemas de a entre as decisões automatizados possuem Impacto

significativo no Exercício no acesso a direitos fundamentais sust a necessidade de um mecanismo normativo que Garanta aos titulares de a proteção efetiva de seus direitos uma vez que a opacidade dessa tecnologia impede que as pessoas compreendem como seus dados são tratados e principalmente como as suas vidas são impactadas pelas decisões que são tomadas por esse sistemas quando falamos do uso de tecnologias de a em um sistema judicial essa necessidade é ainda maior pamos que considerar o papel social que o judiciário õ principalmente no impacto na vida das pessoas e no acesso a dados e direitos

fundamentais há inúmeros exemplos da utilização de anos judiciário seja para perfeitamento de jurisprudência seja para criação utilização de chatbot para facilitar o acesso a processos judiciais diante desse contexto surge a necessidade de explicar como Essas tecnologias funcionam e aqui entra a explicabilidade sobre o ponto de vista de uma interpretação sistemática da lgpd já é possível defender a existência desse direito a explicar ou a explicabilidade algorítmica que pode ser definido como o direito de receber informações suficientes e inteligíveis que permitam a titular de dados e a sociedade entenderem compreenderem dentro do seu respectivo contexto e limites

de cognição a lógica a forma os critérios utilizados para tratar dados pessoais e a partir dessa explicação prever antever os seus impactos com fim de evitar práticas discriminatórias ilegítimas indesejadas que podem ter impacto no plano individual e coletivo para que possam ainda ser desafiadas E revisadas no meio por meio do exercício de direitos e do devido processo a explicação portanto está relacionada com o empoderamento do indivíduo e da sociedade com informações úteis sobre processos automatizados que permitam entender esse essa esse funcionamento de tomada de decisão que impacta na sua vida o principal desafio não é

justificar a existência desse direito na ordem legal mas sim como garantir a efetividade desse direito na prática ainda que existam limitações técnicas para a explicabilidade como a opacidade algorítmica o segredo de negócio e a complexidade inerente aos sistemas de a e aprendizado de Mag existem mecanismos que podem nos auxiliar a superar de alguma medida a dar efetividade ao direito explicação a partir de mecanismos jurídicos já existência uma dessas maneiras é pelos mecanismos de Transparência o principal objetivo do Direito à explicação é fornecer às pessoas a possibilidade de entender como as decisões de algoritmas São tomadas

e sim garantir e conquistar a confiança das pessoas perante aquele sistema assim como uma decisão judicial deve ser fundamentada sobre pena de inidade as decisões tomadas por algoritmos também devem ser explicadas as pessoas devem entender Qual a lógica o por e como se chegou aquele resultado grande parte da construção do sistema de a é garantir a confiabilidade ou seja as pessoas precisam compreender como elas funcionam como elas podem ter controle sobre os sist temas e consequentemente aos seus dados e exercer o seu direito autodeterminação informativa no contexto de assimetria de poder entre o cidadão e

o Poder Judiciário garantir a confiabilidade se torna ainda mais importante para fortalecimento da instituição e do papel que ela desempenha o objetivo da explicação não é dar acesso a acesso total às informações à operações aos critérios e aos elementos pelo qual a máquina opera a transparência possui esse papel o objetivo da explicabilidade é produzir uma comunicação entre o algoritmo e as pessoas afetadas por essas decisões em que a máquina fornece a resposta capazes de garantir ao titular ao titular o controle de sua informação a máquina precisa ser se tornar um meio de metacomunicação entre os

algoritmos e os os usuários pessoas ou grupos afetados um dos caminhos para garantir o equilíbrio entre a explicação algorítmica e de a dificuldade técnica explicada é a análise e a transparência gradual com base na sua correlação com a intervenção humana apesar da explicação está profundamente ligada transparência esses dois mecanismos não devem se confundir as explicações vão além da busca e da apresentação de associações e causas de evidência que também são contextuais o fornecimento de informações deve ser feita de acordo com o destinatário seja ele autoridades Engenheiros usuários e pessoas afetadas por aquele sistema diante diante

disso entende que as explicações são as comunicativos A pesquisadora Italiana el expósito traz que as explicações podem ser observadas como uma forma em específica de comunicação o seu principal argumento é de que do ponto de vista de uma teoria sociológica a relação entre os conceito de transparência e explicabilidade pode servirse de uma maneira diferente a explicabilidade não requer necessariamente transparência transparência ou interpretabilidade se refere às informações e as habilidades suficientes sobre sobre a máquina o que ela faz o porqu e outras informações importantes explicabilidade não se refere a uma característica física dos sistemas Mas o

comportamento ativo de algum deles que possuem procedimentos para fornecer aos usuários explicações sobre o seu funcionamento a estratégia para explicabilidade seria então diferente da busca pela transparência o objetivo é produzir uma comunicação entre o algorítmico e a o usuário pessoas ou grupos afetados pelo sistema permitindo o controle mesmo sobre condições zopacas já o professor Luciano bid defende o modelo tridimensional da da explicação que foca na precisão da explicação levar em consideração do sujeito na simplicidade da explicação explicação de mais e transparência de mais nem sempre pode ser útil e na relevância da explicação o contexto

e o destinatário daquela explicação mas como garantir a explicabilidade algorítmo e o direito a revisão em Sistemas de as regulamentações como essa que está em discussão hoje deve deve visar a eficácia de medidas técnicas regulatórias sobre transparência algorítmica e o impacto desses desses ireito liberdades fundamentais e como podem e devem ser compatibilizadas com limitações cognitivas do sujeito de direito e com instrumento jurídico É nesse contexto que entram os mecanismos de Transparência onde nas legislações de proteção de dados são garantias de que os titulares tenham informações Claras precisas e facilmente acessíveis sobre a realização do tratamento

a transparência se coloca como um elemento fundamental para que terceiros possam obter elementos críticos para sua avaliação ética seus impactos sociais e econômicos e suas consequências jurídicas a transparência é um veículo social de prestação de contas de accountability e assegura a autonomia das pessoas envolvidas portanto a transparência é o elemento Central para uso e no desenvolvimento de um aá confiável que incorpora valores de confiabilidade não discriminação justiça e Equidade proteção de dados pessoais e responsabilidade o princípio da Transparência ajuda a garantir que a i não seja Us seja usada de maneira ética e que respeite

direitos e autonomia das pessoas envolvidas uma das maneiras que se pode garantir a transparência e identificar potenciais vies ou erros é a auditoria regular de algoritmos a auditoria algorítmica envolve avaliar o processo de tomada de decisão entradas e saídas de dados para deputar qualquer injustiça discriminação ou preocupações a a documentação de processos fontes de dados métodos suposições limitações e opções que Mud os sistemas também também podem ajudar a a garantir a transparência e consequentemente a explicação a transparência não é apenas uma questão técnica mas também social é é importante frisar que a transparência técnica nem

sempre leva explicabilidade o processo de raciocínio de um algoritmo nem sempre é fácil de compreender a ia é construída de códigos e equações matemáticas Como já foi dito aqui anteriormente portanto em muitos casos a escabilidade ela é mais importante que a transparência técnica pois falamos de comunicação Principalmente quando esse sistema se relaciona com a pessoa e grupos em que seus direitos e liberdades fundamentais são afetados pelas decisões feitas ou apoiadas por algoritmos nesse ponto eu destaco que as obrigações de transparências constituem um passo fundamental para garantia da explicabilidade mas desses dois mas desses dois conceitos

mais uma vez não se confundem obrigações de fornecimento de informações por si só podem não ser tão úteis para se realmente entender como um algoritmo funciona como o processo automatizado se dá ao ponto que se possa entender o impacto que isso terá no indivíduo em direitos e liberdades fundamentais da sociedade sobretudo quando ess quando estes estão nas mãos do Poder Judiciário caminhando pro final da minha fala o uso de sistemas de a por parte do setor público deve ser acompanhado de mecanismos periódicos de avaliação monitoramento e prestação de contas durante todo do seu ciclo de

vida o princípio da Transparência e explicabilidade algorítmica devem ser considerados para evitar abusos e discriminações geradas pela tecnologia incluindo informações sobre riscos ou abusos identificados medidas de mitigação ou reparação previstas assim como a justificativa para continuidade ou interrupção das iniciativas em curso as medidas de transparência e da explicabilidade algorítmica são essenciais para manter a confiabilidade por parte da sociedade no poder judiciário é de extrema importância que a luta de de uso viá judiciário Garanta de forma explícita que o usuário as pessoas ou grupos afetados pelos decisões de sistema de a que possuem impacto nos seus

direitos e garantias fundamentais tenham direito a obter explicações inteligíveis do processo dos processos decisórios com a garantia da revisão humana por fim devem ser definidos padrões mínimos de Transparência para o sistemas de a em consonância com as legislações vigentes principalmente para aqueles sistemas que possui um impacto direto na vida das pessoas a comunicação com a área técnica também é imprescindível em todos os casos bom cono eu termino minha fala agradeço a oportunidade e eu fico à disposição para esir qualquer um dos pantos apresentados no debate obrigada obrigada D Isabela eh pelas contribuições Vamos agora para

o professor João Araújo Monteiro Neto eh da universidade Fortaleza que vai abordar o tema de especificação de Framework de governança para garantir decisões apoiadas por ia justas imparciais e livres de preconceito assegurando transparência e governança de dados e com a palavra Professor muito boa tarde a todos todas e todes eh eu antes de iniciar a minha ponderação gostaria de agradecer a oportunidade de poder participar de um evento tão significativo como esse e poder de certa forma contribuir para o amadurecimento do processo de governança da utilização de um ter Vian artificial no judiciário brasileiro assim agradeço

a oportunidade e parabenizo a conselheira D Daniela pela presidência dos trabalhos nesse momento e também na figura do Conselheiro Bandeira a coordenação dos trabalhos que levaram a revisitação de um documento tão importante como o que nós agora discutimos antes de apresentar as minhas singelas contribuições gostaria apenas de registrar uma perspectiva sobre o meu ponto de fala como já muito bem foi colocada pela colega que apresentou anteriormente a Dra ao mesmo tempo parabenizar o professor dierle o professor André Carlos e o Dr Alisson pelas ponderações que foram feitas anteriormente eu faço parte de um pequeno grupo

de pesquisadores localizados aqui em Fortaleza no Estado do Ceará que tem trabalhado com o desenvolvimento de modelos de Inteligência Artificial aplicados ao judiciário brasileiro nos últimos 5 anos sendo hoje e responsável por um conjunto de modelos que estão tanto na plataforma sinapses como também em uso no Tribunal de Justiça do Estado do Ceará Ana Alice Aila e Sara são esses modelos o que de per si já indica um viés de gênero que pode ser discutido em outros momentos mas ao mesmo tempo me indica que desde o início das nossas atividades e a o desenvolvimento desses

modelos existia uma preocupação do grupo que no qual eu faço parte com a simplicidade das regras que existiam estruturando o desenvolvimento e a aplicação de modelos de ia no judiciário brasileiro na redação original da resolução 332 que hoje passa por um avanço significativo era a proposta que foi circulada e uida por esse grupo de trabalho eh traz um conjunto de regras muito importantes para que possamos garantir aí a construção de modelos e a operação de modelos de ia compatíveis com os valores estabelecidos na nossa Constituição e que regem a atividade de distribuir justiça como uma

atividade primordial do Judiciário brasileiro e dentro desse cenário caros conselheiros e a audiência que nos segue hoje Acabei de verificar no YouTube temos quase que 200 pessoas assistindo e acredito que algumas pessoas presencialmente eh no espaço do Conselho Nacional de Justiça a uma premente necessidade da construção de mecanismos mais objetivos de avaliação e monitoramento não só do desenvolvimento de ferramentas de ia mas como muito bem colocado pelo professor André Carlos dos grandes data lakes Como podemos ter no codex ou outros espaços de armazenamento de dados que são usados nesse processo de treinamento e educação dos

modelos que hoje são utilizados no judiciário brasileiro então uma das perspectivas que pelo menos tencionamos contribuir e vamos enviar de maneira formal é a indicação de um Framework que apresenta dimensões que devem ser observadas e processos que devem ser executados para por exemplo proteger o processo de não discriminação na utilização de modelos de inteligência artificial no judiciário usando para tal mecanismo de auditoria dos modelos e a obtenção de feedback de todos os usuários envolvidos por meio de metodologias pré-estabelecidas de avaliação uma segunda dimensão de publicidade e transparência do qual podemos aprender bastante com as regras

que hoje já se tem em prática na justiça eleitoral aplicadas por exemplo à publicidade onde é indispensável que o cidadão tome conhecimento que o processo judicial no qual ele é parte em algum momento faz uso de modelo de Inteligência Artificial ou de algum processo de robotização inteligente o que significa dizer que temos que ter uma política de divulgação mais Ampla dessas informações ao mesmo tempo documentação dos riscos e dos resultados dos planos de ação para a mitigação desses riscos uma Terceira Dimensão perdão um terceiro componente importante da Publicidade e transparência faz parte Como já foi

explorado fartamente pela colega Isabela da necessidade da estruturação de mecanismos de explicabilidade que sejam capazes de minimamente indicar qual foi o processo tomado né na tomada de decisão ou na realização do ato isso pode se fazer por meio de avaliação de políticas entrevistas avaliação de documentação e at até mesmo auditorias existe um elemento importante uma dimensão de governança que deve levar em consideração a existência de estruturas mínimas processos procedimentos mas recomendo fortemente à luz da experiência europeia a indicação de Oficiais de governança aplicados a ou profissionais como hoje se tem no modelo brasileiro Associados à

proteção de dados pessoais temos que pensar na construção de um conjunto de profissionais responsáveis pela conformidade desses modelos de Inteligência Artificial uma dimensão quase que indispensvel hoje em de avaliação da segurança desses modelos no que tange a com garantir a confidencialidade integridade e disponibilidade não só do modelo em si mas ao mesmo tempo das estruturas de dados que por ele são tratadas e por fim uma dimensão de responsabilização e prestação de contas que exige aí que tenhamos processos para monitorar constantemente como esses modelos estão funcionando os agentes responsáveis e ao mesmo tempo que medidas de

correção podem ser adotadas mas senhora coordenadora conselheira Daniela aproveitando ainda o pouco tempo que me resta eu gostaria de trazer algumas considerações ao instrumento normativo propriamente dito levando em consideração esse Framework e serão considerações bem práticas e bem objetivas O primeiro é que fica claro que o modelo de regulamentação adotado prestigia o que na área de governança de tecnologia se convencionou chamar do modelo fat Fair accountable transparent e que necessariamente devemos incluir o elemento ético o étic e o s a quadrado digamos assim de secure e social ou voltado para o social e ao mesmo

tempo seguro não faz sentido construirmos modelos de inteligência que apenas olhem para da produtividade sem contribuir para a construção de uma Justiça mais justa ao mesmo tempo do ponto de vista prático é importante que instrumentos regulatórios atentem-se para a necessidade de indicação de critérios de explicabilidade mínimo que sejam correlacionados com o risco e a complexidade dos modelos de I são adotados temos que pensar em mecanismos de descomissionamento desses modelos o que faremos com esses modelos quando eles se tornarem ultrapassados ou perderem o que normalmente acontece a sua curva de eficiência um ponto que merece atenção

que deve ser observado pelo grupo de trabalho é a necessidade da criação de regras de transição para os chamados modelos legados os que já estão em aplicação e que precisarão ser ser adaptados à nova regulamentação também acho que seria muito pertinente a percepção de que a estrutura de governança desenhada no artigo 8º A Deva possuir uma abordagem mais multisetorial ou multi stakeholder levando em consideração uma participação mais ativa dos representantes da sociedade civil e também daqueles que fazem parte da academia e do setor que apoia a construção desses modelos observando aí muito bem o que

nós temos com uma iniciativa de sucesso celebrada internacionalmente no comitê gestor da internet do Brasil precisamos ao mesmo tempo chegar a um consenso para evitar alguns dos problemas sérios que tivemos da descentraliza do processo judicial eletrônico e o surgimento de vários modelos de processo judicial eletrônico numa percepção de governança respeitando a autonomia dos membros do Poder Judiciário dos órgãos do Poder Judiciário dos demais tribunais mas uma governança que tenha regras de controle de ia mais centralizada e por fim deixo aqui uma provocação e me me assombra já há um bom tempo de que o desenvolvimento

desse tipo de tecnologia hoje em dia apesar dos riscos vem sendo identificados e já foram de certa forma apontados pelos colegas que já passaram por esse espaço Também merece uma reflexão do que até que ponto não estamos caminhando para uma flexibilização do antropocentrismo jurídico ou o processo do que somente o homem pode construir e dizer o direito e dentro desse cenário mecanismos de governança bem estruturados e eficientes e contando aí com uma participação social ou dos representantes dos diferentes segmentos da sociedade pode ser um mecanismo importante para a mitigação desses riscos que muitas vezes nós

avaliamos no processo de estudo análise e desenvolvimento de modelo de Inteligência Artificial agradeço mais uma vez a oportunidade pela contribuição e respeitando o tempo que foi proposto encerro a minha participação Obrigada Professor realmente eh muito boas as contribuições Eh vamos então para o sexto inscrito que é a Dra Juliana professora Juliana justo Botelho castelo da faculdade de ensino superior de Linhares ela vai eh tratar do tema necessidade de Protocolos de auditabilidade com segregação de função funções e conformidade ética e normativa nas ferramentas de a com a palavra Professora boa tarde a todos eu cumprimento a

mesa cumprimento os presentes cumprimento aqueles que nos assistem remotamente eu quero agradecer essa oportunidade essa honra desse diálogo com o Conselho Nacional de Justiça e também agradecer que ao lado dos meus colegas professor di que falou anteriormente aqui Professor Luiz Vale estão representando o ibdp Instituto Brasileiro de Direito Processual nessa audiência para trazer aqui alguns aportes e algumas e algumas contribuições noito do Direito Processual para minutos de resolução 332/2020 do CNJ a princípio eh eu parabenizo do CNJ pela pelas pela iniciativa e pela pela eh pelo momento adequado para avançar nas discussões envolvendo as ferramentas

de inteligência artificial pelo avanço significativo dessas ferramentas em uso no poder judiciário no momento atual e o meu objetivo hoje metodologicamente dirigido é em relação à auditoria Os Protocolos de auditabilidade que estão previstos de forma inédita não havia isso na previsão anterior da resolução 382 no capítulo nono da nova minuta e essa nova minuta Ela traz Protocolos de auditabilidade serão definidos pelo comitê de Inteligência Artificial e também uma metodologia de auditabilidade e eu quero eh eh mencionar três pontos que para mim são os pilares quando a gente aborda essa metodologia de de auditabilidade no âmbito

das Ferramentas de Inteligência Artificial primeiro a importância da segregação de funções eh talvez prever isso expressamente porque a a a resolução minuta de resolução ela faz um reenvio regulatório o comitê diz que posteriormente irá definir a metodologia de estabilidade e pensamos que seria muito interessante que essa segregação de funções já viesse prevista diretamente no corpo da resolução 332 do CNJ eu já vou explicar a razão para isso né então primeiro ponto é segregação de funções o segundo ponto que a gente quer chamar atenção aqui é a questão da categorização de riscos lá no artigo 7C

7D 7 é da resolução e a sua correspondente no artigo 25 que é da auditoria não há ali uma uma uma um alinhamento muito fino uma sintonia muito fina entre a governança e a categorização de risco e o protocolo de auditabilidade então a gente também tem um algumas sugestões para abordar nesse aspecto específico da categorização de risco e a sua correspondência e por fim falar sobre a metodologia de aferição da da Auto estabilidade e trazer eh uma previsão na verdade a resolução já traz essa televisão que é a centralidade da pessoa humana mas Trazer isso

também pro bojo da auditoria no sentido de que essa auditoria ela tem que ser centrada no ser humano e voltada a aferir os impactos sociais tanto no jurisdicionado como também na administração judiciária Então são os três pontos segregação categorização de riscos e a avaliação de auditabilidade baseada e centrada no usuário primeiro segregação né a ideia de segregação de funções e a sugestão de que ela fique expressamente colocada incluída no artigo 25 da minuta de resolução É no sentido de que aquele agente público ou aquela equipe Ou aquele comitê responsável pela governança das Ferramentas soluções e

modelos de Inteligência Artificial não deve ser a mesma equipe responsável pela auditoria desses mesmos modelos por uma razão de moralidade e também por uma razão para evitar os vieses de confirmação o tribunal adota e governa uma ferramenta e depois ele audita essa mesma ferramenta o ideal para uma questão de moralidade administrativa e até mesmo eficiência dessa revisibilidade é colocar essa tarefa para uma outra equipe e sugerindo já aqui que essa equipe seja na forma de uma Third Party audit Ou seja que seja uma equipe interinstitucional a qual envolva todos os sujeitos processuais Ministério Público Defensoria

Pública os demais tribunais e que essa avaliação seja independente ela seja deslocada ou desalinhada com a governança não no sentido de que ela seria totalmente Imparcial e independente então primeira sugestão é a sugestão da segregação de funções já prevista lá no artigo 25 da resolução 332 a segunda sugestão e claro é feita aqui a título de Mero aperfeiçoamento para contribuir dialogicamente com CJ a segunda sugestão é a questão da categorização de riscos lá no artigo 7C 7D 7 D 7e é uma categorização de riscos em alto e baixo risco essa classificação Ela não é uma

classificação esté é uma classificação instrumental Por que que ela é uma classificação instrumental porque a depender da classificação de risco há todo um estatuto protetivo para aquele tipo de risco então se eu tô se eu classifico uma determinada atividade ou ferramenta como alto risco eu vou ter ali uma avaliação de impacto algoritmo que vai incidir sobre essa ferramenta então a classificação a categorização importa e nesse sentido nós visualizamos ali que seria interessante dividir esse risco em dois parâmetros para que eles não fossem classificados eh conjuntamente uma coisa é o risco do algoritmo em si mesmo

considerado o algoritmo ele já tá aliem bebido do Risco principalmente algoritmos que tem coleta de dados perfil comportamental e que vai afetar diretamente os direitos e garantias fundamentais daquela pessoa que foi afetada e que teve os seus dados coletados pro uso daquela ferramenta e o segundo risco é o risco que nos atinge mais diretamente noito processual que é o risco da interação máquina que a interação do usuário com a máquina Então existe o risco embebido no algoritmo e existe o risco da interação por que que isso importa na auditabilidade porque essa divisão de risco o

risco que tá embebido e incorporado no próprio código e o risco que atinge a interação homem usuário administração judiciária em máquina esse risco ele exige como o professor J muito bem colocou o letramento digital e as ferramentas de revisibilidade e avaliação de impacto vai ser diferente a depender do Risco na medida em que esses riscos estão eh eh classificados em conjunto sem fazer essa diferenciação do Risco do algoritmo e do risco da interação H em máquina é possível que posteriormente na auditabilidade a gente tem impactos de imputação né a o fornecedor o provedor de tecnologia

vai culpar o usuário o usuário vai culpar a ferramenta e a gente aí vai ter um problema de accountability não um problema de imputar responsabilidade Então essaa segunda sugestão a terceira sugestão é uma auditabilidade centrada e empírica no usuário a gente vê lá nos princípios da resolução 332 uma série de de princípios e nas quais consta o princípio da centralidade na pessoa humana e Esse princípio da centralidade da pessoa humana eh ele não é repetido ao longo da minuta e uma sugestão interessante nesse sentido é que a gente possa eh pensar numa avaliação de auditabilidade

de auditoria centrada no no ser humano para que essa auditoria não seja meramente uma aferição documental e formal Em que sentido né a gente tem uma auditoria que vai pegar o trabalho da equipe de governança e vai fazer uma aferição meramente documental meramente formal verificando se o trabalho observou aquelas orientações e aqueles protocolos internos técnicos que foram definidos pela governança uma auditoria centrada no usuário Pensa nessa nessa avaliação de conformidade com base nos impactos que isso vai gerar tanto no jurisdicionado como também na administração judiciária a gente tem caso teve uma pesquisa da da de

uma pesquisadora chamada Alice devos que ela analisou um software que fazia predição de reincidência criminal nos Estados Unidos e essa pesquisa dela revelou ã um viés discriminatório que só foi possível ser percebido na medida em que a pesquisa foi empírica e diretamente visualizando o impacto do usuário porque na revisão meramente formal e documental dos protocolos internos isso não foi percebido naquela ocasião daí a importância dessa avaliação empírico pragmática voltada pro jurisdicionado e paraa administração eh judiciária Essas são grande parte das nossas considerações Eh cingindo aí em três pontos né segregação de funções eh categorização de

riscos e divisão do Risco risco do algoritmo e risco da Interação em máquina e por fim uma auditabilidade centrada no usuário no jurisdicionado na administação judiciária para que a gente tenha tem ali uma medição de impactos positivos ou negativos e até mesmo verificar se existem consequências que não eram desejadas e que aquela ferramenta gerou de qualquer forma Essas eram grande parte das minhas considerações eu agradeço profundamente essa oportunidade de diálogo de interlocução com o Conselho Nacional de Justiça agradeço essa oportunidade esse espaço que a gente possa trazer contribuições na minuta eh da resolução 332/20 2020

do CNJ agradeço e já devolvo a palavra à coordenadora Obrigada professora Juliana bem didática na sua explicação eh Parabéns realmente Eh vamos então paraa última última inscrição que é o professor Paulo campanha Santana que ele é do Centro Universitário do Distrito Federal e ele vai falar sobre a proposta né de atualização da resolução que nós estamos tratando aqui a 332/2020 boa tarde a todos primeiramente para agradeço aqui a conselheira Daniela madeira parabenizo também aqui o conselheiro Bandeira de Melo por essa iniciativa de abertura aqui para essa audiência pública para mim uma honra muito grande eu

sou coordenador como foi dito do programa de Mestrado aqui do centro universid do Distrito Federal em Brasília estou fora do país inclusive aqui já é a noite mas não poderia perder a oportunidade de participar bem Eu gostaria de Primeiramente compartilhar de que perspectiva eu estou falando eu tive o privilégio de no ano de 2019 começar a conviver com o Dr Ricardo Fernandes que era o o dono da libs que trabalhou no projeto Vitor eh no Supremo Tribunal Federal inclusive com a tain junquilho que participa dessa comissão do CNJ para trabalhar na proposta da da de

alteração da resolução do CNJ e gostaria de fazer referência aqui ao ao Dr Frank Ned que é especialista em ti e direito tal qual o colega falou agora a pouco então fruto dessa convivência com eles eu concluí meu curso agora de ciência da computação e venho estudando essa temática que tem feito os meus olhos brilhar tanto é que eu tô terminando agora meu segundo doutorado na em ciência da informação e especificamente em blockchain mas uma das disciplinas que eu cursei foi exatamente machine learning e trabalha exatamente com os algoritmos tem produção científica inclusive com algoritmo

e tem já estou começando a escrever alguns artigos sobre a inteligência artificial Então como já foi dito e e por vários aqui preditores quais eu cumprimento todos aqui inclusive os que estão nos assistindo as pessoas que estão nos assistindo a proposta está muito bem elaborada eu li inclusive várias normas que existem inclusive o ai act da União Europeia e outras normas o próprio PL né eh 2338 e e olhando as propostas exatamente da da Inteligência Artificial eh generativa então assim a proposta já tá muito bem elaborada Então gostaria de Primeiramente parabenizar A equipe que vem

se debruçando e apresentar identifiquei algumas pequenas sugestões e o que me estimulou a estar aqui apenas como título de contribuição e reflexão e também eu eu tenho pesquisado matemática já há uns 2 3 anos que é sobre neurol neurodireito e bem como o uso da neurociência no uso da inteligência artificial onde a minha fala aqui vem apenas como pontos de reflexão de estudos que eu encontrei em Taiwan bem como em Singapura e mas até países realmente do oriente que usaram a neurociência com a inteligência artificial e alguns sistemas mas falarei ao final então indo logicamente

primeiramente comentando das propostas que são poucas que tem porque a proposta tá muito boa mas mas também faço couro aqui com o professor dierle e a professora hora que falou sobre a supervisão humana e algo que se tem muito comentado sobre a governança em rede quando se fala em governança eh de inteligência regulação de Inteligência Artificial num num primeiro momento lá para 2020 uma perspectiva de mais numa perspectiva de éticas de principiológicas e hoje não uma uma perspectiva mais de de regulamentar realmente o seu uso mas como também já foi dito por alguns colegas também

não podemos limitar tanto o seu uso Apesar de que existe até um empresário famoso que fala que a inteligência artificial é como algo vindo é como algo vindo do mal há muitos benefícios mas também desperta muitas preocupações Então a primeira a primeira observação e a primeira sugestão que eu tenho eh É sobre o comitê da de de técnico da Inteligência Artificial que é previsto onde fala representante da advocacia e de todos os órgãos Ministério Público defensoria pública e aí eu lanço o questionamento eh a equipe que tá trabalhando nessa Norma se não deveria de ter

também alguém da uma participação da sociedade civil nessa discussão nessa nesse comitê técnico apesar de ser técnico por que não também tal qual o próprio CNJ que possui de várias carreiras e também tem indicações indicações do do do do congresso nacional que compõe aqui os conselheiros Por que não também ampliar além de apenas um advogado porque não pensar numa participação uma participação da sociedade civil tal qual alguns conselhos que existem Conselho Nacional do Meio Ambiente e outros que existem também diversas diversas áreas para que possa integrar e ter uma uma ampla participação até mesmo uma

Participação Popular e caracter iando até mais muitos princípios Democráticos quando a a proposta ela trata aqui dos das das normas dos dos direitos que vem ser Garantido e ele trata aqui da sobre os garantia dos direitos fundamentais lendo o ai act eu me inspirei eh em sugerir também que coloque faça constar também aqui o estado de direito também pensei em vários que constam lá do que que poderia ser inserido e na realidade eu eu eu concluí e eu eu inseriria que também as normas os os os sistemas de Inteligência Artificial que fosse utilizados que também

observasse o estado de direito e também a saúde apesar de ser um direito fundamental eu colocaria assim também de forma expressa e vou explicar o porquê dessa propostas que eu li em taiuan e Singapura e outros países do Oriente existem o muitos muitos eh ferramentas hoje de mobile i e a SL e outras que utilizam eh a neurociência a leitura de percepções para tentar identificar a emoção das pessoas eu coordenei Hoje Eu Sou coordenador de Mestrado sou advogado e coordenador de Mestrado Mas já fui coordenador de graduação por 5 anos e um dos projetos um

dos projetos que existem são projetos envolvendo eh curso de psicologia particularmente em causas mais complexas como vara de violência doméstica questões da infância da da infância da Juventude questões de vara de família e aí o que me levou o questionamento Será que realmente não é possível não seria possível eh ter uma uma ferramentas que se fossem utilizad para auxiliar o magistrado que dentro de uma junto com a utilização de um sistema de inteligência artificial não favoreça inclusive esse olhar humano para aquelas pessoas do jurisdicionado que tá naquela situação às vezes de vulnerabilidade e a partir

do momento que possa ser identificado porque muitos cursos de Psicologia hoje atuam diretamente em muitas varas dessas nessas nesses casos mais complexos então de repente uma própria regulação já prevesse utilização de outras ferramentas e particularmente com uso de neuro o uso da neurociência eu acredito que poderia até estimular em todo o Brasil que aqui uma Norma vai ser uma resolução do CNJ poderia ter um capítulo próprio sobre o uso eh de ferramentas que envolvam neurociência com análise de comportamento inclusive outras até mesmo com análise de discurso que Claro é um processamento de linguagem natural pode

fazer isso para identificar as emoções e aquilo que o próprio jurisdicionado pode ser beneficiado com essa atuação para apenas para ter uma ideia eh do que eu tô comentando sobre o e e ess Essas atividades lá lá em Taiwan foi utilizada essa ferramenta ASL mobile que o rastreamento ocular é igual a de um óculos e foi identificad as emoções e o próprios leitores n os diversas diferentes tipos de emoções de daqueles de todos aqueles envolvidos um outro uso no Reino Unido foi identificado possibilidade inclusive de de pessoas que estavam com depressão eh sendo atuando em

razão daqueles processos e como eu falei como há essas atuações muito fortes Acredito sim que possa o o jurisdicionado ser melhor atendido globalmente como vem acontecendo na prática com vários núcleos de práticas jurídicas com escolas de Psicologia de curso de graduação que vem atuando nas varas em prol dessas pessoas que têm um que vivem em situações eh mais mais complicadas bem com isso eu encerro a minha fala Eh mais uma vez reiterando e parabenizando aqui o trabalho que foi feito E agradecendo a oportunidade aqui de contribuir para essa discussão essa discussão e essa reflexão Boa

tarde obrigada Professor pelas contribuições eh eu queria agradecer a todos que estiveram aqui nesse painel né agora no início da tarde eh todas essas contribuições serão repassadas pros representantes do grupo alguns já estão aqui também já escutaram eh eu queria só realçar alguns pontos aqui da dessa dessa fala né que eu percebi que algumas preocupações né Principalmente com a comparticipação a participação dos autores envolvidos na Inteligência Artificial a questão da supervisão humana né Eh se a revisão humana ela pode não ser suficiente eh são são problemas são obstáculos que nós vamos ter que teremos que

enfrentar a questão da explicabilidade da política nacional de letramento auditabilidade como foi falado pela professora e ficamos aqui com a reflexão de neurociência do professor eh eu acho que aqui for foi muito produtivo todas as intervenções foram bem objetivas eh e cirúrgicas em relação à proposta de resolução que será analisada eh encerramos aqui o trabalho mas eu vou passar a palavra pro nosso querido Conselheiro bandeira que ele vai falar dar um contexto um pouco aqui do grupo de como é que nasceu enfim das das questões da inovação tecnológica principalmente da Inteligência Artificial aqui discutidas dentro

do CNJ Conselheiro Bandeira obrigado minha queridíssima Daniela por estar aqui conduzindo essa parte da nossa audiência pública assim agradeço a todas e todos aqui presentes tanto os membros do GT quanto os participantes da da audiência pública Eu aproveitei que estávamos ligeiramente adiantados no nosso programa Ah para fazer agora algumas considerações que eu iria fazer na na parte da manhã e que para o andamento dos trabalhos acabei deixando para um um segundo momento são considerações rápidas prometo não não cansá-lo mas é o objetivo é explicar algumas opções e algumas ah na verdade dúvidas ainda talvez do

do GT né que estamos tentando responder e instruí-las ao menos aqui ao longo dessa dessa audiência pública que já já traz Bons Frutos né eu eu comentava agora H pouco com a conselheira Daniela e com o Faustino amigo querido ah da minhas das saudosas terras de Pernambuco Ah nós vimos aqui na na nessa última mesa apontamentos importantes sobre necessidade de regulamentar O Legado né os sistemas que já estão funcionando antes da dessa resolução eh vir a ser aprovada ah necessidade de segregação de funções que foi foi trazido eh pela professora da escola de de Linhares

sal da Universidade de Linhares ah tivemos ainda eh uma série de de de preocupações referentes a supervisão humana da das decisões né dos dos documentos para eh produzidos pela pela ia Estamos tomando nota de tudo isso Vamos tentar incorporar o texto mas eu queria dividir com com oos senhor estão aqui presentes e também são mais de 300 Salv engano que estão remotamente nos acompanhando algumas preocupações que estão por trás do texto e que não necessariamente se evidenciam né numa numa primeira leitura Talvez o principal dilema que a gente vai ter que eh enfrentar aqui é

o quanto de liberdade na no uso e na escolha da solução de IAG generativa será permitido aos servidores e aos magistrados para uso no judiciário né que vamos lá estamos falando de um uso corporativo de inteligência artificial generativa qualquer empresa de grande porte né soluções corporativas são de certa forma adotadas ah unilateralmente Pode até ser discutido na na no âmbito da empresa mas uma vez adotadas elas são colocadas para todos os seu os seus usuários a fim de padronizar eh modelos a fim de buscar um melhor controle a fim de buscar por exemplo controle de

versões né e e e atualizações e licenças etc não precisa ser diferente no no no judiciário nós vários dentre Nós preferimos até um um modelo que permitisse o desenvolvimento talvez de um de um modelo de a generativa próprio pro Judiciário treinado com com acórdãos né homologados uma base de dados né testada e e autentificado por assim dizer né de forma a evitar né uma série de problemas como alucinações como vai citar um acordo um acordo inexiste né foi criado pela pela EA na medida em que você tem uma base auditada e verificada você pode dizer

olha vai citar a jurisprudência é dessa caixinha aqui que você vai pegar né E com essa instrução a máquina não tenderá a não a não alucinar né você ah se tivermos um um software para uso específico do Judiciário a linguagem né os termos que serão usados certamente serão muito mais adequados né É claro que uma inteligência artificial treinada com linguagem de internet né Onde se pega por exemplo matéria jornalística que fala o parecer do juiz né é corrente é recorrente ver isso na em matérias jornalísticas né mas não é adequado encontrar isso num num acordão

né Então precisamos talvez eh ter modelos treinados especificamente pro pro Judiciário mas existe o mundo ideal e o mundo do possível hoje né Nós não temos uma tal ferramenta de a generativa treinada exclusivamente com documentos autenticados pelo pelo Judiciário ou produzidos pelo Poder Judiciário e ainda que tivéssemos talvez não teríamos recursos financeiros para custear uma tal solução Ah o funcionamento de um de um EA Dessa espécie não me refiro a essas eh gratuitas que estão na internet que na verdade estão usando né Nós estamos sendo usados para treiná-la gratuitamente na medida em que os nossos

dados são usados para treinar o próprio modelo né mas na medida em que você você passa fazer um uso corporativo disso aí todos as grandes empresas que lidam com isso tem nisso tem a gerativo um negócio né E cobram por esse serviço né os tokens que são mais ou menos o equivalente à sílabas né do texto produzido são cobrados ainda que por alguns alguns centavos mas o fato é quando você multiplica isso pelo número de de páginas pode vir até uma decisão judicial e multiplica ainda pelo número de usuários que vão tá né usando o

sistema temos rapidamente uma conta né com com vários zeros à direita né e hum o fato é hoje não temos nem o orçamento nem o sistema pronto para desenvolvê-lo faz algum sentido a gente falar em vedação do uso de soluções de ia H pelos magistrados e servidores é claro que uma tal dispositivo numa numa resolução seria fadado a uma ineficácia né a ser descumprido E pior nós iríamos perder em transparência porque essa pesquisa que nós publicamos divulgamos aqui a hoje pela manhã né em que a grande maioria dos magistrados e servidores dizem que já estão

usando a aag generativa no seu trabalho Talvez se tivesse uma Norma vigente Que vedasse tal uso eles simplemente responderiam que não estão usando E aí você não ia mudar a realidade você apenas eh enxergar uma realidade maquiada né a sua pesquisa estaria incorreta então nós temos que ter essa consciência do que é possível do quanto é possível regular né e eu tenho a firme convicção eu sei que também a posição da a conselheira Daniela não dá para voltar atrás não dá para fechar os olhos di olha não vamos usar isso aqui no judiciário porque isso

aqui é muito perigoso então vejam que o dilema de como regular e de quanto regular né ele passa também pela pel essa avaliação do que é possível fazer nesse momento e veja é possível que o que nós sugerirmos ao conselho que vem eventualmente a virar uma resolução né tenha que ser revisado daqui a 3 anos também né como atual resolução 332 foi feita 3 4 anos atrás né E já precisa de revisão porque D meio do caminho Surgiu uma IAG generativa e é possível que nos próximos do anos surja uma nova revolução né o professor

Silvio Meira em artigo recente né disse E ele justifica isso de várias formas né que Possivelmente Em 800 Dias 800 dias né talvez menos de 3 anos Já teremos uma uma nova etapa do do uso de Inteligência Artificial sendo aplicado novos novas soluções acabaram de vir aí a público como o ow One né que promete ainda uma revolução mais sofisticada aliás comp ter em confidência a distribuição de de vocês inscritos para habilitados a falar né Cada um foram mais de uma centena de de inscritos e cada um disse o tema eh sobre o qual eu

queria falar nós alimentamos o ow One Com todas essas informações e fiz um teste devolve para mim uma uma uma simulação de como distribuir esse pessoal aqui em tantos painéis né E é verdade fizemos algumas adequações né Eh mas o Foi bastante satisfatório o a o o que foi feito como organização né como primeira a organização e perceba nós tivemos uma série de cuidados na organização dessa audiência pública se nós olharmos a quem falou agora a pouco vamos ver ehi basicamente acadêmicos que falaram hoje né tivemos professores de do DF de Minas Gerais do Espírito

Santo do Rio de Janeiro de São Paulo eh acho mais um estado que me escapa e do Ceará né de tivemos uma um equilíbrio entre homens e mulheres um equilíbrio entre instituições que estão sendo representadas E e esse o objetivo de estuda é poder ouvir e sentir um pouco né da sociedade civil né e eu anotei eh quer dizer o último professor que falou anotei a sugestão de que a sociedade civil possa participar do comitê né pode é uma ideia a minha minha dúvida é Como vai Como é que vai designar essa pessoa né se

não tiver alguém que tem essa prerrogativa de indicação mas bom Ah isso é um segundo problema Ah então eu gostaria de primeiro apontar isso nós estamos fazendo um trabalho de regulamentação na medida do possível na medida do que é viável razoável regular sabedores que se a gente apertar demais a gente vai acabar simplesmente sendo a norma vai ser ignorada e vai se continuar utilizando qualquer I né ah a ideia que tá na minuta é mais ou menos a seguinte se o tribunal vier prover Em algum momento uma ferramenta de Inteligência Artificial generativa ela deve ser

preferencialmente utilizada pelos membros daquele daquele tribunal se chegar uma IAG narrativa do Judiciário Nacional Que beleza talvez cheguemos nesse momento um dia eh esse ponto mas se o tribunal não oferecer que é a realidade atual em quase todos tribunais do país o TJ R começou a testar agora uma uma primeira ferramenta mais completa aí você teria uma prerrogativa do comitê né de com base uma série de de critérios que já estão na minuta eh autorizar essa esse uso e a conselheira Daniela me dizia agora H pouco talvez valesse a pena que o comité possa ser

provocado também né pelo magistrados olha e essa ferramenta aqui pode ser usada e essa aqui também né porque o medo de deixar totalmente aberto é você usar qualquer coisa né e qualquer coisa pode ser uma solução de a mais baratinha né Pode Ou até gratuita daquelas que usam seus dados para treinar a máquina e aí você vai subir um monte de dado processual n que embora seja público mas talvez não deveria estar na na nuvem do fornecedor de da solução de a né até até porque as preocupações de proteção de dados e tudo mais então

A ideia é que na ausência de uma ferramenta do Judiciário n o comitê possa validar conforme as regras de uso das diferentes ferramentas olha Esta esta esta e esta podem ser utilizadas né até que se alcance Talvez uma ferramenta ideal Essa é a proposta que tá colocada para discussão não quer dizer que vai ser definitiva né isso ainda vai passar por uma uma discussão definitiva no conselho no comitê perdão no perdão no GT né e finalmente virá a esse plenário aqui onde será votada eu queria chamar atenção e prometo não vou me estender mais ah

de dois problemas que me preocupam muito no uso da ia generativa no judiciário que são ainda estão sendo pouco abordados na verdade a gente tá na pré-história da ia né E isso certamente novos problemas vão surgir a a a cada etapa mas dois problemas que estão se avizinhando-se primeiro eh é uma citado já no artigo da Dora Kaufman que falou hoje pela manhã né sobre o o perigo do loop de feedback né esse é um conceito relativamente novo não sei se todo mundo domina mas basicamente é o seguinte com o aumento do número de textos

produzidos sinteticamente por I né disponíveis nas bases de dados na internet né num um breve espaço de tempo estes textos produzidos por I né crescerão né proporcionalmente aqueles textos produzidos né pelo humano pegar um exemplo simples uma matéria redigida por um Jornalista do New York Times n ela tá publicada lá o texto original n por um jornalista americano né e esse texto está sendo republicado umas duas dezenas de países traduzidos aqui no Brasil O Estadão publica regularmente os texto do New York Times e bota embaixo lá né traduzido com auxílio de ferramenta inteligência artificial na

medida em que esses textos traduzidos por exemplo ou produzidos por ia né vão se mant uma proporção como essa de 20 para um Em algum momento do Futuro A maior parte dos textos disponíveis na internet serão produzidos por por ia isso é realidade possível na medida em que você tenha ah juízes utilizando ia vai produzir ah decisões votos em algum momento é possível que até pelo aumento da velocidade essa quantidade de documentos na base Seja superior à original produzida por humanos e aí você começa a ter uma queda na qualidade já tem três artigos acadêmicos

começaram a estudar esse fato você começa a ter uma queda na qualidade do conteúdo produzido pele a porque ela começa a se basear em si própria Então ela ela se multiplica né meio como grem robotizados né e e e se impõem ao sistema Então isso é um problema que claro a gente saber lidar com ele n na medid você pode configurar evidentemente se você tiver decisões rotuladas e é por isso um dos objetivos da gente rotular o que é produzido com ia é a gente saber a origem daquilo lá e aí em função dessa origem

você aplicar filtros Diferentes né para fazer a o documento final mas o que mais me preocupa além do do loop de feedback é um outro problema eu fico imag daqui a 5 anos 6 anos a gente vai ter Talvez um índice lá no prêmio CNJ de qualidade né que seja o índice de acerto vamos imaginar assim não quero ser tão Preciso na definição mas o índice de acerto em decisões tomadas com o auxílio de a como é que você vai medir esse índice Possivelmente pela manutenção das decisões de primeira instância em Segunda instância ou eventualmente

a manutenção das decisões de Segunda instância num numa Instância posterior Ah eu já imagino técnicos de ti dos diferentes tribunais né buscando formas de aperfeiçoar o modelo a fim de que o o índice de acerto por assim dizer da decisão judicial e de manutenção da decisão aumente não é muito difícil prever senhoras e senhores que talvez o sistema acabe sendo levado seja por programação proposital seja por uma mera derivação natural da da das consequências ele quando Veja uma decisão que tá deado lá né rotulado lá construído com auxílio de I ele tenda a no segundo

grau aquele mesmo sistema que foi utilizado no segundo grau manter aquela decisão de primeira instância simplesmente porque ela foi rotulada como construída por E se o programa o sistema para obter o maior índice possível de acerto não demora muito pro sistema entender que o maior índice possível de acerto será mantido na medida em que eu ratificar em Segunda instância de primeira E aí começamos a ter um problema porque aí você começa a ferir o âmago do do processo judicial né E claro nós sempre vamos ter a barreira de olha mas sempre haverá um humano validando

aquela decisão no caso um desembargador um relator ou quem quer que seja né validando aquilo ali eu tenho certeza disso mas não se enganem uma minuta produzida por um sistema de a que pareça Redonda a primeira vista para quem lê sem ter necessariamente compulsado os autos inteiros vai naturalmente gerar uma propensão do magistrado a concordar com aquilo se eu como magistrado vou me basear digamos no resumo né elaborado pelo pelo sistema né ainda sem valor oficial o resumo para orientar o o julgador ou o servidor né E esse resumo me omite uma preliminar relevante no

processo ele omite esse preliminar seja propositalmente porque ele quer melhorar o índice de acerto seja aleatoriamente porque não julgou relevante naquele espaço de caracteres que ele tinha né colocar um determinado preliminar mas que para o magistrado humano aquela preliminar seria relevante você começa a Gerar erro judiciário em cima de do uso da ia eu tenho convicção Daniela que nós estaremos prontos para responder né com ajustes de de de programação né a todos esses problemas que fatalmente surgirão mas surgirão outros né eu tenho o o a clareza que a a ia será utilizada por nós como

uma ferramenta para trabalhar mais rápido e acertar mais errar menos né Eu imagino bem uma uma Fer uma solução simples de que tivesse incluída no pje que Na hora que você min notar um um voto você pudesse clicar naquele botãozinho ali que fosse fazer uma checagem não só ortografia Como faz o vários aplicativos por aí mas pudesse fazer uma validação de jurisprudência para avisar o magistrado atenção o os acórdão que o senhor tá usando aqui como jurisprudência foram recentemente né revogados pelo pelo STJ então atenção esse seu posicionamento Diverge da turma Claro que ele poderá

continuar e manter aquele posicionamento mas eu eu eu vejo mais claramente aí a alertando-os sobre como fazer melhor o nosso trabalho do que propriamente fazendo o nosso trabalho no nosso lugar né porque você tem um consenso no dentro do GT eu acho que esse consenso é na sociedade toda é que ninguém quer ser julgado por robô Então as regras que estamos propondo aqui elas estão colocadas para permitir algum grau de governança e de supervisão humana sobre o trabalho porque se eu deixar totalmente solto que cada magistrado ou cada servidor contrate a solução de a que

bem lhe aprouver né e use isso inserindo essa o produto desses soluções de a dentro do sistema judiciário sem nenhuma rotulagem sem nenhum tipo de de verificação ou homologação daquela ferramenta subindo dados eventualmente sensíveis na na nuvem da da solução gente nós vamos virar a casa da mãe Joana E aí vão ter que dar um freio de arrumação para poder voltar ter algum controle n nesse processo então percebam que não é tão simples a regular e e até porque estamos falando de uma coisa nova né e uma coisa que não conhecemos ainda nem todas suas

potencialidades nem tampouco todos os seus problemas alguns problemas estão estão aparecendo já aparecerão outros né mas o que eu que eu gosto muito de um uma imagem uma ilustração que aprendi com minha bisavó vocês vão entender o contexto certa feita e o pai de minha bisavó portanto ela contava essa história O meu trisavô foi Prefeito numa cidadezinha Sertão Pernambucano chamado Triunfo e no início do Ali por volta de 1920 1930 né ele anunciou um fe um comício na cidade anunciando a chegada do primeiro automóvel em Triunfo que ia trazer velocidade ia trazer comodidade né mod

idade ao Sertão Pernambucano etc e bom fizeram uma festa lá tocaram soltaram un fogo de artifício contra a minha Bis voz e dado momento terminou a solenidade chegou o matuto Olhou lá pro carro né olhou de frente de trás virou chegou no prefeito meu trisavô perguntou ô doutor isso aí é macho ou fêmea né e perceba Ah por que que eu tô trazendo essa essa ilustração para para esse contexto agora porque se nós tivermos o necessário recurso histórico talvez estejamos hoje para inteligência artificial no mesmo estágio que tava aquele matuto lá olhando o carro e

pergunta se é macho ou fêmea Isso aqui é bom ou ruim e a resposta é os dois né o automóvel até hoje é é uma coisa boa e má ele é bom porque el dá conforto ele dá velocidade ele dá agilidade a nossas cidades a nossos deslocamentos Mas ele também pode provocar acidentes ele também polui ele enche a rua de de de gente carregando uma só pessoa Às vezes dentro de dele sabemos de todos esses problemas aia também Aia vai nos dar eficiência vai nos dar velocidade vai nos dar conforto de trabalhar eventualmente produzir mais

rápido né mas ela também tem seus riscos assim como o automóvel também tem nossa missão é tentar antecipar alguns desses riscos e de certa forma criar uma normativa que permita eh que sejam evitados que sejam controlados né mas sem limitar o desenvolvimento sem criar nisso uma inibição né ao uso da no judiciário que na e que na prática acabe nos deixando para trás né o judiciário brasileiro é hoje né se comparado com outros países do mundo eu não tenho dúvida nenhuma dizer que se não tivermos no top F no top 10 nós temos com certeza

n dos que mais usam tecnologia Eu acho que o Brasil seguramente está entre os talvez cinco talvez três países que mais usam na tecnologia na na nas na no seu trabalho né o que nós o que o pjta representa o que os instrumentos e que o CNJ desenvolveu na PD PJ representam para o judiciário nacional é raro encontrar ág equivalente em outros países não vamos perder essa dianteira né acho que a gente tem que aproveitar ess que estamos na de certa forma na Vanguarda né e tentar criar um Panorama normativo que nos permita continuar avançando

com responsabilidade né com compartilhamento com comparticipação né da dos diferentes tribunais para que também ninguém despenda rios de dinheiro né desenvolvendo ferramentas que o colega do do do tribunal vizinho já tem né e acho com isso fazer adicionar um pouquinho de racional alidade a essa discussão agradeço de novo a todos os que estão aqui trazendo as suas contribuições serão todas levadas a sério e discutidas no âmbito dessa que se pretende ser a nova regulamentação de uso de a no no judiciário com essas considerações minha querida Daniela agradecendo a sua paciência por permitirme esses minutinhos né

devolvo lhe a palavra né para que possa concluir essa mesa Muito obrigado pela atenção a todos vocês Obrigada Conselheiro Bandeira a gente termina aqui e e com um ponto que eh ele falou bem cirúrgico né temos que dar uma resposta aos juízes que estão utilizando a inteligência artificial e se não dermos uma resposta coerente e factível vão continuar utilizando independentemente da Norma porque realmente ele otimiza ele é prático ele otimiza o trabalho do magistrado do advogado enfim de todos então eu acho ao que é muito bem-vinda essa proposta de regulamentação eu agradeço a todos aqui

parabenizo meu querido Bandeira pela coordenação do grupo e encerramos passo a palavra para o cerimonial não encerramos passamos senhoras e senhores agradecemos os pronunciamentos realizados e neste momento faremos um breve intervalo informamos que será servido Coffe Break no foer do plenário retomamos a programação em 15 minutos pedimos a gente senhoras e senhores em continuidade à programação daremos início à mesa dois uso da Inteligência Artificial na tomada de decisões judiciais para a condução dos trabalhos tem a palavra a d Tainá Aguiar junquilho bom Boa tarde a todos e todas uma alegria enorme sentar aqui nessa cadeira

tô me achando eh mas queria queria agradecer eh a a oportunidade de estar conduzindo essa mesa aqui com um tema que eh nos é muito caro eh cumprimentar a todos os presentes a todos que estão nos assistindo de forma remota eh e dizer que também foi uma honra Eh preciso salientar aqui trabalhar com todos os meus colegas nesse GT eh foram discussões bastante proficuas a gente debateu bastante fizemos reuniões eh e e descobrimos o quão o quão árdua é a tarefa de de regular e Mas é uma honra para mim né regular as aplicações de

inteligência artificial no poder judiciário Mas é uma honra para mim fazer parte como pesquisadora como pessoa que trabalhou isso eh desde 2018 participou do projeto Vitor da ministra Carmen Lúcia Então foi uma alegria sem tamanho então cumprimento a aos meus colegas também de grupo de trabalho e vamos dar início Então à mesa dois de inteligência artificial no poder judiciário de uso das inteligências artificiais na tomada de decisões judiciais eh E para isso a primeira a falar eu é a professora da Universidade de São Paulo Ana Carla bliacheriene que é advogada e professora e vai falar

sobre os desafios e mitigações técnicas sobre transparência e explicabilidade das decisões erro e Alucinação algorítmica e viés a senhora tem a palavra muito obrigada pela presença muito boa tarde a todos e todas presentes um prazer e uma honra estar aqui diante desse conselho tendo oportunidade de colaborar nessa discussão importantíssima sobre o papel da inteligência artificial generativa no poder judiciário do século XX eu cumprimento a todos os membros do e desta comissão na pessoa da presidente dessa sessão a Dra Tainá e cumprimento a todos os presentes fisicamente aqui e remotamente na pessoa da magistrada do estado

de Pernambuco D Eunice Prado que aqui está presente eu gostaria de apresentar para os senhores além dos aspectos teóricos que eu vou abordar aqui uma possibilidade uma viabilidade prática da gente enfrentar os problemas relativos a questões éticas e questões de governança no uso da ia generativa Mais especificamente os temas da Transparência o tema do viés da explicabilidade na no uso da ia em decisões judiciais ou no processo judicial Sou professora da Universidade de São Paulo currículo já foi previamente apresentado e eu junto com o professor Dib carão Professor Luciano Vieira de Araújo que aqui está

presencialmente também a professora Fátima Nunes na Universidade de São Paulo coordenamos um grupo de Pesquisas nominado Smart cides BR onde desenvolvemos pesquisas na área de transformação do digital do Estado e Governo e inteligência artificial nesse grupo A gente trabalha com a inteligência artificial generativa sobre o aspecto teórico e sobre o aspecto prático nós vemos modelos para testes de análise científica e nós apresentaremos para vocês os desafios que encontramos e como mitig esses desafios na prática qu quando falamos de a generativo a gente tem de fazer uma pergunta imediata Qual o propósito dessa ia generativa normalmente

as pessoas associam a ia generativa aos modelos comerciais de chat que foram lançados a partir do lançamento comercial do modelo da Ne e o chat GPT que foi seguido de outros modelos modelos abertos treinados em grande bases de dados não especializadas e baseados em modelos maiores hoje nós já temos modelos menores que podem ser mais eficientes para alcançarem o objetivo do Poder Judiciário eh dentro da Universidade através da literatura feita nesse grupo de Pesquisas eu e o professor Luciano lançamos o conceito do que chamamos de I generativa ativa em contraposição O que seria uma ia

generativa passiva a ia generativa passiva seria essa e a generativa feita através do chats numa interface em que o usuário e a ia generativa através de uma sequência de perguntas chamadas de prompt dá determinados comandos e esse modelo geral e aberto dá determinadas propostas ou respostas esse modelo como sendo uma ia generativa tem a missão permanente de dar uma resposta gerar uma resposta essa resposta ela vai ocorrer dentro de um espectro de probabilidade e quando a gente fala probabilidade não estamos falando de assertividade jurídica mas de probabilidade estatística matemática por isso que muitas vezes nós

da área do direito entendemos que a ia alucinou a ia errou Tecnicamente aquilo não seria um erro nem um alucina ação porque é uma resposta probabilisticamente válida mas não é a resposta desejada por nós nós que trabalharemos profissionalmente com esse tipo de tecnologia temos de trazer essa probabilidade para aquilo que nos atende paraa área de segurança que nos atenda e como fazemos isso basicamente com duas estratégias expondo essa i generativa a uma a um tipo de dado a um dado especializado e com qualidade adequada para que ela seja treinada nesse dado então a gente aproxima

a estatística para nós a probabilidade e a segunda forma criar ambientes fechados para uso profissional em contraposição a uma assinatura mensal aberta que se tem para outros objetivos e não objetivos institucionais o que caracteriza então um modelo de generativo passivo chat esses modelos comerciais é um uso manual né exploratório e uma grande dependência da habilidade do usuário para que aquele refinamento aquela probabilidade se aproxime e o que é que sugera grande variabilidade de resultados o que nós do Judiciário não podemos contar muito não é algo desejado porque traz insegurança o modelo da Inteligência Artificial generativa

embora produzido em eh acima né no no na base dos grandes modelos de linguagem disponíveis eles são feitos em modelos fechados com dados qualificados E aí ele é capaz de fazer uma grande uma análise de um grande volume de dados regras complexas validação por homem e por ia Então eu vi bastante nas discussões a questão da validação humana a gente não pode esquecer que a validação por e a também é importante As duas validações são importantes e existem modelos dentro da Computação em que você pode fazer uma ia é concorrendo com a outra no sentido

de ser uma ia validadora da outra uma uma ia produtora do resultado e uma que critica esse resultado e valida e além dessa camada a validação humana que torna mais seguro integração com sistemas existentes sem nenhum problema por meio de api geração automática de documentos resultados de análises com grande qualidade a gente traz a probabilidade e ao trazer essa probabilidade a gente traz qualidade para a entrega e qual que é o impacto da Escolha que a gente tem visto nas pesquisas que estamos fazendo dentro da Universidade de São Paulo na ia generativa ativa você propaga

o resultado diminui a quantidade de processamentos De retrabalho que é feito no modelo de a passiva ou seja chat isso gera não só qualidade do resultado mas gera diminuição do custo de processamento Além disso aqui é uma figura que a gente coloca significativa do que seria dentro do potencial de uma inteligência artificial generativa para um modelo profissional a a generativa passiva o chat representa Aquilo num universo imenso do que aia generativa ativa pode proporcionar dentro dessa pesquisa nasceu o projeto horos ele leva esse nome por conta da da da luta mitológica né que foi feita

entre Oros e sete para defender o seu pai Oros defendendo o seu pai e nessa luta ele perde um olho ao perder esse olho ele ganha um olho né artificial que é a serpente que os faraós egípcios usavam como símbolo de poder quando ele ganha esse olho para lutar contra o mal ele passa a ter ele era um humano que passa a ter um olho mais potente que todos os outros porque ele contava com o olho humano olho solar e o olho artificial lunar tornando a sua visão muito mais Ampla então a ideia da ia

generativa ativa que se coloca nesse projeto da Universidade de São Paulo é exatamente isso um olho a mais que traz ao elemento humano do processo mais poder e mais capacidade de visibilidade foi um projeto então em que se uniu a Universidade de São Paulo a o colégio permanente de presidentes das escolas da magistratura coped e a escola da magistratura do Estado do Tocantins para fazer testes em caráter científico sobre uso di generativa ativa para uso do Poder Judiciário Esses são os parceiros dessa iniciativa E aqui nessa iniciativa a gente fez vários testes Estamos fazendo como

princípio do desenho desde pensar o modelo até fazer pilotos de teste como princípio by design algo foi recomendado como não negociável os princípios processuais da identidade física do juiz que na nossa teoria tradicional do processo civil está ligado ao juiz da da instrução deve ser o juiz do julgamento com o nascimento da Inteligência Artificial generativa imaginamos que ele ganha um novo padrão no sentido de que o juiz que julga ele de fato deve ter compreendido a instrução quando dela participou uma inteligência artificial generativa o devido processo legal do qual não se abre mão a dignidade

da pessoa humana que está permeando toda a normativa proposta pelo CNJ contraditório e ampla defesa inclusive para compreender como o modelo foi utilizado duração razoável do processo eficiência e efetividade é um princípio processual que será fortemente impactado pelo uso de uma inteligência artificial generativa cooperação que tem sido utilizado nesse projeto de pesquisa da USP desde pensar o modelo até modelar programar e eventualmente testar o modelo primazia da decisão de mérito proteção da confiança que no processo tradicional tinha um determinado sentido e agora com a a inserção das I generativas ganha um espectro ainda maior eu

devo confiar que eu estou sendo julgada pelo Judiciário e não por um botão não por um algoritmo então desde o início apoio a à otimização do Judiciário criação de soluções inovadoras em IAG garantia de ética segurança e explicabilidade rastreabilidade validação humana desenvolvimento de maturidade emag essa audiência pública é um excelente elemento desse desenvolvimento de maturidade normalmente temos medo e nos colocamos contra aquilo que efetivamente não conhecemos há um pequeno Delei na isso transparência como que a gente enfrentou a questão da da Transparência na teoria e na prática pensando o modelo A modelagem ela tá tendo

a participação de múltiplos atores OAB sendo convidada Ministério Público sendo convidado servidores do tribunal sendo convidados desembargadores convidados e magistrados juízes convidados e a participação tem sido bastante positiva apresentação dos documentos modelos de ag e o racional utilizado durante o desenvolvimento para an análises e sugestões da IAG tudo isso de forma transparente para todos aqueles que estão participando do processo Então não é uma caixa fechada não é uma caixa fechada erro e Alucinação é um problema que recorrentemente a gente escuta nos cursos e nas palestras como a gente tem feito essa a curadoria dos dados

todos os dados aqui essa e a generativa estão sendo submetidos são dados validados por esse grupo que está pensando o modelo todos os dados do Poder Judiciário todos eles dados verdadeiros e de boa qualidade adaptação com especialização dos dados para aquele tribunal se utiliza os modelos a jurisprudência os dados os entendimentos daquele tribunal é o uso da IAG não como modelo genérico mais altamente personalizável escolha de pequenos modelos para determinadas entregas ao invés dos grandes modelos isso além de baratear eh a a a o própria a própria ia ele gera uma Outra vantagem que é

na qualidade muitas vezes pequenos modelos eh fechados e efetivamente treinados aumenta a acurácia e a assertividade da resposta e isso a gente tem feito os testes convalidação da equipe do tribunal e t sido satisfatórios validação por ia e validação humana muitas vezes a validação humana não é capaz de pegar todos os os eventuais eh erros que uma ia teria outra ia muitas vezes consegue junto com o humano treinamento e adaptação recorrente a cada identificação de um resultado que não seria aquele mais adequado pro caso a nova intervenção nesse modelo fechado e ele tem a apresentado

bons resultados e isso ocorre com a intervenção humana eu quero voltar um você pode voltar um para mim mais um por favor eu acho que pulou mais um volta mais um explicabilidade tinha tinha realmente pulado explicabilidade das decisões que é um tema importantíssimo pro poder judiciário a explicabilidade ela pode se dar em dois níveis existe a explicabilidade do modelo da IAG e eu recomendo a a aos senhores que realmente não seja esse o caminho levado por esse conselho porque Tecnicamente ela não é possível existem modelos de IAG explicáveis hoje em dia existem o que que

acontece com esses modelos teremos de escolher entre uma explicação algorítmica e uma resposta limitada são modelos que dão respostas que não são boas respostas ou entre uma resposta adequada e uma explicabilidade limitada hoje não temos como sair Tecnicamente na Ciência da Computação desse binômio Então qual a explicabilidade que seria conveniente a nós não a explicabilidade do modelo mas a explicabilidade das decisões essa sim a gente pode regular e Controlar na explicabilidade das decisões pode passar pro próximo por favor no modelo que estamos desenvolvendo na Universidade de São Paulo nós nós fornecemos um caminho para que

o usuário Saiba como foi analisado O que foi analisado onde foi analisado Qual o documento que foi utilizado sugestões apresentadas pela IAG nós fazemos curadorias e escolhas humanas permanente nesses testes de validação e a gente tem uma referência ao uso da IAG no processamento dos documentos e geração de minutas dando a juristas uma margem de segurança muito mais aceitável do que se não tivéssemos essa explicabilidade por favor o próximo pode passar viés é um grande dilema também do direito né uma um conceito raso de viés estou concluindo Presidente é uma tendência determinada por forças externas

Esse é um conceito vamos dizer técnico aí do que que é um viés e aqui eu coloquei ou por dados então todo o viés que houver atrás de uma solução da ia existirá esse viés como padrão no desenvolvimento das decisões humanas da base de dados em que ele foi criado Então existe o viés conhecido que a partir dos dados históricos que nós temos e a ia apresenta agora mas também existe o ia o o o viés desconhecido que a partir do uso massivo de ia nós Descobriremos que temos e o que temos de fazer para

mitigar intervenção eh imediata Além disso o viés Ele É desejado no direito em muitas áreas nós temos políticas afirmativas nós temos leis que determinam determinados vieses e a ia tem de estar treinada para atendê-los então viés em si não é um problema devemos intervir e mitigar sempre que necessário nessas situações então o judiciário hoje já convive com o erro judicial o judiciário hoje já convive com o viés o judiciário hoje já convive com fraude processual e já utiliza mecanismos processuais para micar para mitigar ou para lidar com isso com o uso da ia generativa nada

vai mudar o que vamos fazer é além desses que já utilizamos utilizar outros com o uso da da própria tecnologia assim eu agradeço a d Tainá pela oportunidade de participar E mais uma vez parabenizo os CNJ e essa comissão por esse trabalho hercúleo que ficará na história do Poder Judiciário brasileiro vossas excelências estão fazendo o ponto de Virada do Judiciário do Brasil isso é digno de nota e para mim Digno de Honra poder falar-lhes muito obrigada professora Ana Carla nós aqui quem agradecemos é É interessante como membro membros do GT devem estar pensando o mesmo

que eu à medida que a gente vai ouvindo as contribuições a gente vai vendo no que que a gente acertou no que que a gente as medidas em que a gente eh pode melhorar obrigado por ter apresentado aí o projeto Oros a a resolução Ela traz por exemplo no Artigo terceiro as questões relativas aos a a ao ciclo de vida a necessidade de avaliação preliminar dessa inteligência artificial para entender Em qual nível é de risco um mínimo de segurança aceitável tamb é fundamental então muito obrigada pela sua participação e agora eu convido o professor da

Universidade Federal do Piauí e pesquisador do laboratório de regulação e governança de Inteligência Artificial do idp professor Berto Igor cabalheiro muito boa tarde a todos a todas professora ch deess Professora porque foi minha professora eu vou quebrar aqui um pouco o protocolo e vou fazer os cumprimentos Claro em nome da senhora mas eu vou quebrar o protocolo para fazê-los aqui em nome do meu amigo contemporâneo Pedro Felipe Desembargador Pedro Felipe também do Piauí e e eu quero começar ressaltando a minha meu orgulho a minha satisfação Como já foi precedido aqui por esse debate estar presente

nesse debate crucial pra regulamentação da inteligência artificial poder judiciário o conselheiro Bandeira falou há pouco tempo sobre nós estarmos no começo da Inteligência Artificial na pré-história Essa foi a expressão que ele utilizou e e eu tenho esse mesmo sentimento que nós estamos ainda no começo nós ainda não sabemos de fato Quais são os potenciais da Inteligência Artificial mas eu tenho alguns palpites em conversas com alguns colegas que a inteligência artificial ela vai ser algo parecido com a energia elétrica ela vai estar presente em todas as áreas em todos os os meios que a gente imaginar

então isso me motiva a estudar a inteligência artificial isso me motiva a pesquisar a inteligência artificial no direito isso me motivou a participar dessa pesquisa que eu quero compartilhar agora com vocês com muito orgulho representando aqui o li o laboratório de regulação e governança de inteligência artificial do idp instituição onde eu com muito orgulho curso meu doutorado n que é coordenado o Lia é coordenado pela professora tainar junquilho pela professora Laura sherton e eu quero aqui nominar o nome dos pesquisadores que me escolheram para estar aqui representando a professora Tainá que também é autora da

pesquisa o meu colega Ian ferrar Meyer a minha colega Janaína Gomes Lopes o meu colega irá Menezes de Azevedo e eu que humildemente vos falo bom o que que a gente fez qual foi qual é o motte dessa nossa pesquisa nós fizemos um confronto entre as informações constantes na plataforma sinapses e o texto da minuta nós pegamos a minuta que classifica que cria as categorizações em riscos risco baixo risco médio risco excessivo e nós fizemos um mapeamento Vamos estudar vamos saber quais são os projetos que estão em vigor no poder judiciário brasileiro aqui eles se

destinam e a partir disso a gente consegue tracejar um mapeamento e dizer quantos são baixo risco Quantos são médio médio não alto risco e quantos são risco excessivo e a partir disso nós traçamos uma hipótese inicial a hipótese Inicial era averiguar se de fato a impressão que nós tínhamos de que a maioria dos projetos era de baixo risco Essa foi a nossa hipótese a nossa metodologia nós utilizamos as descrições presentes na plataforma sinapses lá navegando pela plataforma sinapses as as as descrições as ferramentas como como elas estão postas e os casos mais difíceis os hard

cases nós definimos por consenso no âmbito desses pesquisadores uma questão de discricionariedade nós tivemos alguns debates bastante produtivos mas por consenso nós resolvemos enquadrar esse projeto aqui ali e foi essa metodologia que a gente usou bom Quais foram os resultados que nós encontramos dos 140 projetos em vigor eh no poder judiciário brasileiro projetos de Inteligência Artificial nós conseguimos classificar 132 Por que nós conseguimos classificar 132 Porque oito desses os oito faltantes e foram conclusivos em alguns em alguns projetos a gente tem uma descrição insuficiente em alguns a gente só tem o link de uma matéria

alguns a gente só tem a indicação para um artigo científico Então se o objetivo é analisar com os dados presentes da plataforma sinaps eh nós não poderemos deixar de fazer esse registro bom desses 140 né do 132 do que foram conclusivos os oito inconclusivos nós encontramos que 91 desses projetos ou seja 65% do total são considerado apenas de baixo risco eu digo apenas de baixo risco eu quero frisar isso porque muitos projetos eles têm mais de uma função que é normal eles desenvolvem várias atividades dentro da da Inteligência Artificial fazer triagem classificar por exemplo e

oferecer minuto são atividades diferentes e Essas atividades no nosso sentir elas se encaixam no em núcleos diferentes da resolução então nós optamos por fazer uma classificação eh somente baixo risco que corresponde a 65% somente alto risco que são 26 projetos que corresponde a 18% do Total 13 nós classificamos em concomitância em alto e baixo risco e responde a 9% dois projetos são de risco excessivo então de acordo com os olhos da resolução com as lentes da resolução esses projetos seriam proibidos de serem desenvolvidos e oito dos projetos como eu já havia dito são insuficientes então

nós conseguimos provar a nossa hipótese inicial de fato A grande maioria dos projetos do Poder Judiciário brasileiro são de baixo risco ótimo por que ótimo porque pelo momento que nós vivemos e aqui em consonância com a fala do Conselheiro Bandeira eh nós ainda não sabemos onde vamos chegar nós precisamos regulamentar então que bom que a grande maioria dos tribunais T utilizado a inteligência artificial porque Sem dúvida nenhuma ela vai trazer benefícios mas melhor ainda a gente descobrir que esses achados que ess esses projetos Eles são de baixo risco porque ainda podem ser mais facilmente regulamentados

porque ainda podem ser mais facilmente controlados porque a gente tem uma maior possibilidade no controle de dados e quando eu falo aqui em controle em proteção de dados eu eu me dirijo aqui a uma das maiores especialistas no Brasil a Dra Laura Laura Porto em proteção de dados então é muito importante que a gente tenha essa essa esse controle que a gente tenha essa governança e nós encontramos também outros achados nós fizemos aqui também outros achados no decorrer dessa pesquisa e o primeiro deles é que isso eh uma experiência aqui de um usuário um pesquisador

de um advogado enfim de um professor é que a plataforma sinapse ela não é de fácil interatividade Ela não é uma plataforma amigável ela não proporciona no nosso sentir uma experiência boa para o usuário e isso é do ponto de vista visual e eu digo como alguém que é entusiasta da tecnologia como alguém que é que é um hard um heav user da Inteligência Artificial mas eu não senti não me senti confortável meus colegas não sentiram confortáveis confortáveis navegando na plataforma da sinapse Esse é um ponto eh que a gente tem que mencionar o segundo

ponto é E e esse eh e trouxe maiores consequências paraa nossa pesquisa é que os tribunais têm preenchido essa essa plataforma de forma bastante discricionária e de forma bastante subjetiva eu diria então fica aqui a a ideia o registro de que talvez eu não sei se isso seria possível conversando com com quem trabalha com com a parte mais técnica de Inteligência Artificial que a gente criasse um uma espécie de formulário anexo que orientasse as equipes dos tribunais a responderem essa plataforma porque assim nós teríamos uma padronização maior na coleta do dos dados nós teríamos dados

mais íntegros eles estariam lá já de fato presentes na na própria plataforma em muitos casos nós tivemos que eh eh debater entre nós sobre o que que o que que você a acha a gente se perguntou ISO várias vezes o que que você acha que essa descrição quer dizer algum exercício que a gente tem que fazer para poder fazer essa pesquisa então acredito que o CNJ Assim como nós pesquisadores não vai ter a condição os braços de ir a cada tribunal e fazer uma análise de entender o que que cada projeto diz então é preciso

que essa plataforma seja eh alimentada de uma forma eh mais objetiva eh e aqui também eu quero registrar que essa minuta da resolução ela é interessante pelo fato de estar em bastante consonância em sintonia eu diria com o PL 2338 a classificação e de riscos é algo que foi adotado que é projetado nesse PL isso nos dá uma sensação de sintonia de conformidade nós temos de um lado o poder legislativo buscando regulamentar a inteligência artificial no âmbito geral e nós temos o poder judiciário fazendo uma regulamentação uma normatização em consonância com esse projeto isso nos

dá uma sensação de segurança maior isso evita um problema grave no direito brasileiro da antinomia das normas então nos dá a sensação de a gente tá caminhando para um sistema regulatório específico de Inteligência Artificial Claro cada um em suas áreas em seus pontos mas e é cedo nós Ainda temos o projeto de lei ainda é projeto a minuta ainda não está aprovada mas fica aqui a a minha menção a a esse a essa sintonia ensaiada até o momento eh um outro ponto também que eu gostaria de chamar a atenção é que o grupo de trabalho

ele está bastante antenado com a ideia da ia generativa com a ideia de governância de governança como me precedeu aqui na fala a professora da USP professora Ana professora Dra Ana que registra isso também eu estou plenamente de acordo então a a minha única sugestão de alteração aqui mais uma vez Eu repito falo em nome do grupo eh além do que eu já disse aqui além de ter critérios objetivos para preenchimento eh uma interatividade maior da plataforma sinapse a nossa única sugestão com relação a ao a recat ação vamos dizer assim a movimentação dos riscos

ao reenquadramento dos riscos era deslocar o artigo 7 D Inciso 4 que é o que fala sobre a possibilidade da Inteligência Artificial fornecer eh juízos conclusivos sobre a aplicação de uma determinada Norma essa essa essa classificação tá tida como baixo baixo risco e a nossa sugestão seria que ela fosse movimentada para alto risco porque fazer juízos conclusivos sobre uma aplicação de Norma é algo que para esse primeiro momento nos gera uma uma sensação uma ideia de cautela maior então eu me encaminho para encerramento quero mais uma vez agradecer a oportunidade aos meus colegas de grupo

de pesquisa do Lia eh por me permitirem participar dessa pesquisa e ao grupo de trabalho do CNJ pela oportunidade estar aqui representando o Lia e também a Universidade Federal do Piauí de onde sou egresso e com muito orgulho também sou docente Muito obrigado a [Aplausos] todos muito obrigado Professor eh vocês viram aí né Eh excelente pesquisador também queria registrar registrar o agradecimento a todos os pesquisadores que participaram eh dessa fase né Por quê Porque eh o que que nos estimulou principalmente a produzir esse relatório foi o fato de que há uma uma resistência muito grande

eh quando se vai regular tecnologias quando se vai trazer governança e um medo muito grande de que isso eventualmente trave a execução das novas tecnologias e a próprio e o próprio desenvolvimento da Inovação a gente tinha uma hipótese né a hipótese de que a regulação não vem para travar inovação tanto é que a maioria Muito provavelmente dos modelos é de baixo risco e estão aí existindo né Eh atualmente e essa hipótese foi confirmada pelo relatório ou seja as Muito provavelmente se essa minuta eh for aqui de fato eh com com as devidos ajustes após a

audiência pública entrar em vigor eh a maioria das soluções atualmente em vigor na na no no desenvolvidas pelos tribunais de justiça é de baixo risco ou seja tem baixas obrigações de governança o que não limita eh o desenvolvimento da Inovação muito antes pelo contrário traz uma inovação segura então agradecer Alberto ao Ian a Janaína e ao Uirá principalmente eh pela pela ajuda e já convidar eh O desembargador e Cláudio delorto que está atualmente do Tribunal de Justiça do Estado do Rio de Janeiro para falar sobre uso de assistentes para a elaboração de minutas de decisões

judiciais eh Desembargador a gente não te ouve ainda ainda não ainda não te ouvimos quer passar pra próxima desembagador nós vamos passar pra próxima convidada para resolver os as questões técnicas sempre que a gente fala de tecnologia isso acontece eu já tô acostumada né eh e aí a gente volta para Senhor tá bom ah então vou passar pra próxima convidada que é próximo convidado perdão que é da Associação Portuguesa de direito intelectual de internet internet society e da International Association for artificial intelligence and Law Fernando Rodrigues Peres que é advogado eh e vai falar sobre

o impacto das tecnologias de ag generativa na dinâmica de decisão judicial os riscos e benefícios senhor tem a palavra também ainda não te ouvimos Professor Fernando acho que deve est o problema deve estar com a sala do zoom então né Olá muito boa tarde CONSEG ouvir agora s ouvimos sim ah excelente muito obrigada obrigada a você parce bem muito boa tarde a todos é é um prazer um privilégio estar aqui com todos vocês e ah respeito a todas as as considerações a todas as as nominações cumprimentos já feitos eu faço de forma objetiva porém com

todo o respeito cumprimentando né a ao presidente a toda a composição do CNJ a a composição a presidência organização todos os participantes do grupo de trabalho a presidência da mesa ah pelo privilégio e oportunidade de discutir e de a a um assunto que é tão importante para todos nós Nesse contexto é Um Desafio também eh eh é é um privilégio né ter ouvido já tantas falas ah importantes que abordaram questões que convergem também que que apresenta uma sinergia daquilo que o o nosso grupo também tem observado a dentro do Observatório legal da Inteligência Artificial então

algumas dessas falas eh se por acaso forem repetitivas de alguma maneira na verdade servem para para reforçar né Eh reiterar esse posicionamento nesse sentido Ah e e a inteligência artificial generativa Ela Tem se tornado uma ferramenta poderosa em diversos setores e essa discussão ela é produtiva e e continuará sendo produtiva em diversas instâncias né e no contexto do Poder Judiciário essa aplicação a aplicação da da Inteligência Artificial ela surge como como uma inovação potencialmente transformadora uma transformação que nós ainda a a temos n ainda podemos eh eh eh tentar prever visualizar mas com muitas ah

dessas inovações que Descobriremos no decorrer disso né E nesse sentido a resolução do CNJ ela surge ela surge como um marco regulatório importante ao estabelecer essas diretrizes éticas né e parâmetros de governança para a produção e o uso da Inteligência Artificial na no judiciário brasileiro um dos impactos os principais impactos positivos da da Inteligência Artificial da aplicação dessa tecnologia é a otimização da análise de dados assim como desenvolvimento de várias tecnologias computacionais né e a essa capacidade extraordinária de processar grandes volumes de informações e um curto espaço de tempo faz da ia generativa uma facilitadora

na análise de dados processuais e abre espaço para tomada de decisões melhor fundamentadas e mais coerentes além disso a a automação de certas etapas e a e a utilização de algoritmos capazes de sugerir soluções né entre aspas soluções judiciais permitem uma maior eficiência na gestão ah dos casos reduzindo o tempo necessário para o processamento dessas decisões e consequentemente diminuindo o acgo ah de processo nos tribunais ou seja essa dinamização ela ela auxilia né do começo ao fim todo esse processo nos tribunais outro benefício importante é a redução de erros humanos né eh Há uma uma

questão extremamente importante né Nesse balanço ou seja não se espera num primeiro momento que que a A Iá ela deixe de errar mas o que nós podemos fazer para melhor direcionar a né numa contextualização o aprendizado o que que o Humano o aprendizado humano ele pode convergir para para ver né para que exista então uma redução na nesses erros e se bem treinados e com amplo acervo doutrinário jurisprudencial essa tecnologia consegue cruzar e analisar uma vasta quantidade de precedentes normas contextos de modo a diminuir e até evidenciar a incidência de falhas humanas garantindo maior uniformidade

nos julgamentos por fim a a ia generativa pode auxiliar em áreas administrativas e operacionais também do Judiciário como a triagem de documentos a automação de tarefas repetitivas como preenchimento de formulários e a organização de arquivos dessa forma a os magistrados seus assessores todos os julgadores podem focar em questões mais complexas e estratégicas nesse sentido tá me ouvindo sim estou ouvindo desculpe CONSEG o pessoal da mesa tava fazendo teste de som desculpe aí ah perfeito eh então uma das questões que nós todos nós Eh estamos discutindo Né desde muito tempo e continuaremos discutindo São esses os

riscos ah do do uso da ia generativa Ah e no nosso na nossa discussão na nossa discussão no no poder judiciário né então eh eem equ pere é muito importante fazer o balanço uma análise paralela de todos esses potenciais benefícios e não extingui-los não deixá-los de lado mas é fundamental reconhecer os riscos inerentes ao uso da inteligência artificial em processo de tomada de decisão um dos maiores desafios é o risco do viés do algoritmo como a gente tem comentado e em várias oportunidades hoje que ocorre quando os modelos de Inteligência Artificial reproduzem ou amplificam né

eles não somente eles eles eles desenvolvem em eh conforme forem eh foram orientados né Eh eh aprenderam Mas eles podem amplificar eh determinados tipos de preconceitos presentes nos dados utilizados pro seu treinamento isso pode resultar em decisões discriminatórias e injustas comprometendo princípios fundamentais como a igualdade de tratamento e a imparcialidade outro risco significativo é a dificuldade em garantir Total transparência e a explicabilidade nos resultados gerados pela Inteligência Artificial embora esses sistemas eles possam processar grandes quantidades de dados e fornecer soluções complexas há desafios para explicar de que forma Eh esses Passos né levaram a determinada

sugestão da decisão então a existência de uma transparência ela extremamente para evitar eh a a minar né eventual desconfiança eh da sociedade no uso da tecnologia há também nítida preocupação com a privacidade dos dados utilizados tanto no treinamento a da execução dos modelos de inteligência artificial especialmente em con para que esteja em conformidade com com a lei geral de proteção de dados pessoais como com os modelos de a né como os modelos de a dependem de grandes volumes de informações para funcionar de maneira eficaz é extremamente importante garantir que esses dados especialmente os dados sensíveis

estejam protegidos contra acessos não autorizados vazamentos e uso indevido por fim o risco de existir lacunas na supervisão humana em alguns casos pode haver pode produzir a tendência de acatar decisões automatizadas sem a devida revisão crítica por parte de um magistrado de um julgador O que é especialmente problemático em situações que demandam sensibilidade e julgamento humano a resolução eh eh que é está sendo discutida eh extremamente importante a a para estabelecer né esses esses parâmetros essas diretrizes pro uso da Inteligência Artificial ela ela ela reconhece os avanços trazidos né eh pelo uso da Inteligência Artificial

é claro que destaque no poder judiciário Ah e trata de maneira clara questões como transparência não discriminação e a proteção eh de dados ela precisa abordar ela precisa trazer né e reforçar todos esses esses pontos e nós precisamos considerar algumas questões específicas da ia generativa eh quando se propõe quando Nós pensamos em criar um conteúdo original ou sugerir decisões com base em dados pré existentes existe um risco que se diz que que no que diz respeito à explicabilidade das decisões como nós comentamos e também a previsibilidade dos resultados enquanto a resolução ela trata da Transparência

e da necessidade de auditoria os processos de tomada de decisão da ia generativa podem ser menos intuitivos e mais difíceis de explicar de forma Clara as partes envolvidas o que demanda atenção redobrada dada a evolução contínua da ia generativa da Inteligência Artificial como todo em todos os seus aspectos a a resolução Ela poderia beneficiar-se de um maior detalhamento no que se refere ao monitoramento contínuo dos modelos de a generativa Isso inclui a criação de mecanismos mais robustos para mitigação de viés dos algoritmos e a validação dos resultados gerados por esses sistemas a inclusão de dispositivos

que estabeleçam auditorias frequentes e avaliações rigorosas sobre os modelos gerados poderia fortalecer ainda mais a segurança jurídica no uso dessas tecnologias em síntese eh com e e e com todo o desenvolvimento né Eh eh com todo o desenvolvimento produtivo da resolução que representa um avanço extremamente importante é necessário que ela continue a ser aprimorada para acompanhar as inovações trazidas pela ia generativa oferecendo maior clareza e proteção eh a todos osos envolvidos e principalmente a sociedade como um todo a implementação dessas tecnologias de deag generativa no âmbito judiciário requer então uma reflexão aprofundada sobre o que

o equilíbrio entre a autonomia da ia e a supervisão humana é fundamental estabelecer critérios Claros que definam até que ponto a ia generativa pode atuar de forma autônoma nas decisões judiciais isso garante que a tecnologia seja utilizada com maior segurança em todas essas etapas respeitando os limites limites éticos e legais uma análise cautelosa deve ser conduzida para identificar quais tipos de decisões podem ser Delegados à Inteligência Artificial sem a necessidade de supervisor humana decisões de natureza meramente processual que envolvam tarefas repetitivas ou de baixo Impacto podem ser mais facilmente automatizadas no entanto é crucial que

a gravidade e o impacto de cada ato decisório seja considerado pois determinadas decisões especialmente aquelas que envolvem direitos fundamentais interpretação jurídica complexa ou julgamentos Morais devem encontrar com a intervenção de um magistrado ou precisamos eh entender Em que ponto que essa decisão ela deixa de ter essa atenção eh Inicial pelo menos ao menos numa primeira etapa a delegação total de Tais decisões à Inteligência Artificial Ah sem dúvida Exige uma cautela e pode resultar em consequências inesperadas num primeiro momento para tanto né Eh propõe-se o desenvolvimento de diretrizes específicas que estabeleçam quando a supervisão humana é

indispensável assegurando que decisões críticas sensíveis e com potencial de erro sejam sempre revisadas por um juiz essas diretrizes devem definir não apenas quais decisões exigem acompanhamento humano mas também os momentos exatos em que essa intervenção devia ocorrer o objetivo é garantir que a ia atue como uma ferramenta de apoio e nunca como substituto total do julgamento humano em questões que exijam maior discernimento e sensibilidade ao menos numa primeira fase de transformação né de uso e entendimento do que são Essas tecnologias além disso sugere-se a criação de uma fase de transição entre os atos puramente assistidos

pela ia e as decisões completamente autônomas durante essa fase as decisões geradas pela ia seriam monitoradas detalhadamente com com relatórios periódicos sobre o desempenho do sistema e a consequência de suas sugestões né esse acompanhamento rigoroso ele permitiria ajustes necessários e a correção de possíveis Fas antes que a autonomia decisória da ia fosse ampliada esse processo gradual é essencial para adução segura e eficácia e da tecnologia então Existem várias dessas questões que estão sendo tratadas hoje com uma e com uma natureza né de uma maneira extremamente atenciosa e produtiva eh e a inclusão de sistemas de

auditoria de mecanismos específicos de validação e principalmente diretrizes específicas Para que sejam ditas e que momento que esse eh eh quais são a as etapas que podem ser tratadas de maneira autônoma que não apresentam riscos Quais delas eventualmente e aqui não se dá um juízo de valor sobre quais seriam essas ainda mas e nas decisões quais poderiam ser autônomas e aquelas que são eh não são autônomas em algum momento serão como que se daria esse processo de transição tudo que é explicado eh tudo que é combinado não é caro né então se nós ah eh

certamente teremos uma resistência eh pelo uso de determinadas decisões automatizadas por alguns ah ah por alguns operadores não operadores eh Judiciários mas a própria sociedade pode questionar eh existirão a a a a especialistas em áreas que que poderão eh Em algum momento dizer que essa tecnologia pode ser usada para isso essa não poderá então eu eu dizer olha a essa decisão ela não apresenta o risco por isso ela eu vou automatizar essa por enquanto por enquanto ela não será eh automatizada ou não será inteiramente autorizada mas em algum momento será e o processo de transição

será esse então auditorias não para verificar se está certo ou é errado mas para verificar o que que o ser humano pode eh pode ensinar para ter inteligência artificial também o que que nós podemos conduzir então é é uma maneira ah extremamente produtiva eh para uma uma para um momento em que todos nós já estamos convergindo Aonde a chave já virou aonde não há mais volta e o uso a a dessas tecnologias ela não só pode mas como deve ser utilizada e tudo aquilo que a gente puder prever no sentido de eh eh tudo que

for dentro do do do possível e adequado tudo que nós conseguimos prever em relação à Inteligência Artificial e esse mistério e essa a oportunidade de um desenvolvimento extremamente Complexo da Inteligência Artificial também nos instiga eh tudo que nós podemos prever e determinar do que pode e o que será feito e como será essa transição será extremamente produtiva então eh auditorias eh relatórios explicações paraa sociedade jurí jica e pra sociedade a que não que que que que é impactada de forma indireta também tudo isso trará uma uma segurança muito maior na condução uma segurança muito maior

na condução a de todas essas etapas e e finalizo parabenizando o CNJ pela excelente iniciativa que traz que trará um proveito eh não só para todos aqueles que são atingidos direta mas todos aqueles que são atingidos indiretamente também muito obrigado pela oportunidade O Privilégio em nome do Observatório legal Inteligência Artificial ah Presidente eh D Muito obrigado pela pela condução a dos trabalhos também muito obrigada eh Professor Fernando eh de Fato muito interessantes as suas contribuições e também caminham acho que muito conversam bastante com a com a proposta com a minuta proposta né em termos já

que o artigo sego ele prevê ali eh nos incisos especialmente quatro a a a supervisão humana prevê também no inciso oavo auditabilidade o próprio artigo primeiro também já fala da da importância da auditabilidade dos modelos a a minuta também estabelece principalmente no artigo 7G é que o tribunal desenvolvedor ou contratante deve promover uma avaliação de impacto algorítmico que é feita né Depois da avaliação preliminar durante o ciclo de vida da do desenvolvimento da Inteligência Artificial e essa avaliação de impacto também pode é um processo contínuo né além de ser um processo contínuo também pode ser

reformulada e os quesitos vão ser também necessários e colocados pelo comitê de Inteligência Artificial criado pelo CNJ e disponibilizados na plataforma sinapses então Eh muito muito interessante te ouvir Obrigado pelas suas contribuições e agora passo a palavra para o desembargador Cláudio delorto e do Tribunal de Justiça do Estado do Rio de Janeiro Boa tarde a todas e todos quase boa noite e dizer que é uma honra enorme professora Tainá junquilho participar desta sessão eh que você Preside e temos aqui a oportunidade de ter o que foi falado de manhã como uma visão holística e eu

acho muito importante essa essa terminologia na no uso da Inteligência Artificial porque muitas vezes nós esque os que a essa Odisseia humana no planeta é algo que passa pela criação da mente humana que vai ao longo do tempo acumulando conhecimento e transmitindo esse conhecimento de alguma maneira e ao transmitir esse conhecimento nós vamos permitindo de geração em geração nós termos eh exatamente possibilidade desse avanço como chegamos agora a esse momento dito como um momento só um instante Desembargador que a gente deixou de te ouvir Ah não eu tô fazendo leitura labial alô agora sim voltamos

é então não sei até onde ouviram mas exatamente essa essa introdução é para dizer que a gente não pode eh esquecer que tudo isso só funciona se nós tivermos realmente um planeta em condições de manter a energia sendo produzida seja ela eólica hidrelétrica solar temos que ter uma mineração consciente para produzir exatamente o material eh que vão eh permitir que esses algoritmos funci funcionem que essas máquinas funcionem Então essa visão global é algo essencial para que a gente tenha de fato uma melhoria na nossa qualidade eh de acumular conhecimento especificamente sobre o a resolução 332

eh nós eu presido o comitê de gestão de Inteligência Artificial do Tribunal de Justiça do Rio de Janeiro e toda a equipe nós todos da do comitê nos debruçamos sobre a proposta e apresentamos um documento escrito já encaminhado ao Conselheiro mas sobre os quais eu gostaria de destacar alguns pontos principalmente eh partir da questão do não sei se vem o compartilhamento de tela não sei se vem o compartilhamento de tela mas ainda não vemos o conteúdo enfim vamos vou seguir aqui então a a a questão que nós destacamos é exatamente e já foi dito hoje

aqui AG agora no final da tarde sobre a questão dos vieses discriminatórios obviamente que os vieses Como já foi tratado aqui em toda a atividade jurisdicional nós podemos conviver com eles e temos ferramentas para conviver com a a questão mesmo discriminatória ou a a forma como o juiz eh tem a sua eh interpretação da vida que ele vai julgar eh eh trazida para os altos e obviamente eh sendo isso também uma uma forma muit às vezes de discriminar algum tipo de pessoa ou de situação jurídica o que nós precisamos eh ter como maior atenção no

caso o uso das Ferramentas dos assistentes para a elaboração de minutas de decisões ou de ensas é que alguns algoritmos podem amplificar vieses presentes na forma como os dados são apresentados e a ferramenta deverá corrigi-los e se essa ferramenta não for tiver condições de corrigir os vieses discriminatórios é preciso que a e essa é uma sugestão que apresentamos lá no artigo séo parágrafo terceiro que é diante de uma uma constatação uma impossibilidade de eliminação do do viés discriminatório da solução de Inteligência Artificial isso acarretará mediante decisão fundamentada e é esse ponto é importante a descontinuidade

de sua utilização e o cancelamento do seu registro precisamos portanto ter condições de conviver com a a a ferramenta eh utilizar os mecanismos para corrigir os vieses discriminatórios tentando implementar principalmente o feedback contínuo dos usuários para permitir um ajuste dos modelos conforme isso seja necessário e se nada disso ao final feitas as auditorias eh não for possível corrigir o viés obviamente essa ferramenta não terá condições eh de ser mantida em funcionamento outra proposta que nós estamos apresentando é a inclusão de um relatório de impacto à proteção de dados a ser apresentado ao comitê do CNJ

por quê Porque o judiciário e no fundo o estado brasileiro sempre acaba sendo depositário de informações confidenciais informações sensíveis informações relevantes que não podem ser eh compartilh de uma maneira eh indiscriminada sem que tenha alguma avaliação do impacto porque esse relatório é ele promoveria uma accountability eh fornecendo uma documentação que evidencia as medidas tomadas pelos tribunais para proteger os dados pessoais isso me parece essencial para a confiança do público no uso da inteligência artificial no poder judiciário falou-se aqui logo anteriormente à minha fala na questão da fase de transição certamente Esse é é e é

um momento muito importante quando nós estamos trabalhando aqui no Tribunal de Justiça do Rio de Janeiro com esse modelo que a gente chama de Assis que é um assistente para a elaboração de minutas de decisões judiciais é exatamente a fase de transição para que seja assegurado que tudo aquilo que for gerado dentro do da ferramenta esteja eh sob a a o controle humano e nada possa ser eh passado adiante ou seja ser entregue à sociedade sem uma devida avaliação então nós estamos propondo no artigo 7 a a inclusão no inciso dois do relatório de impacto

à proteção de dados com objetivo de de avaliar os processos de tratamento de dados pessoais que possam gerir riscos às liberdades civis e aos direitos fundamentais e fazemos algumas outras considerações um outro ponto que consideramos também relevante e sugerimos a inclusão no texto da vedação ao compartilhamento dos dados fornecidos pelos usuários do Poder Judiciário Como já disse dados muitas vezes confidenciais dados sensíveis bem como o tratamento que vai se dar esses dados é a proibição de uso ou compartilhamento de dados inferidos a partir destes dados que é um problema que nós temos enfrentado porque eh

as condutas muitas vezes eh dos próprios mecanismos das próprias ferramentas a partir dos dados Eh inferidos esses dados inferidos muitas vezes podem permitir a a o que a gente tem chamado de perfilamento da magistratura brasileira e de demais usuários ou agentes eh do sistema de justiça porque a partir dessas análises de padrões do Judiciário e dos de todos os operadores do sistema de Justiça nós podemos ter um comprometimento da confidencialidade de dados de integrante do do próprio poder judiciário afetando inclusive eh a a a própria segurança não é como eh os juízes estarão eh elaborando

as suas decisões isso é algo que precisamos aprofundar mas a sugestão que fazemos é de acrescentar no artigo o8 e parágrafo terceiro inciso 3 um texto mais ou menos no seguinte sentido as empresas fornecedoras de serviços que o lums e e a generativa devem observar os padrões de políticas de proteção de dados em conformidade com a legislação aplicável sendo vedado o o tratamento uso e compartilhamento dos dados fornecidos pelos usuários do Poder Judiciário bem como dos dados inferidos a partir destes para fins de Treinamento aperfeiçoamento ou quaisquer outros fins não expressamente autorizados O Último Ponto

que nós abordamos na nossa análise da minuta é a questão da qualidade e da segurança das Ferramentas também muitas questões já foram trazidas aqui os modelos entendemos que os modelos tanto em teste como os modelos aprovados devem ser submetidos a uma auditagem regular para preservação dos padrões de segurança e privacidade devem ser definidas claramente regras que considerem a premissa de que a utilização de inteligência artificial é um instrumento para exatamente que está lá no início da ou nos considerandos da resolução eh para promover a transparência e a ética como premissas essenciais do Poder Judiciário Nacional

portanto devem ser coletados dados estritamente necessários ao treinamento da ferramenta não se devendo manter data Lake sem controle quanto ao armazenamento e uso desses dados não é isso também já foi falado aqui hoje exatamente sobre os modelos das abordagens de privacy by design e PR privacy by Def desde a fase inicial de desenvolvimento e mantendo um controle de acesso rígido e eficaz aos modelos e uma coisa que me que nos preocupa muito é a questão dos históricos das versões garantido do que modelos que fiquem funcionais né que esses modelos sejam funcionais durante longo tempo a

remoção em obsolescência seja também tratada de alguma maneira para de alguma de alguma forma garantir que haverá acesso a eventuais dados produzidos por ferramentas que já não estejam mais sendo utilizadas né esse é um problema que nós muitas vezes enfrentamos falou o Senhor Hoje Aqui também de manhã sobre a importância que as ferramentas de Word Por exemplo de todas essas formas utilizar programas computador para a atividades eh simples dentro do Poder Judiciário fizeram que que como que houvesse uma alteração substancial da forma como os próprios juízes os próprios magistrados eh se relacionam com as ferramentas

tecnológicas garantindo portanto que todos nós estamos inseridos nesse mundo eh digitalizado não é temos aí toda uma estratégia Nacional de desenvolvimento de um governo digital o próprio CNJ não só a partir da da resolução 332 mas a resolução que trata da 335 que trata da Plata forma digital o juízo 100% digital da 345 balcão virtual os núcleos de Justiça 4.0 os portais de serviço para os usuários externos tudo isso nos nos no nos mostra que a a inovação tecnológica que a mudança do Passo tecnológico principalmente na questão da linguagem e da transmissão da nossa racionalidade

aquilo que se poderia dizer que o o o homo sapiens chegou até aqui no modelo de uma racionalidade comunicativa né pensada em refletida muito na na lógica do do do habermans mas que hoje estamos evoluindo para um homo digitalis pensado na Ótica do byung churan onde nós passamos para um nova uma nova forma em que a linguagem ela é usada como uma ferramenta para o tratamento das informações e permitindo que a gente possa de fato oferecer à sociedade aquilo que é esperado do Judiciário que são soluções eficientes e eficiência quer dizer qualidade e rapidez na

prestação jurisdicional não adianta nós termos muitas vezes uma Justiça muito com uma decisão muito boa mas que é extremamente tardia que não venha atender e e de fato resolver aquele conflito de interesses que estava eh que foi trazido à percepção à análise do Poder Judiciário então Eh é é muito importante que a gente tenha uma uma uma confiança da sociedade no sentido de que estamos usando ferramentas mas essas ferramentas são ferramentas que estão eh em prol de uma melhoria do Poder Judiciário e que estão sendo sim eh objeto do controle da Inteligência humana portanto eu

peço desculpas pela pela pelo avanço aqui no horário e agradeço muito a oportunidade em nome do comitê de gestão de Inteligência Artificial do Tribunal de Justiça do Estado do Rio de Janeiro o oferecer algumas contribuições para essa resolução Espero que eh amanhã e tenhamos mais eh novas ideias para que a gente de fato e tenha no CNJ o instrumentador dessa mudança desse avanço tecnológico essencial para a justiça Muito obrigado muito nós é quem agradecemos Desembargador Cláudio eh o senhor pode ter certeza e todos os demais participantes que a gente tá aqui bem atento e fiz

várias anotações aqui agradecemos imensamente essas contribuições principalmente essas mais pormenorizadas né sugerindo diretrizes por artigo então importantíssimo relatório de impacto de dados a questão dos vieses a questão eh do da vedação ao compartilhamento de dados a qualidade e segurança dessas ferramentas por meio de auditagem regulares e históri de versões então super relevante fiz várias anotações e tenho certeza que os meus colegas de grupo de trabalho também eh queria finalizar essa mesa essa última mesa né falando um pouco acho que Resumindo um pouco a fala de todos e todas dessa mesa né de fato a gente

não pode e eu costumo brincar sempre brincar de uma situação que é é é verídica né quando a gente tem um atendente telefônico que não vai às vezes não vai resolver nada a nossa situação mas a gente tá ali tentando resolver um problema e a gente tá falando com Robô a gente vai esperar todas as opções e geralmente a gente vai escolher a última nem que seja para brigar para falar com atendente né a mesma coisa a justiça então quando a gente tá falando de de Justiça de de de coisas muito mais relevantes ainda do

que um caso de atendente telefônico que é uma pessoa que vai tá julgando a gente claro que quer prezar por um julgamento humano então obviamente a gente sabe que tem uma Justiça no Brasil abarrotada de processos e os juízes eh cometas de produtividade Mas a gente não pode em nome de uma eficiência também deixar de lado limitações e governança trazer governança né então Eh tudo que foi falado aqui acho que vai ao encontro eh dessa dessa ideia que tenho certeza que é a ideia também dos meus colegas de grupo de trabalho eh E assim a

gente finaliza o primeiro dia tô muito feliz Agradeço o conselheiro Bandeira eh pediu aqui para eu falar em nome dele pedindo desculpas por ter precisado se ausentar mas eh pediu para avisar ele é formalmente conciliador da repactuação de acordo do desastre de Mariana e eh na tarde de hoje ali no final da tarde está acontecendo ali um acordo então o acordo então ele precisou se ausentar me deixou aqui para essa honrosa missão de de assumir os trabalhos de finalização desse dia de hoje após tantas relevantes discussões e estamos ansiosos para os próximos encontros as próximas

mais dois dias de discussão Agradeço a todos e todas que falaram agora nesse último painel a todos e todas também que estiveram presente presentes tanto online quanto aqui no presencial e só para finalizar também convido a todos e todas a a conhecerem esse mapeamento que a gente fez no site do laboratório do Lia idp laboratório de regulação e governança da Inteligência Artificial muito obrigada e estão encerrados os trabalhos por [Aplausos] hoje senhoras e senhores agradecemos os pronunciamentos realizados e com a devida autorização declaramos encerrado o primeiro dia da audiência pública sobre inteligência artificial no poder

judiciário retomamos a programação amanhã às 9 horas Tenham todos uma boa noite i