Unknown

senhoras e senhores boa tarde neste momento retomamos a programação da audiência pública inteligência artificial no poder judiciário informamos que para os que participam virtualmente o registro de frequência deve ser feito por meio do link disponibilizado na descrição deste vídeo para quem participa de forma presencial a frequência foi registrada durante o credenciamento as audiências públicas organizadas pelo Nacional de Justiça seguem formalidades para sua viabilização assim em respeito às tradições desta casa e aos argumentos defendidos pelos senhores expositores não serão permitidas quaisquer formas de manifestação não previstas e pronunciamentos com temas estranhos à audiência solicitamos que atentem

para limitação de tempo oferecido a cada expositor e instituição credenciada não haverá adicional para reprodução de vídeos ou slides informamos que o cronômetro será acionado ao início de cada exposição para evitar incorreções relacionadas à contagem do tempo para que todos tenham a mesma oportunidade pedimos aos participantes que se atenham ao tempo determinado de fala que é de 15 minutos daremos início à mesa 3 proteção de dados privacidade e segurança na utilização de artificial para a condução dos trabalhos tem a palavra a dout Laura Porto Boa tarde a todos e a todas uma alegria retornarmos os

trabalhos do nosso GT de inteligência artificial no judiciário contando com a excelente contribuição de toda a sociedade de todos esses profissionais incríveis Obrigada que tivemos até agora um altíssimo nível de debate e contribuições eu quero cumprimentar aqui todos os presentes almente e fisicamente cumprimentar os ilustres membros do GT e o ilustre Conselheiro Bandeira presidente da nossa do nosso GT que está fazendo um magnífico trabalho à frente dessa dessa atualização da resolução é bom vamos falar agora de um tema que nos é muito caro muito importante que é a proteção desse direito fundamental proteger dados pessoais

proteger a privacidade que também tem uma correlação muito grande com a questão da inteligência artificial no poder judiciário e vamos contar como os senhores já viram na programação com membros ilustres e muitas contribuições já agradeço e eu desde logo já passo a palavra ao Dr Alexandre ateniense que é advogado com 37 anos de experiência atualizou se em internet Law na eh berken client Center de da de Harvard Law School presidente da Comissão de direito e tecnologia da informação do Conselho Federal da OAB de 2002 a 2010 durante esse período também foi membro do comitê de

regulação de processo judicial eletrônico no CNJ por 2 anos MDA comissão de direito digital do iab que é Instituto dos Advogados do Brasil autor e coautor de 50 obras publicadas no Brasil e no exterior sobre direito digital sendo seu último lançamento golpes digitais estudo de jurimetria Doutor seja muito bem-vindo senhor está com a palavra obrigado ah ok bom eh antes de mais nada gostaria de agradecer ao ao Conselheiro Bandeira pela gentileza do convite de me dar essa oportunidade também saudar Dra Laura É com grande satisfação e até mesmo com a sensação de Dejavu que eu

volto ao ao CNJ sobretudo Porque eu tive uma atuação marcante na época há 17 anos atrás na lei uma discussão da lei do processo judicial eletrônico e eu começo fazendo um paralelo entre como que a lei do processo judicial eletrônico pavimentou o caminho para esses projetos de Inteligência Artificial que nós temos hoje eh sem aquela lei certamente nós não teríamos pauta para poder estar discutindo esses assuntos hoje e não seria equivocado dizer que o Brasil desponta entre os três maiores países do mundo com Big Data eh jurídico somos 88 milhões de processos 93 tribunais que

geram eh dados que vão ser tratados pela Inteligência Artificial diariamente isso faz muita diferença não precisa nem dizer que nós somos líderes a respeito desse setor eh de inteligência artificial na América Latina porque não tem outro país que tem o mesmo volume de dados que nós temos e que continuamos gerando porém eh naquela época eu me lembro que quando a lei entrou em vigor estava na presidência dessa casa ministra Helen Grace e o discurso que nós tí era no sentido de que vamos terminar com a burocracia do Papel o processo digital vai ser mais célere

porque a burocracia do Papel vai deixar de existir os pontos de inércia causados pelo processo de papel vão deixar de existir e por isso o processo vai ser mais rápido e o fluxo de processo Será menor muito bem isso não foi alcançado e no meu ponto de vista pessoal enxergo da seguinte maneira era muito difícil começar aquele projeto de processo judicial eletrônico pelo gabinete do magistrado então focou-se apenas em relação a ao gabin secretaria da vara ou da câmara mas ali ficou então nós tivemos na verdade um processo judicial eletrônico com práticas processuais por meio

eletrônico e não necessariamente um suporte ao apoio decisório do magistrado o magistrado continua trabalhando no nosso país com as mesmas ferramentas sistêmicas que ele trabalhava a mesma metodologia de trabalho antes da lei de processo judicial eletrônico a 17 anos atrás então agora nós estamos diante de uma oportunidade única uma oportunidade de fazer com que os magistrados do Brasil eh não tenham tanto que passar por uma situação que o processo saia concluso muito rápido a secretaria chegava no gabinete ele não tinha um apoio sistêmico que mereceria ter para decidir e a inteligência artificial vem justamente para

poder suprir essa lacuna né Então essa oportunidade de fazer com que a inteligência artificial possa propiciar de maneira prática eh um aumento da celeridade processual para mim é de todos é o marco mais efetivo que nós podemos alcançar entretanto eu tenho uma um posicionamento que ao consultar diversos projetos de Inteligência Artificial que estão no portal do CNJ predominantemente percebo que esses projetos Eles foram elaborados muito mais para poder atender soluções com inteligência artificial interna corporis do Poder Judiciário e não necessariamente eh buscar inovações para que a para que o jurisdicionado também possa gozar de benefícios

em relação a isso me lembro que naquela época nós tivemos uma grande discussão no determinado momento porque a os a o debate era é o seguinte a a nós temos que falar em processo judicial eletrônico como uma solução do do Poder Judiciário ou da justiça e obviamente deveria ser da Justiça então nós tivemos alguns avanços muito interessantes eh quando eu leio a a resolução 332 eu fico muito feliz de ver por exemplo um capítulo destacando expressamente a questão da governança isso revela que 17 anos depois nós temos mais maturidade para poder admitir que um modelo

de implantação de de Inteligência Artificial passa indiscutivelmente para que a gente possa ter uma governança ou seja uma participação ativa de todos os atores processuais naquela época isso não aconteceu e e isoladamente alguns Alguns tribunais abriam as portas para que advogados pudessem participar da elaboração dos sistemas ou mesmo verificar se aqueles estavam em conformidade ou não então eh eu acho que esses projetos tinham que ser um pouco mais amplos para poder abarcar Soluções necessárias para a justiça brasileira e não apenas para o o judiciário eh tem uma sugestão muito interessante eu achei interessantíssimo o o

guia eh para a elaboração de ementas que foi elaborado pelo pelo pelo CNJ e aqui eu vou revelar uma uma experiência pessoal eu estou prestando consultoria para uma desembargadora e nós estamos testando diversos promos piando base de conhecimento a partir dos julgados dela e juntamente com legislação doutrina e os resultados têm sido fantásticos eu peguei todo aquele guia e transformei num prompt e o que saiu de perfeição um voto Seguindo os padrões do CNJ foi Fantástico então fica já uma uma sugestão para que eh a gente transforme aquele guia no prompt e quem sabe um

repositório de prompt para que as pessoas para que os serventuários os magistrados tenham um aprendizado muito r rápido através dessa troca de experiências Eu acho que isso seria de grande valor Eh agora eh eu eu acho que um outro ponto que eu gostaria de levantar uma uma discussão é sobre um dispositivo no no na resolução 332 que de certa forma Veda que serventuários e e magistrados possam utilizar sistemas de Inteligência Artificial desenvolvido por terceiros eh eu acho isso uma forma até muito difícil de controlar Porque do mesmo jeito que a pessoa pode usar o editor

de texto que quiser a plan o o seu software de planilha sempre vai haver essa possibilidade e E aí se os se dando esse exemplo que eu acabei de citar se por acaso o magistrado quiser criar sua base de conhecimento a partir dos seus julgados colocando isso num uma ferramenta que ele contrata Por que que ele não poderia fazer isso que mal H nisso não vejo porque isso prejudicar em nada se ele quiser utilizar a inteligência artificial não como a grande maioria dos brasileiros utilizam hoje apenas fazendo prompts e tendo respostas mas criando uma forma

mais avançada de ter essas bases de conhecimento né E então agora já passando para uma parte mais crítica em relação a às questões que eu apontei e que inclusive depois vou encaminhar ao ao ao presidente eh Conselheiro bandeira sobre algumas pequenas revisões técnicas eh em relação ao ao texto eu destacaria inicialmente são três sugestões apenas a primeira sugestão seria relativa ao Capítulo três o capítulo que lá está descrito como sendo o Capítulo de não discriminação existe uma situação técnica relativa à Inteligência Artificial que precisa ser observada não há que se falar de não discriminação sem

de deixar de lado uma menção expressa aos chamados dados balanceados o que que seria dados balanceados dados balanceados seria mencionar expressamente que qualquer modelo que vem a ser treinado de Inteligência Artificial deve ter um equilíbrio entre as diversas classes entre os diversos grupos étnicos entre as diversas eh diferenças demográficas se nós não tivermos esses equilíbrios Lírios observados e sobretudo eh estabelecer critérios eh bem definidos sobre como calcular esse equilíbrio né E ao mesmo tempo não deixar que um sistema de Inteligência Artificial comece a ser implantado sem antes passar por uma verificação quanto a esse equilíbrio

eh dos dados balanceados seria a melhor solução então a minha a primeira sugestão é que a gente modificasse o nome daquele Capítulo três para colocar como se fosse eh da da não discriminação e também dos dados balanceados eh trazendo eh conceitos expressos objetivos diretos sobre como podemos eh garantir eh que qualquer sistema do Poder Judiciário ao ser desenvolvido antes de ser desenvolvido também se preocupa em preencher esse requisito essencial para que a gente possa ter eh um software de de Total equilíbrio eh o segundo ponto eh se refere ao Artigo 8 inciso 6 o artigo

8 inciso 6 eh ele ele aborda que será necessário fazer uma um detalhamento muito explícito de todos os critérios que foram utilizados para fins de eh demonstrar como que o resultado obtido pela Inteligência Artificial foi elaborado qual seria a metodologia quais seriam os critérios E aparentemente uma iniciativa louvável porque eh traz transparência em relação a isso porém eh se houver a utilização de sistemas de inteligência artificial com redes neurais ou seja sistemas que tem um volume maior de processamento com mais camadas de processamento eh essa essa justificativa detalhada ela é praticamente impossível de acontecer então

muitas vezes é funciona como se fosse uma caixa mágica você coloca uma uma pergunta essa caixa mágica processa inúmeras situações ou seja esses neurônios entre aspas processam muitas informações e depois TR o resultado E é praticamente impossível você ter esse detalhamento eh muito circunstanciado a respeito de como é que se obteve aquele resultado então no meu ponto de vista a gente deveria trocar a a redação daquele artigo no sentido de fazer com que a gente definisse que existem parâmetros necessários em relação à revisão humana em relação ao equilíbrio quanto às decisões para de uma certa

forma se deixar o texto atual certamente se tiver que essa obrigatoriedade de justificar sempre qualquer decisão eh nós vamos ter duas situações eh nós talvez poderíamos só desenvolver sistemas de Inteligência Artificial mais superficiais Onde ficaria mais fácil fazer essa justificativa e não necessariamente eh o que nós queremos que nós queremos avançar até mesmo para poder utilizar as redes neurais para fins de obter melhores resultados com a inteligência artificial e por último eh eu me refiro ao artigo 10º eh item Um item dois eh e esse artigo 10º item do ele se refere a uma vedação

de que não podemos eh aceitar a possibilidade de que já existindo uma solução de Inteligência Artificial Idêntica eh não há não há necessidade ou não não deverá ir adiante uma uma um um novo sistema de Inteligência Artificial porque já existe um idêntico ora software é um produto inacabado porque deriva da Inteligência humana então Eh se a gente faz essa vedação muitas vezes a gente pode estar obstruindo inovações novas funcionalidades fantásticas que que poderiam ser perfeitamente através desse desenvolvimento comunitário seri observadas Então eu acho que toda vez eu coloquei um detalhe singelo no texto é que

salvo eh houver uma justificativa para poder fazer outro outra utilização de um sistema paralelo porque certamente esse sistema pode trazer inovações né funcionalidades diferentes e por isso deveria também poder ser eh absorvido essas ideias essas inovações nesse desenvolvimento comunitário e da mesma forma criar um mecanismo para que a gente possa de tempos em tempos validar se essas soluções que foram vamos dizer homologadas pelo CNJ estariam sim no no nível mais eh adaptado mais mais elevado em termos das soluções de Inteligência Artificial eu não teria como deixar de passar essa oportunidade de saudar os os o

CNJ na pessoa do Conselheiro Bandeira porque nós estamos passando por um momento muito diferenciado eh para mim é um novo divisor de águas eh não não se iludam eh utilizar um sistema de inteligência artificial para magistrado ou para eh serventuários ou mesmo para qualquer ator judicial não é aprender o novo software nós estamos falando da mudança de um modelo de pensar um modelo de agir eh no nosso escritório nós já temos hoje 35 bases de conhecimento e não há uma peça que é elaborada sem que antes seja feita pela Inteligência Artificial então eu acredito que

nós vamos chegar rapidamente nesse modelo Ou seja que os magistrados primeiro vão pegar o modelo que vai ser elabor a partir de uma base de conhecimento que Ele formou que o tribunal formou para que depois então ele possa fazer os ajustes agora uma outra crítica as decisões que hoje hoje existem e eu fiz essa análise nesse meu último livro que é o estudo de jurimetria onde eu consegui extrair cerca de 40 metadados eh elas são totalmente desestruturadas Então essa esse exemplo que o CNJ deu desse guia ele deve ser objeto ao meu ver de uma

campanha contínua para poder fazer com que as decisões brasileiras sejam melhor estruturadas e a partir daí nós tenhamos muito mais objetivos porque afinal de contas nós estamos só no ano dois da Inteligência Artificial Saúdo a todos e agradeço mais uma vez por essa oportunidade por favor bom inicialmente cumprimento a todas e todos aqui presentes Professor Alexandre eu pedia excepcionalmente a palavra só para fazer um comentário porque acho que também estamos aqui para debater também né amente a versão primeira do da nossa resolução ela trazia esse dispositivo que o senhor mencionou e eu fiquei na dúvida

depois Qual foi a versão que chegou à suas mãos eu fui proo site que tá publicado no site Pois é porque o a versão essa Eu tava na versão de 2020 eu acho é na verdade existiu alum momento uma sugestão de vedação de que um tribunal desenvolvesse solução Ah quando já houvesse outra Idêntica fui checar forma que tá agora na versão em discussão talvez tenha mudado nesse meio tempo tá assim os órgãos do Poder Judiciário envolvidos em projeto de ia deverão dois pontos el tem o inciso um como informal o CNJ tal inciso dois que

é o que o senhor falou promover esforços para atuação em modelo comunitário com desestímulo então não ficou mais vedação com desestímulo ao desenvolvimento paralelo por um tribunal quando a iniciativa possuir objetivos e resultados alcançados idênticos e compatíveis com o modelo de Inteligência Artificial já existente com projeto em andamento e o tribunal né talvez tenha su avisado para tentar atender amente flexibilizar e no meu caso ao invés de colocar deses eu falei assim salvo Se houver uma justificativa em termos de inovação porque a ideia justamente É permitir que os tribunais colaborem cooperem entre si Então você

já tem um módulo desenvolvido por um tribunal x o tribunal Y poderia aproveitar aquilo sem ter que desenvolvê-lo novamente essa é a ideia mas claro eh também não quisemos vedar porque às vezes a estratégia interna ter do tribunal exige que se avance às vezes de uma linguagem diferente com banco de dados diferente com is é incompatível um outro já existente Daí foi a a preocupação mas mas perceb que Senor tava atento porque o Senhor pegou efetivamente existiu essa versão da vedação e acho nas últimas revisões que o a trocou para esse desestímulo gente com essa

preocupação agradeço toda forma registro aqui ess relevante contribuição obrigado obrigada Conselheiro Bandeira pelas colocações e muito obrigada doutor pelos apontamentos os senhores viram que um comentário aqui já gera um Grande Debate inclusive muito boa colocação nós paramos na hora para ver exatamente se ainda estava o vedado ou não e a questão de da Trans de buscar essa transparência na governança foi um ponto que nós levamos muito em consideração eu acho isso foi uma grande Vitória sabe gente porque não era fácil por exemplo eu muitas vezes eu atuava eh como sendo um representante da OAB para

poder fazer uma análise do software do STJ do STF para saber se ele estava em conformidade por exemplo com o estatuto da advocacia Então os desenvolvedores sistêmicos muitas vezes não se atentavam a detalhes que estavam na lei não é a praia deles e e agora com a essa maturidade da governança certamente esses problemas não vão acontecer mais sem dúvida obrigada doutor excelente contribuição e Aguardamos a as indicações aqui o envio perfeito ah agora vamos paraa próxima pessoa que será virtualmente quem falará agora será o professor Gustavo rabai que é da Universidade Federal da Paraíba e

o tema será o uso de dados pessoais para o treinamento de a no poder judiciário a importância da Transparência e rastreabilidade Dr Gustavo está com a palavra nos ouve sim ouço sim professora Laura uma satisfação estar aqui presente com vocês agradeço aí a a inscrição paraa participação eh fico aqui muito lisongeado eh pela possibilidade de contribuir de uma forma ainda que modesta e Saúdo o professor o conselheiro Luís Fernando Bandeira de Melo contemporâneo ainda de minha época em Brasília Quando do doutorado na UnB e também que eh participei trabalhei também uma época no senado então

a satisfação reencontrá-lo parabenizar todos pela audiência até agora as sessões têm sido muito produtivas pelo que eu pude acompanhar e dizer que eh eu eu tenho trabalhado esse tema há algum tempo Ah desde a UFPB como também passando por projetos privados como é o caso da legal Mind da qual eu sou fundador e também agora atualmente no curso de pós-doutorado sobre inteligência artificial e proteção de dados na atus do Rio Grande do Sul sobre a supervisão do Professor José Renato chella que é um dos Pioneiros também na temática né a tese doutorado dele sobre inteligência

artificial e direito remonta a 2008 e ele também foi sócio eh professora Laura do nosso saudoso Danilo doneda né com quem podemos aprender também bastante sobre proteção de dados que é o tema que eu sei que é é o tema mais central de suas pesquisas Professor Alexandre ateniense também que é um um antigo companheiro de batalhas no direito digital também um dos Pioneiros Então eu tenho que eh fazer essa introdução relacionando a essa preocupação com a crescente adoção dos sistemas de inteligência artificial no judiciário que trazem consigo eh a promessa de uma maior eficiência de

uma maior produtividade e até mesmo de maior precisão nas decisões judiciais essa tônica da acurácia que hoje pela manhã foi muito bem salientado pelo Dr Lucas e pela professora Laura schertel mas que na verdade escondem outros eh diversos problemas diversos riscos que a gente acaba ah colocando nessa gramática de uma forma ainda muito introdutória ainda muito abstrata e com a medida em que o sistemas eles vão surgindo E aí eu adotaria até como paradigma de análise empírica um sistema recém implantado eh em testes ainda pelo Tribunal de Justiça do Rio de Janeiro o Assis que

é de fato um um sistema que vai eh já antecipar minutas né ou seja ele já vai produzir já vai gerar por meio de um sistema computacional minutas de decisão E aí isso traz vários pontos de atenção então acho queem fina sintonia com o que vem fazendo o Conselho Nacional de Justiça no Brasil a comissão Europeia com relação às diretrizes para o uso ético e transparente da ia no judiciário eu destaco as diretrizes que fazem parte então de um programa da UNESCO O programa de ai and the Rule of Law que tá sobre a coordenação

da iniciativa global de juízes e que traz diretrizes abrangentes para orientar o uso ético da ia por tribunais e Cortes Então a partir da análise do guidelines né for the use of ai Systems em courts and tribunals ele foi publicado em agosto paraa consulta e até o último dia 5 de setembro estava recebendo contribuições né de toda a comunidade eh de científica E aí eu vou destacar eu acabo eu eu começo pelo fim né acabo achando mais relevante trazer de volta para não ficar monótono as questões relacionadas aos riscos para destacar exatamente a importância da

privacidade lado a lado com a importância da da proteção de dados ao lado da Transparência né quando a gente fala de privacidade de dados a gente também não pode descurar de que antes de mais nada a transparência algorítmica vai ser sempre talvez eh a a o o topo né a a o cume enfim de nossas preocupações então a falta de regulamentação adequada pode levar como foi falado ao longo dessa audiência pública há vários riscos né como riscos de viés e discriminação a transpar insuficiente a questão mesmo da privacidade por si só e da segurança dos

dados até da qualidade dos dados também que é uma garantia da lgpd qual a gente pode até aprofundar um pouco mais nesse aspecto do artigo sexto dos princípios Mas eu também falaria especificamente sobre explicabilidade compreensão e a própria ideia da ausência de auditorias como uma violação do princípio da accountability né da responsividade né da responsabilização que acaba também mais uma vez umbilicalmente ligada à ideia de transparência e esse conceito que a gente vê no debate sobre implantação da ia na administração pública relacionada à explicabilidade a própria compreensão do que é que o sistema faz então

destacados esses pontos de atenção esses pontos de risco que que é interessante a gente extrair desse documento da Unesco dessas diretrizes na sua versão Inicial na sua versão draft e agora com as contribuições que foram enviadas pela comunidade agora ainda no mês de setembro eh pensando na nos pilares da Transparência e da rastreabilidade de dados como garantias para que a gente possa ter a implantação dos sistemas de a com a máxima ah transparência e sobretudo a máxima proteção sobre os dados pessoais que podem ser utilizados às vezes de maneira inadequada para o treinamento das Ferramentas

Então essas diretrizes da Unesco elas enfatizam a necessidade de se fornecer informações Claras e acessíveis sobre quando e como as ferramentas de a são utilizadas e Isso inclui a divulgação das versões de software dos dados utilizados para treinar os modelos e também a análise de impactos potenciais sobre os indivíduos envolvidos nos processos judiciais e aí se fala entre outras questões das Ferramentas como os chamados Model Cars falando em privacidade como preocupação Central nas diretrizes da Unesco Os Protocolos de consentimento eles precisam ser implementados para o tratamento de dados pessoais em conformidade com as leis locais

de proteção de dados e privacidade e Então a nossa lgpd será obviamente o norte além das resoluções da npd né de adendas e considerando andas e princípios que são desenvolvidos na prática na no dia a dia né dessa temática para que a gente possa ter eh uma forma de utilização segura dos dados desde o treinamento até mesmo aí a o desenvolvimento de eh rotinas e procedimentos nos tribunais que sejam de uma forma mais uniforme possível eh controladoras desse tratamento dos dados que vão ser utilizados para as diversas tarefas no curso né da atividade jurisdicional impulsionada

por sistemas computacionais Então as técnicas de anonimização eh trata--se de uma recomendação Clara para processar dados pessoais Especialmente na criação dessas bases de dados para análises jurídicas eh o equilíbrio também entre a necessidade de dados abertos e o direito à privacidade como um ponto fundamental para ter a confiança mas eu queria destacar sobretudo que eh é importante né no fim do dia garantir pelo menos o dever de transparência e rastreabilidade dos algoritmos utilizados por tribunais para treinar seus sistemas de a um ponto fundamental até para garantir a privacidade dos dados a sua integridade e a

sua qualidade a partir sobretudo dos princípios éticos na própria transparência em si né de per que que também tá prevista na lgpd no artigo 6to ah a ideia de responsabilidade de accountability sobretudo por meio do conceito de eh explicabilidade que é algo extremamente novo nesse universo e a supervisão humana como pontos fundamentais paraa governança e e sobretudo a governança de algoritmos no contexto judicial e a tomada de decisões sobre eh o grau de utilização e a especi I idade dos sistemas os A modelagem das Ferramentas que deverão ser adotadas seja de forma eh ser uma

ferramenta única uma ferramenta uniforme seja através de critérios básicos que os tribunais deverão observar necessariamente E aí é importante dizer que quando a gente fala de Transparência a gente tá falando de governança de algoritmos a gente tá falando de Transparência algorítmica E aí eu não vou entrar muito dos detalhes né como a própria professora Dora Kaufman ontem nos trouxe algumas algumas algumas eh alguns Marcos eh relevantes sem também entrar muito no tecnicismo é crucial que a gente entenda o que é informação significativa dentro da ideia de Transparência algorítmica sobretudo porque no poder judiciário nós estamos

falando de um impacto muito grande na sociedade as decisões judiciais Elas têm uma feição pragmática muito grande por conta mesmo da ideia né de uma um suporte legal e uma justificação das decisões para a a própria compreensão de uma comunidade linguística então ao tempo que a gente fala de uma uma perspectiva né de eh modelos amplos de linguagem a gente entende também que isso vai vai perpassar a própria compreensão da sociedade em relação a esses deveres e a esse papel do Poder Judiciário que vai que tá em relação a todos então quando e como as

ferramentas de a são utilizadas passa a ser também um direito dos cidadãos né E nesse Campo a Unesco ela expande bastante esses conceitos relacionados ao Impacto ético né mais do que simplesmente o impacto de algoritmos Ah e Incluindo aí né a instrumentos de Transparência como ferramentas como os Model cards que podem ser utilizados para divulgar informações sobre o desenvolvimento e funci famento dos modelos de a incluindo os dados utilizados no próprio treinamento Inclusive tem um report específico sobre e transparência de algoritmos um um Reporte de estado de arte né do Global partnership on artificial intelligence

que o manuscrito da Unesco faz menão direta e nessa nesse sentido a privacidade de dados passa pela ideia de Protocolos de consentimento como eu tinha mencionado e anonimização de dados a responsabilidade a prestação de contas está exatamente eh na possibilidade de se cobrar a divulgação né um dever de divulgação um dever exante de divulgar o sistema né Di a o uso dos sistemas e o dever expost de fornecer informações adicionais quando necessário até pra gente determinar responsabilidade os magistrados eh têm utilizado sistemas privados eh às vezes até por sua conta eh custeando eles próprios do

próprio bolso e às vezes esconde exatamente essa possibilidade de um mau uso das Ferramentas Como já houve precedentes eh inclusive no Tribunal Regional Federal da Primeira Região e as auditorias algorítmicas para garantir Exatamente Essa viabilidade eh da implementação e do uso seguro dos sistemas com a colaboração direta dos desenvolvedores agora em termos de explicabilidade de compreensão é onde a gente vai encontrar o ponto chave pelo menos na minha Ótica desses dessas diretrizes da Unesco a perspectiva do que é uma ia explicável que o documento traz Ah num conceito de que os sistemas de a devem

ser capazes de explicar suas decisões caracterizar os pontos fortes e fracos dos seus processos de tomada de decisão e prevê o comportamento futuro em relação ao impacto nos direitos humanos as ferramentas de avaliação de impacto como a ethical Impact assessment da própria Unesco podem ser usadas para avaliar os impactos dos sistemas de a nos direitos humanos a explicabilidade portanto ela está relacionada ao princípio da responsabilidade e prestação de contas no sentido em que os desenvolvedores e operadores de sistemas de a eles devem ser capazes de fornecer explicações Claras e detalhadas sobre como e por uma

decisão foi tomada para uma discussão mais aprofundada sobre o que significa responsabilidade no contexto de governança da ia inclusive o documento ele cita um artigo específico e accountability em artificial intelligence what it is and How it works de Cláudio Novelli Maria Rosário Tadeu e Luciano floride então o próprio documento ele traz referências muito importantes nesse cenário eh então continuando o destaque final que eu daria já já encaminhando paraa conclusão é que o documento ele fala em certa altura numa das Caixas né que ele coloca sobre os pontos Chaves que além da própria ideia né de

Transparência qualidade integridade de dados a necessidade proporcionalidade adequação ele traz as ferramentas de análise de impacto algoritmo e ele utiliza a expressão assessments e a expressão evaluations então a gente teria como a ideia de assessment ou avaliação de impacto algorítmico o exame dos sistemas quando Eh que que ocorre antes da implantação para avaliar os impactos sociais futuros e identificar potenciais riscos que podem inclusive se concentrar em áreas específicas como a questão da proteção de dados privacidade não discriminação e tem suporte no documento no Instituto ada Love Lace e no data kind do Reino Unido entre

outros autores também esses autores dão suporte ao conceito de evaluations ou seja valoração vamos traduzir assim por falta de uma expressão melhor a valoração de Impacto algorítmico que é o exame dos sistemas algorítmicos que ocorre após a implantação para avaliar seus efeitos sobre os usuários ou impactos na populações afetadas Então esse dever de realização da avaliação de impacto seja como avaliação ou análise de impacto independentemente da terminologia eu acho que é um ponto importante para que seja revisado na futura resolução e a gente possa contribuir nesse sentido então Agradeço o espaço e fico à disposição

para eventuais eh aprofundamentos muito obrigado obrigada Dr Gustavo importantíssimo tema sobre a transparência e a rastreabilidade dos algoritmos para principalmente garantir uma governança mais estruturada então Agradecemos muito iremos também levar muito em consideração na verdade já levamos né esse esse documento importantíssimo da Unesco E desde logo também vou passar a palavra agora para a doutora advogada pesquisadora Larissa Matos da Universidade de São Paulo que vai falar sobre a proteção de dados no uso da Inteligência Artificial Doutora está com a palavra muito obrigada dout Dra Laura Boa tarde a todos eu agradeço aqui a atenção e

a oportunidade também de participar deste debate importantíssimo e bastante rico eu estou aqui na condição na verdade de uma pessoa que atua e pesquisa na área trabalhista e venho mais externar uma preocupação em relação com a partes hipossuficientes A exemplo dos trabalhadores eu recentemente lancei um livro pela Editora mun chamado Inteligência Artificial algoritmos e direito do trabalho onde eu traço ali alguns limites e eu lendo a resolução fiquei pensando aqui que a resolução ela aborda eh diversos aspectos importantes da Inteligência Artificial Mas pela leitura Eu senti falta eh de algo mais específico mais notório em

relação a ao respeito à proteção de dados dessas pessoas hipossuficientes E aí eu também posso eh incluir os consumidores então tendo em conta por exemplo esse primeiro aspecto eu gostaria de também observar que eh não sei se é o caso de o judiciário o CNJ vir a proibir o uso da ia aberta dentro do Judiciário porque embora a resolução mencione aí restrições sobre o uso da Inteligência Artificial aberta eh eu não vi uma proibição explícita sobre o uso da ia eh eh eh como por exemplo as plataformas como chat GPT e eu digo isso porque

eu entendo que essa e a aberta que opera fora do ambiente controlado pelo Judiciário ela pode representar um risco bastante elevado para o vazamento de dados sensíveis o que toma uma proporção muito maior quando a gente está falando de partes hipossuficientes E aí a minha preocupação é com esses processos trabalhistas com os trabalhadores e trabalhadoras em relação à questão da proteção de dados e a conformidade eh com a lgpd a resolução realmente menciona a necessidade de proteção de dados pessoais mas eu entendo que faltam ainda regras mais claras e específicas para garantir que esse tratamento

de dados ele se dê eh ele possa se dar de forma mais adequada por exemplo eh prevendo aí a adoção de mecanismos Possivelmente algum mecanismo de anonimização de minimização de dados para proteção dessas partes hipossuficientes a eh e sobre a questão também Os dois anteriores principalmente o o Dr Gustavo já tocou num ponto que eu vou pular aqui da minha explanação mas sobre a imparcialidade e a prevenção de por exemplo vieses nas decisões preditivas a resolução ela trata do tema e prevê ali a supervisão humana mas eh não não se não sei se está muito

clara a questão de como garantir essa imparcialidade então entende que a resolução poderia incluir mecanismos específicos como por exemplo de auditoria para garantir que essas decisões preditivas preditivas elas não reforcem eh desigualdades estruturais especialmente contra trabalhadores e trabalhadoras por exemplo é possível prever instrumentos de monitoramento contínuo dos algoritmos para evitar que esses dados enviesados eles perpetuem injustiças dentro eh das decisões e e entra aí a questão também da Transparência a transparência de saber como essas decisões são tomadas e a possibilidade de contestar E essas decisões Então as partes prejudicadas poderem contestar E aí nesse ponto

eu alinho as minhas palavras com uma contribuição importante de uma discussão que se deu no grupo de pesquisa com o Dr advogado Michel Borges que é advogado de São Paulo e a gente tá elaborando uma exposição no grupo de pesquisa coordenado pelo Professor Feliciano justamente sobre inteligência artificial e a gente discutindo essas questões eh ele eh demonstrou ali que em alguns processos nos tribunais superiores algumas decisões vem se mostrando muito mais favoráveis às empresas do que aos trabalhadores e trabalhadoras e ele tava pensando na questão de essa diferença poder ser explicada justamente por alguns fatores

que seria o poder econômico por exemplo das empresas que elas conseguem chegar ali no TST de forma mais fácil ou seja há uma dificuldade maior Por parte dos Advogados e a advogadas de Trabalhadores de chegarem ao TST E aí isso permite que grandes bancas de advocacia que atuam ali nesses tribunais superiores eh eles acabam tendo um acesso muito maior e se a gente utiliza esses algoritmos eh essas ess esses algoritmos mais com base nessas decisões eh isso pode eh dar uma sensação ou realmente a eh eh criar uma ter um ponto mais eh de desequilíbrio

eh de modo a favorecer essas grandes empresas então Eh esse diante desse cenário que a gente tá discutindo quando vem a inteligência artificial na triagem por exemplo dos recursos isso pode prejudicar bastante os empregados porque eles têm menos acesso e tem menos recursos de demandar ali dentro do TST Então se por exemplo a iala não foi implementada de uma forma bastante criteriosa isso pode acabar restringindo o acesso à justiça e o direito dentro do segundo grau de jurisdição eh concernente a esses trabalhadores e essas trabalhadoras então assim talvez pensar em parâmetros para essas partes hipossuficientes

e fechando aqui o raciocínio Eu também aproveito para trazer uma contribuição também de uma outra pesquisadora do grupo de pesquisa da USP eh também coordenado pelo professor Guilherme que é a Dra Sandra Cavalcante ela identificou um problema na na minuta da resolução que é a questão da importância de especificar Qual o modelo de Inteligência Artificial que está sendo tratado porque a proposta atual ela proíbe o uso eh de qualquer modelo de aprendizado profundo eh e aí segundo essa minuta esses eh eh esses modelos eles não são eh explicáveis auditáveis nem transparentes E aí ela vai

e aponta que o termo Inteligência Artificial vai abranger tecnologias com diferentes níveis de autonomia transparência e quando a proposta afirma que o o uso da ia no judiciário deve ter a participação por exemplo da supervisão humana em todas as etapas de desenvolvimento e que deve haver eh Fontes seguras fontes de dados seguras rastreáveis e auditáveis isso acaba excluindo segundo ela as ia generativas e outros modelos de aprendizado de máquina que utilizam redes neurais artificiais eh ela também aponta aqui no artigo sego eh a inciso inciso dois ela menciona que eh o artigo menciona que os

princípios para o uso da Inteligência Artificial nos tribunais vão incluir ali transparência eficiência explicabilidade e tal eh o que o que que ela aponta aqui é que esses princípios eles seriam cumpridos apenas nos modelos tradicionais de Inteligência Artificial que são programados por humanos Isso significa que todos os modelos de aprendizado de máquina que são mais op opacos e não alcançam 100% de precisão ficariam de fora já que a maioria deles é inaudito então isso é uma preocupação que Ela traz eu tô aqui também externando uma preocupação eh como participante do dos dois grupos de pesquisa

do professor Guilherme que é o grupo de pesquisa de Meio Ambiente do trabalho e o outro grupo de pesquisa que é o trabalho além do Direito do Trabalho agradeço aqui e encerro a minha participação obrigada doutora Larissa importante ponto sobre a questão dos hipossuficientes e a questão da proteção de dados Mais especificamente agora nos sistemas de Inteligência Artificial trouxemos alguns pontos pela manhã da questão de colocar dados pessoais dados pessoais até sensíveis e ag generativas e o risco de colocar isso de fato sistemas abertos Então temos muito muitos pontos ainda a a debater dentro do

GT desenvolver Agradecemos muito a sua contribuição agora vamos a uma participa presencial a doutora advogad advogado e pesquisadora Manuela Menezes Silva está aqui conosco vai falar sobre a auditoria de modelos e soluções de a sobre a perspectiva da segurança da informação proteção de dados performance robustez confiabilidade vieses conformidade legal e ética mapeamento e gerenciamento de risco Bom pelo nome os senhores já viram que temos muito assunto a tratar o senhor está com a palavra obrigada Olá boa tarde a todos os presentes internautas Saúdo a mesa na pessoa do Conselheiro Bandeira Vou começar fazendo a minha

audio descrição sou uma mulher branca estou usando um óculos marrom calça blusa e blazer preto tem o cabelo castanho escuro olhos castanhos o cabelo comprido e estou aqui hoje para falar um pouco eh dessa visão enquanto pesquisadora enquanto professora enquanto advogada trazendo sugestões para a minuta que foi apresentada Parabéns ao GT pelo trabalho ficou muito bom mas a gente sempre acha alguma coisa que pode melhorar e a nossa visão aqui tá como tá assim hoje estou aqui representando o laboratório de inovação do PG advogados o PG leb e vamos iniciar sem mais longas as sugestões

que trouxemos com base nesse arcabouço que foi apresentado para contextualizar eu gostaria de fazer um apontamento a às pessoas em relação a essa mudança de contexto porque em 2020 quando a aproximadamente 5 anos quando a resolução original foi eh disponibilizada nós tínhamos Inteligência Artificial mas era um cenário um pouco diferente do que era hoje a gente já sab sabia que tinha já sabia que utilizava o CNJ teve essa preocupação de criar mecanismos para usar de uma maneira ética essa tecnologia e agora em 2024 nós passamos pela a revolução que ficou muito mais acessível muito mais

fácil não é à toa que o Brasil é o quarto país do mundo em mais utilizar o chat GPT então ficou muito popular o Brasil tá na frente de países em relação ao uso de chat GPT como o Reino Unido Alemanha por exemplo e por conta disso essa necessidade de atualização para acompanhar a a vivência humana e esses novos desafios trazidos por essa tecnologia e também possíveis problemas trazidos por ela a gente sabe que a inteligência artificial ela veio para trazer benefícios muitos benefícios para as pessoas envolvidas a gente viu de manhã demonstrações de como

ela facilita o trabalho diminui o tempo que a gente pode usar em outras coisas em mapeamento em análise de documentos em série mas também traz alguns riscos e a gente precisa ter cuidado com esses riscos porque eles existem e eles são reais por isso quando a gente fala de a a gente não tem como não falar de governança de auditoria de Transparência em especial Então são alguns Pilares que eu considero indissociáveis pra gente falar desse processo de intelcia artificial até para garantir que o seu uso seja adequado seja justo e e evite os problemas Como

já identificados em alguns setores com vieses e discriminatórios erros alucinações como costuma se falar sobre a inteligência artificial então São esses os processos que eu considero esses Pilares sempre que a gente for falar disso como eu comentei há pouco acabei dando spoiler eh pedir a cautela não significa parar a tecnologia mas mitigar possíveis para juízos tanto em relação à violação de direitos fundamentais como a proteção de dados sempre importante esclarecer que a proteção de dados é um direito fundamental está inserido no nosso artigo 5º da Constituição e também evitar prejuízos em eventuais eh multas ou

indenizações pagas por essas violações quando a gente envolve proteção de dados eh um dos pontos que a gente fala que é bem necessário para que a gente consiga mitigar esses riscos ter um trabalho ético com trabalho garantido de boa prática é adotar a ia a mesma sistemática da proteção de dados do privacy by design Então sempre que a gente for pensar em criar uma nova tecnologia uma nova ferramenta a gente tem que parar e pensar desde o começo o que é o que é que a gente quer para que vai desenvolver Quais são os possíveis

riscos em volta disso Como eu posso mitigar esses riscos e por fim poderar a gente tem riscos tem esses riscos eh superam os benefícios ou os benefícios se ponderam esses riscos então fazer essa ponderação e colocar esse sistema acompanhando todo o ciclo de vida que inclui Desde da criação até eventual eh decisão de descontinuidade do uso dessa ferramenta eh entrando nessa parte de análise de auditoria de governança da minuta a gente trouxe algumas sugestões de de pontos que podem ser observados que vamos fazer o depósito formal também é em relação ao início no artigo segundo

quem quiser acompanhar a nossa sugestão eh incluir essa capacitação contínua porque a gente não tem como eh falar de a sem essa capacitação contínua porque é tudo muito novo tem algumas coisas que estão sendo descobertas ainda as pessoas precisam entender nem todo mundo tem o conhecimento de tecnologia nem todo mundo sabe como é que funciona então a gente tem que falar numa linguagem acessível e que todos conseguiam compreender Eh que atinga todos os públicos com alvo Então a gente vai direcionar essa linguagem esse atendimento outra sugestão é que a gente crie um comitê prévio para

eventual situação de risco então por exemplo é identificado que aquela ia que tá sendo utilizada teve um Alucinação ou gerou algum problema o que é que a gente vai fazer a gente vai esperar isso acontecer ou é melhor a gente criar esse comitê de risco para que quando esse problema chegue a gente já saiba Quais são os protocolos quem aciono o que é que tem que fazer como fazer quem recorrer quem notificar então por isso a sugestão dessa criação de comitê prévio antes de eventual problema que pode acontecer com uma Alucinação de de eventual incia

artificial utilizada uma atenção especial acabou sendo também comentado um pouco antes pela colega em relação aos dados quando a gente pula ou usa dados de crianças adolescentes e idosos a gente também tem que essa sugestão de ter esse cuidado especial essa atenção especial essa avaliação especial a utilizar esses dados e eventual treinamento dessas informações outra sugestão a gente vai lá pro artigo séo eh e que seria a criação de uma política de a nos mesmos moldes que a gente já tem uma política de privacidade no site a gente criar uma política de a de forma

específica para facilitar o acesso e de forma muito transparente indicando o que é que tá sendo utilizado por tudo isso para dar essa visibilidade essa transparência porque a gente precisa dessa transparência a usuário externo tanto o usuário interno eh e a outra sugestão é que o comitê de a do CNJ seja o responsável por estabelecer os processos internos de segurança mínima e não tribunal de origem Porque se o tribunal de origem ele cria seus próprios critérios mínimos de segurança pode ter diferenças entre o tribunal da Bahia por exemplo o tribunal de São Paulo Então a

nossa sugestão é venha do CNJ esses critérios mínimos para que possam ser adotados pelos tribunais locais Outro ponto de sugestão em relação ao Artigo 8 A é na na questão dos membros do comit de a incluir um representante da da autoridade Nacional de Proteção de dados nesse comitê porque também vai tratar de dados incluir o encarregado de dados ou eventual encarregado de a que seja criado do CNJ para participar desse comitê e também um representante da sociedade civil para poder ter essas análises ter esse viis esse olhar em relação aesses temas que são aplicados Outro

ponto de sugestão é o artigo 8 B que na avaliação anual de riscos feitas pelo comitê de a do CNJ ela para saber se aquele risco vai ser revisto vai ser recategorização mais Ampla e mais participativa em relação a isso e na autorização de licença para eh ias por exemplo aquisições de a não deixar só para juízes incluir também os servidores que acabam utilizando essa ferramenta outra sugestão é que a que as decisões que sejam feitas ou ou submetidas a algum tipo de avaliação de a além de constar na nota de rodapé essa informação que

essa informação também entre na sugestão de política de a correspondente indicando eh qual é essa essa finalidade E como ela vai ser feita ou pode ser feita e no artigo 25 na na publicidade dessas informações essas eh informações feitas na auditoria de análises de testes os eventuais erros que forem identificados serem eh divulgados para que possa dar transparência e que possa ter essa observancia de todos os setores e partes interessadas aqui é a mesma coisa que a sugestão no artigo 27 pro comitê de a disponibilizar ao público todos os eventos adversos eh informados pelos tribunais

locais que aconteceram durante essa esse estudo essa viabilidade e por fim já que eu tive tempo eu eu gostaria de fazer um comentário em relação à pesquisa que foi apresentada ontem sobre o uso da ia no judiciário brasileiro foi identificado que um tribunal utiliza a ia para eh avaliar riscos de possíveis vítimas de violência doméstica eh serem revísalo da minuta e eu trouxe em relação a isso porque me chamou atenção quando eu li o relatório ontem eh um dado da Espanha vou pedir licencia para para os senhores para ler que acaba tendo essa correlação eh

a Espanha utiliza um sistema de de a para tentar fazer essa qualificação de possíveis mulheres que t a chance de serem revitimizadas em caso de violência doméstica e uma pesquisa do New York Times apontou que 8% das mulheres que o algarismo descobriu estar em risco insignificante e 14% em baixo risco relataram ter sido prejudicadas novamente de acordo com o ministério interior da Espanha que supervisiona esse sistema e pelo menos 247 Mulheres foram mortas pelo seu atual ou ex-parceiro desde 2007 após serem avaliadas por esse sistema de acordo com os dados do Governo da Espanha então

quando a gente aponta tem esse cuidado parabéns mais uma vez ao GT de colocar esse tipo de informação como não permitida não é porque a pessoa não quer que isso não seja é utilizado não quer que essa tecnologia não avance Mas é porque o risco que se corre ao analisar esse tipo de informação conforme eu trouxe pros senhores aqui esse dado do governo espanhol que foi trazido numa reportagem especial do Nova York do New York Times mostra pra gente com números e para mim que sou a mulher é muito caro falar sobre isso porque eu

sou um possível alvo como mulher n situação mostra pra gente essa importância e essa necessidade da gente observar e entender que algumas coisas é melhor não acontecer para evitar que gere prejuízos irreparáveis como a questão dessas mulheres que foram vítimas de violência doméstica após passarem por essa avaliação do algoritmo na Espanha agradeço mais uma vez a oportunidade de est aqui contribuindo e fico à disposição [Aplausos] obrigada obrigada D Manuela importantes contribuições estávamos aqui os membros do GT já comentando sobre alguns pontos então agradecemos todas as contribuições passo agora virtualmente a palavra ao analista de sistemas

Márcio Henrique Dávila que vai falar sobre análise e consideração da minuta sobre o aspecto da segurança cibernética e da informação senhor está com a palavra é muito obrigado D Laura Porto Saúdo a todos nessa audiência pública nessa tarde do uso da inteligência artificial no poder judiciário eh minhas considerações são bastante singelas e pontuais e se originam nas preocupações no uso dos modelos de linguagens eh e sistemas de Inteligência Artificial generativa principalmente disponíveis na internet mediante os acessos pessoais ou gros No que diz respeito aos riscos de segurança da informação e aos riscos de privacidade eh

existentes nessa situação e o que é possível fazer em termos de mitigação desses riscos no artigo o e já foi inclusive abordado aqui várias vezes inclusive nessa mesa e os seus parágrafos que disciplinam o uso individual dos modelos e sistemas de ia e é o artigo oo B no inciso sexto que prevê a competência do comitê de Inteligência Artificial do CNJ a autorizar as hipóteses em que a licença privada ou gratuita desses sistemas poderá ser utilizada eh o Dr Alexandre tenien e vários outros expositores como professor dier Nunes na tarde de ontem já mencionaram essa

questão Inclusive a dificuldade prática que existe de se tratar tudo isso De se conseguir ter uma eficácia da da dessa sugestão é que se considere uma equiparação do que do que trata--se das condições de vedação quando se avalia a questão desse uso de ferramentas eh disponíveis na internet em licenças privadas ou gratuitas porque no Artigo 8 e lá no parágrafo Tero inciso qu trata-se das condições de ação que são utilizados devem ser utilizados pelo comitê ao avaliar essas autorizações excepcionais mas existe também quando se fala lá de tratar as contratações dos modelos e sistemas de

a generativa pelos tribunais o parágrafo primeiro do Artigo 8 F também trata das vedações e nas contratações observa-se que há uma uma permissividade um pouco melhor uma maior restrição de vedações eh eh a esses usos então a sugestão é que se equipare as duas eh redações de forma que o artigo 8 e no parágrafo terceiro inciso quto a gente tem a inclusão de vedações por exemplo as de finalidades de risco excessivo ou alto risco também sejam consideradas como prováveis eh vedações Doutor ah voltou não é que tá a sua imagem tá caindo pode continuar ah

ok eh se haa então uma uma consonância com o que está lá no parágrafo primeiro do Artigo 8 F isso porque se tratando de uma autorização em caráter excepcional eh e de licença de de uso pessoal gratuitos por mais que seja algo difícil controle na prática mas o objetivo de incluir eh as vedações mais estritas em termos similares Ao que se diz lá nas contratações desses modelos pelos tribunais visam mitigar os riscos eh de segurança da informação de privacidade em níveis normativos né pelo e responsabilização é lógico que toda a auditoria e os aspectos que

já foram mencionados aqui Essa é a minha consideração principal visando então Eh abordar a mitigação de riscos no normativo eh no uso das Ferramentas e modelos de de Inteligência Artificial quando se trat das hipóteses de de uso de licencia privada ou gratuita nas avaliações dessa concessão excepcional pelo comitê do CNJ eh minhas considerações são essas e agradeço muito pela oportunidade encerro min par participação Muito obrigado obrigada pelas contribuições serão levadas em consideração e prezando sempre pela por ter ideias multidisciplinares aqui é um analista de sistemas Agradecemos muito eu passo a palavra agora também virtualmente ao

promotor de justiça do Ministério Público do Estado do Pará Mauro Guilherme Messias dos Santos que vai falar sobre a importância da anonimização como fundamento do desenvolvimento auditoria e uso responsável deelo judiciário senhor está com a palavra Obrigado Doutora satisfação a falar vossa excelência quer cumprimentar também Dr Bandeira de Melo É uma honra poder falar ao Conselheiro poder falar também ao presidente desta casa Ministro Barroso grande idealizador desta deste esforço né Nacional pela regulamentação da ia no judiciário eu quero cumprimentar os meus Paes participantes Ah fiquei muito impressionado com as Exposições eh desde ontem tenho aprendido

bastante por favor recebam os meus cumprimentos e sem mais delongas eu quero ser bem direto e utilizar uma linguagem simples não pretendo ah utilizar nem juridique nem expressões muito técnicas da área da tecnologia da informação eu quero traçar aqui Dra Laura dois cenários tá o primeiro É um cenário de um sistema de a que resuma precedent do STF do STJ de repente da corte DH enfim neste cenário nós não temos uma necessidade de um tratamento volumoso importante de dados pessoais sensíveis porque são Dados inclusive que estão em Fontes abertas de modo que ah Nós não

precisamos ter tanta preocupação o juiz ficará muito satisfeito de obter um relatório por exemplo sobre dosimetria da pena no crime de tráfico de drogas a especificidades número maior de circunstâncias judiciais então aqui a já se usa para esse fim Inclusive eu desenvolver um sistema que realiza essa tarefa não há nenhum tipo de perigo dentro daquilo que nós Estamos nos propondo falar hoje que é a proteção dos dados pessoais agora vossa excelência imagine um segundo cenário um cenário onde o colega juiz é sobado o colega promotor de justiça sobado com muitos processos como é a realidade

Nacional ele precisa resumir um PDF que ele acaba Distraí do pje contando 500 labas ele pede pro GPT da preferência dele por exemplo da Open ai que é o famoso chat PT ou então do Google que é o j há quem usa também anop que é o CL enfim ele usa o GPT que ele bem desejar e olha o que vai acontecer Dr ele vai transmitir para o servidor e consequentemente pro banco de dados de uma pessoa jurídica de Capital estrangeiro uma pessoa jurídica de natureza privada dados extremamente sensíveis porque vej temos aqui ações de

família as quais por lei é imposto o segredo temos casos extremamente tristes comoos vulneráveis esses crimes com os quais nós trabalhamos diuturnamente e isso faz parte da realidade diuturnamente D laur os colegas precisam realizar essas tarefas para otimizar sua performance e aqui vossa excelência veja há um comprometimento uma vulneração dos dados dessas pessoas temos aqui em cheque um direito fundamental que é o direito à proteção desse dado pessoal Será que o jurisdicionado o cliente do Judiciário Ele autorizou Dr Bandeira de Melo essa transmissão desses dados então aqui o CNJ está de parabéns fiquei extremamente contente

em ler a resolução porque está fazendo um esforço de regulamentar essa matéria e encarar realmente de frente esse cenário ah de muita mudança aí de muitos riscos também que que nós estamos vivendo Então nesse segundo cenário eu faço esse contraponto Para justamente ressaltar que no cenário número dois nós temos um risco um risco aos dados dessas pessoas né E nós precisamos a a no meu modo de ver a tornar um pouco mais pujante a redação da proposta de resolução no que diz respeito a uma técnica muito importante que eu quero apresentar para quem ainda não

ouviu falar e reforçar Claro o GT que que domina o tema que é a anonimização O que é esse nome sofisticado anonimização significa tornar anônimo aquela informação da vítima da pessoa denunciada da testemunha que tá prestando serviço no processo judicial então a anonimização é como Tentei colocar aqui na ilustração de forma bem didática é modificar transformar remover os dados daquela vítima que Poxa Vida coitada tá passando por uma situação difícil e ainda tem que ter os seus dados devastados e ter aquela narrativa eternizada no banco de dados dessas empresas que fazem sab se lá o

qu com com esses bancos com essas informações e sobre os quais o CNJ não tem gerência nenhuma não poder judiciário não consegue controlar isso Ah então aquele Episódio triste ou rendo de violência aí ou episódios vergonhosos ou Episódios das mais diversas espécies estão se teniz nesses bancos de dados e realmente Ah comprometendo o direito fundamental da pessoa humana a ter os seus dados pessoais protegidos então a anonimização é exatamente isso é esse esforço de tornar este arquivo PDF Vamos colocar dessa forma sempre muito simples tornar ele mais seguro para a etapa seguinte que é a

de realmente usar o GPT o que é que tá acontecendo hoje hoje o colega Como eu disse no cenário dois ele precisa rodar o GPT da preferência dele para poder vencer a demanda de trabalho que é hercula e ele acaba lançando mão do PDF cru Vamos colocar desta forma PDF que ele acaba de baixar do pje o que eu quero contribuir aqui para pro pro comitê pro GT da Iá no judiciário é que haja um desenvolvimento melhor maior sobre o que significa essa tal da anonimização que na lgpd tem uma importância ímpar e na proposta

de resolução poderia ganhar um pouco mais de musculatura Então essa em resume a minha contribuição a a anonimização ela tem um conceito um conceito na própria lgpd e este conceito possui dois nomezinho que eu quero estressar aqui na na nossa conversa na nossa audiência pública que é o conceito de a dado o que é que ela vai chamar aqui de dado tá legal E também o conceito de tratamento O que é esse tratamento n então aqui na na na minha exposição Eu pretendo mostrar que dado pessoal sensível segundo lgpd é um monte de coisa é

um rol como se diz para aqueles que gostam de reviver o latim números apertos Ministro Lu Roberto baroso que não ossa que um dos maiores Defensores da linguagem simples né então o dado pessoal sensível ele é um monte de coisa segundo lgpd e na minuta de resolução talvez a a possa haver um um um um aumento desse desse rol de proteção né daquilo que é considerado dado Ah então vejam que dado pessoal sensível é muita coisa assim como tratamento significa pela linguagem da lgpd todas as etapas com as quais nós trabalhamos dentro de um processo

judicial desde a juntada de um uma petição da juntada de um documento no pje desde download desse documento desde download do processo inteiro tudo está englobado pelo conceito de tratamento segundo lgpd e vejam que olha a técnica legística a técnica legiferante que usa a a lgpd toda Operação realizada com dados pessoais e aqui ela torna portanto esse rol panorâmico amplíssimo e ela dá apenas alguns exemplos mais adiante que é um número bem significativo de exemplos então vejam quando a minha colega que me antecedeu Dra Mariana fala em privacy by design ela tá realmente estressando uma

preocupação muito grande porque esse esforço do tratamento do dado pessoal d Laura precisa ser um esforço hercúleo e preparatório antecedente anterior né o a o Desembargador Pedro Felipe talvez talvez recorde uma uma expressão muito muito curiosa que é muito comum ah nos Estados Unidos ele fez o m of FL dele também predecessor lá é uma etapa predecessora nós precisamos realmente preparar o terreno para que o colega juiz para que o servidor possa mais à frente usar o GPT então a sendo bem sintético essa essa é a minha Essa é a minha principal preocupação Essa é

a minha contribuição ah vejam que ao lado da anonimização nós temos um conceito um pouco diferente que pode ser útil Então queria trazera contribuição porque eu não vi essa expressão na proposta de resolução que é a tal da pseudonimização que é a pseudo anonimização Vamos colocar desta forma que ela é igualzinha a anonimização até o momento em que ela substitui o nome da da vítima da Testemunha por um código e eu tentei colocar aqui uma ilustração a uma ilustração obviamente apenas para fins didáticos o código aqui é bem curtinho de quatro dígitos no caso será

um código bem maior Ah mas a pseudonimização ela tem essa vantagem quando o servidor preparar o pdf antes de caminhar pro juiz rodar o GPT com o assessor dele ele pode utilizar por exemplo a técnica da P animização para tornar anônimo entre aspas o nome da vítima o nome da Testemunha o nome da pessoa denunciada aí então ele roda o GPT da preferência dele e quando ele obtiver o resultado do GPT ele pode reconverter a operação de anonimização entre aspas ou seja volta ser ali o nome da vítima da Testemunha então a pseudonimização tem suas

vantagens e aí tudo isso a Dr Bandeira de Melo para salientar que nós precisamos realmente fazer um esforço para termos uma autoridade Central dentro do CNJ então utilizando aqui uma expressão tanto no poder público quanto no no âmbito privado nós temos do Google por exemplo autoridade central de estratégia de animização que são pessoas é um grande time que pensa como tratar os dados pessoais dos usuários desse serviço do Google no poder público nós temos na lgpd a como a minha assessora também citou nós temos essa autoridade Central entre aspas né autoridade Nacional então nós precisamos

ter no CNJ porque no CNJ O interesse é um pouquinho diferente a anonimização as estratégias de anonimização elas são um pouquinho diferentes do que anonimizar uma tabela do que anonimizar a um áudio por exemplo no pje nós temos juntadas de vídeo de áudio temos juntadas de texto sobretudo então a diferen técnicas e não cabe a mim aqui adentrar nesse aspecto mas apenas a provocar o GT né Na Na expressão mais feliz possível a refletir sobre a criação pela resolução de uma autoridade Central para as estratégias de animização e aqui sendo fiel a minha proposta de

trabalhar em cima da resolução dout eu não quero aqui me perder em dogmático ou falar sofisticadas eu quero ser bem direto eu cito três momentos em que a expressão anonimização ou semelhante a utilizada a nossa proposta de resolução que está muito bem escrita ah neste primeiro momento ela é classificada como debaixo risco perfeito o que eu defendo Dr Bandeira de Melo é que haja uma elevação da envergadura da anonimização ou de sua equivalente Seja lá qual for a estratégia que o CNJ adotará a segurar como fundamento lá no artigo sego por quê Porque dentro do

do da lgpd pelo menos ela tem uma pujança ela é a principal estratégia né no meio da programação frequentemente se usa a expressão anonim ou então é anonimização em português então assim é a expressão consolidada se você quiser é outra tudo bem mas eh eh eu eu sugiro com o máximo respeito sempre obviamente a vossas excelências a elevação da envergadura desse importante Instituto E continuo dizendo que mais adiante no Artigo 8 e enuncia-se uma alternativa à anonimização como cláusula de abertura dentro da técnica legística né se chama assim clauso de abertura que é quando qualquer

outra coisa equivalerá como se fosse equipolente Mas que coisa é essa Nós não sabemos né embora haja uma literatura rica sobre esse assunto Nós não sabemos foi enunciado e eu fico preocupado de que forma a proteção aos dados pessoais a garantia do direito fundamental se dará se nós não sabemos se não há nada enunciado de forma expressa correto então a minha proposta é de que seja removida essa cláusula de abertura porque ela não acontece nenhum dos outros momentos em nenhum outro local da resolução ela aparece quando se fala sobre anonimização e por fim Ah cita-se

no momento do compartilhamento das soluções de a a necessidade de anonimização E então vem ao caso aqui enunciar a minha proposta o Dr Bandeira de Melo que a acolha a necessidade de uma autoridade Central para as diversas estratégias de anonimização que há eu quero a agradecer a habilitação para participar deste evento eu sei que muitas pessoas escreveram que houve um esforço do GT para isso eu me sinto muito honrado com muita humildade eu quero agradecer Dra Laura Dr Bandeira de Melo pela oportunidade de falar e eu espero que De algum modo Ah eu possa contribuir

e tenho por favor um excelente dia de trabalho obrigado Dr Mauro parabéns nós que ficamos muito felizes e honrados com a sua contribuição pontos excelentes sobre a proteção de dados e sobre esse fundamento da anonimização estávamos aqui mais uma vez eh ressaltando a importância dessas audiências públicas e de todos os pontos como o senhor comentou no começo que o a proposta está boa mas sempre encontraremos pontos a melhorar e estamos aqui justamente para isso sempre poderemos melhorar a proposta e estamos aqui justamente discutindo essa questão da anonimização Agradecemos muito pela sua contribuição eu passo a

palavra agora presencialmente a advogada eh presidente da Comissão de Inteligência Artificial da Ordem dos Advogados do Brasil de Seccional Brasília dout Melissa Cipriano por favor eh a doutora irá falar sobre a transparência e ética no uso da Inteligência Artificial aprimoramento da linguagem no poder judiciário proteção de dados e segurança jurídica capacitação e treinamento e cuidados nas decisões automatizadas seja bem-vinda Obrigada pela apresentação Boa tarde a todas e todos meu nome é Melissa vanini atualmente o presidente da Comissão de Inteligência Artificial do abdf eu vou eh eu gostaria de cumprimentar o conselheiro Bandeira de Melo a

coordenadora Laura Porto a d tain Agar que eu era uma referência para mim na área e todos são né mas ela eu foi uma das primeiras que eu conheci o Dr Rodrigo Badaró o Dr Alexandre eu acho que ser bom em jurimetria deve ser coisa de Alexandre né que temos dois férias aqui em jurimetria uma área que me interessa muito também cumprimento os membros da comissão de inteligência artificial e todosos presentes deixa o meu reconhecimento ah deixa a minha a gente a minha minha opia não me permite cumprimentar a colega qual seu nome perdão Fernanda

cumprimento a Fernanda desculpa viu Fernanda é a mil pia eh gostaria de agradecer ao CNJ pela realização do evento e gostaria de agradecer a OAB e ao Marcelo Gomes por sugestões na elaboração do texto elogio a resolução 332 do CNJ e como já Dev amente mencionado pelo Dr Alisson e o Dr J Nunes é preciso que a advocacia e outros autores participem mais ativamente no desenvolvimento e na supervisão das Ferramentas de inteligência artificial no judiciário isso é importante para evitar o viés e a participação ativa da advocacia é fundamental para garantir que essas ferramentas sejam

transparentes éticas e voltadas para uma melhor prestação de serviços advocatícios e a sociedade Obrigada que a advocacia seja convidada para uma participação mais abrangente nas fases do processo e é é importante que as decisões automatizadas sejam compreensíveis e revisadas por humanos né que requer a contribuição dos operadores do direito para garantir que as ferramentas tecnológicas respeitem os princípios de Equidade e Justiça A advocacia é parte essencial para garantir que os sistemas desenvolvidos não prejudiquem o livre exer do direito de defesa assegurando que as decisões judiciais automatizadas sejam passíveis de contestação e revisão e que também

a revisão humana seja devidamente treinada para que os servidores não virem meros carimbadores como previamente suscitado né É preciso que a gente Treine os servidores os advogados os operadores do direito em geral para para que façam ajuste fino né que não que não seja qualquer coisa que passe pela inteligência artificial com relação à proteção de dados no contexto do uso da Inteligência Artificial é imprescindível destacar a importância de garantir que os direitos fundamentais das pessoas sejam respeitados sobretudo No que diz respeito a lei geral de proteção de dados que estabelece eh diretrizes Claras que precisamos

seguir para assegurar a privacidade e a transparência em cada processo do tratamento de dados eh eu eu vi eu ouvi as observações de alguns colegas sobre o uso de a generativas eu penso que não tem como voltarmos para trás que é necessário uma educação no uso dessas IAG generativas e não uma vedação que todos os operadores do direito saibam usar as I generativas que você saiba não colocar dados sensíveis ou anonimizar um documento antes de colocar numa e aberta eh quando falamos sobre a aplicação da i no judiciário temos a a responsabilidade que o uso

de dado seja feito de forma ética e segura Isso significa que os dados coletados devem ser usados estritamente para as finalidades autorizadas evitando uso excessivo ou indevido dessas informações Além disso o uso da ia traz o desafio adicional de evitar discriminação algoritma algorítmica e o viés nos processos automatizados para mitigar esse risco precisamos garantir que os sistemas sejam continuamente auditados e supervisionados por humanos permitindo que decisões geradas por um algoritmo seja seja explicável e traz comodidade celeridade produtividade nós sabemos né Isso é visível isso é todos que usam e a conseguem perceber mas é é

importante que nós possamos implementar medidas para garantir que o uso dessas tecnologias respeitem os princípios éticos e atenda aos padrões de transparência e segurança jurídica o conceito de Transparência no uso da EA ele é entendido de forma Ampla as teologias de Inteligência Artificial Principalmente as de caráter generativo e preditivo eh demandam volumes imensos de dados para funcionar de maneira eficaz no entanto como Essas tecnologias con eh coletam processam e utilizam os nossos dados ainda é uma questão Nebulosa né a gente não tem eh Total noção de como a ia funciona e eu achei muito legal

na n na participação de ontem que embora a gente esteja num caminho de Dever Ser da ia a gente está fazendo o melhor que a gente consegue com as tecnologias porque para ter uma tecnologia própria de a envolve um aporte financeiro considerável Então a gente tem que ver dentro da das empresas dentro do que é cabível qual quais ela quais respeitam mais as diretrizes de proteção de dados né É fundamental que as instituições públicas e privadas que implementam e adó tem uma postura Clara e transparente que os usuários sejam que os usuários sejam cidadãos advogados

ou magistrados precisam ser informados sobre como os dados estão sendo coletados tratados e utilizados mais do que isso é imperativo que exista uma responsabilidade ética sobre as decisões tomadas por esses sistemas para que a Iá sejam aliada no fortalecimento da justiça e não a ferramenta que amplie as desigualdades eh o uso de dados pessoais para o treinamento de sistemas de Inteligência Artificial sem o devido cons e transparência pode a gente não tem certeza como os dados são treinados pelas empresas né é algo que nós precisamos eh averiguar algo que precisamos discutir e a gente precisa

também discutir que os dados que são coletados que eles sejam protegidos e que as decisões automatizadas sejam sempre acompanhadas de revisões humanas quando necessário Eu já falei aqui sobre a citação né eu reitero que o CNJ né em colaboração eh eu me disponho a a colaborar juntamente com a comissão de Inteligência Artificial que nós possamos capacitar e treinar os operadores do direito os advogados os os juízes os magistrados os defensores públicos os promotores para que nós possamos usar e a de forma correta o desconhecimento sobre o funcionamento dessa as ferramentas pode levar uma adoção incorreta

ou superficial minando o seu potencial transformador portanto é essencial que o judicial judiciário Invista em programas de capacitação garantindo que os profissionais compreendam não apenas o uso dessas tecnologias mas também suas implicações éticas jurídicas e sociais eu agradeço eh a oportunidade de estar aqui hoje de estar aqui hoje espero que possamos seguir juntos trabalhando para construir um sistema de Justiça mais eficiente onde nós possamos aliar inovação tecnológica com respeito aos direitos fundamentais muito [Aplausos] obrigada Parabéns dout Melissa Agradecemos muito as contribuições estamos comentando aqui o quanto esse painel foi falado sobre dados e treinamentos né

então a importância de fazermos treinamentos da doutora Laura chert comentou no painel anterior que iremos definir melhor essa questão dos Trein com treinamentos oficiais provavelmente pela infan Como ela mesma disse então sem dúvida o treinamento é uma parte essencial para saber lidar de forma correta com todos esses dados Agradecemos muito a contribuição eu passo a palavra agora paraa nossa última participação desse painel Doutor advogado membro do comitê gestor de Inteligência Artificial do Tribunal de Justiça do Estado do Rio de Janeiro Walter Aranha Capanema que irá falar sobre os requisitos para a proteção de dados pessoais

do titulares Doutor senhor está com a palavra obrigado boa tarde me ouvem sim pode continuar senhoras e senhores boa tarde cumprimento os excelentíssimos integrantes da mesa a plateia do CNJ e o público na internet eu falo como integrante do comitê gestor de Inteligência Artificial do Tribunal de Justiça do Estado do Rio de Janeiro e na minha fala aqui eu pretendo abordar duas questões dois tópicos ligados à proteção de dados pessoais e à transparência no início Eu Gostaria de reforçar a fala de ontem do cientí simo desembargador Cláudio delorto o presidente da nossa comissão o qual

sua excelência trouxe o uma necessidade né reforçou a necessidade de incluirmos na minuta uma preocupação né uma um um dever de criar um relatório de impacto à proteção de dados pessoais eh eh quando se for utilizar ferramentas de a é importante a gente pensar que o processo judicial não é apenas um conjunto de atos de decisões de petições ele numa visão de lgpd numa visão de proteção de dados é um conjunto de tratamento de dados pessoais especialmente no que se refere aos documentos das partes dos atores processuais ainda que um processo seja uma demanda envolvendo

sociedades empresárias órgãos públicos sempre teremos pessoas advogados testemunhas juízes e a inclusão desse relatório na resolução 332 como medida eh de governança ele se justifica pela necessidade de assegurar que o uso das soluções de Inteligência Artificial nos tribunais estejam em conformidade com as normas de proteção de dados pessoais especialmente diante de potenciais riscos e essa questão de de riscos potenciais questões de segurança é um assunto assim muito eh que é muito querido da da minha querida colega de comitê a d Aline Cabral agora não se deve aqui pensar que o relatório ele se confunda com

a avaliação de impacto algorítmico esse documento ele é voltado ele é uma avaliação voltada justamente para os riscos aos direitos humanos Portanto ele é mais Ampla o relatório ele é mais específico ele é voltado aqui para a o tratamento de dados pessoais num contexto de de de dados pessoais num contexto muito específico nos termos lá da lgpd então é muito importante a gente ter essa ideia agora aqui numa segunda parte da minha fala eu gostaria de tratar de um outro assunto que eu entendo importante e desafiador eu gostaria de tratar da explicabilidade que ela foi

incluída na minuta no seu artigo 7 F inciso 7 a a a explicabilidade ela faria parte eh de uma de um programa da da quest da como medida de governança de de de de processamentos de alto risco e paraa gente começar aqui a falar sobre esse assunto né explicando a a explicabilidade a gente pode entender que é uma capacidade de explicar de maneira fácil simples direta perdão e compreensível por todos como um sistema de a toma suas decisões Portanto o objetivo é que os usuários possam entender como a própria minuta diz os resultados e funcionamentos

do sistema de a eu vejo que esses resultados e funcionamentos podem ser senhoras e senhores quais critérios foram considerados como os dados foram processados quais dados foram utilizados como o sistema chegou a determinada conclusão então vejo que também poderia a gente poderia pensar nessa situação e a gente pode também buscar uma uma analogia novamente a lgpd nos socorrendo o artigo 20 que trata da revisão de decisões automatizadas tem lá no seu parágrafo primeiro no artigo 20 parágrafo primeiro o direito que surge da revisão ou seja o titular ele tem o direito de exigir do contador

né ou seja de quem decide como os dados vão ser tratados informações Claras e adequ quadas a respeito dos critérios e procedimentos usados na decisão na decisão automatizada quando fala critério e procedimento a gente pode pensar aqui numa numa visão ligada a processo que critérios são portanto os parâmetros ou fatores considerados né no processo de tomada de decisão automatizada então de repente pode ser um dado pessoal utilizado na decisão por exemplo um CPF que é utilizado para identificação de Prevenção ou então regras ou condições específicas por exemplo se a parte tiver mais de 60 anos

portanto esse processo teria prioridade de tramitação tal qual e a garante o artigo 71 do estatuto de idoso quando a gente fala para outro lado além do critério o procedimento a gente pode então pensar talvez aqui eu esteja um pouco viajando num devido processo algorítmico em que as etapas para se chegar esse resultado elas sejam corretamente apresentadas claramente apresentadas né tudo isso é muito é firme muito muito eh eh eh transparente né se a eventualidade de um cálculo alguma algum cômputo tudo isso ele é muito bem feito agora a gente precisa pensar também a razão

de existir da dessa explicabilidade que que e o CNJ foi muito feliz em lembrar desse se a gente pode dizer aqui dessa desse direito ou desse instrumento eh muitas dessas ferramentas de Inteligência Artificial eh os seus processos decisórios são opacos são ocultos até mesmo para o seus desenvolvedores Ou seja a gente sabe o resultado mas não tem noção de como se chegou a ele isso é que o supervisor europeu de proteção de dados chama de efeito caixa preta e a gente pode pensar também o seguinte que a ausência de explicação pode gerar aqui eh problemas

como a falta de confiança e a gente precisa de confiança principalmente da advocacia e da sociedade o uso devido além de implicações legais e éticas muito sérias e quando eu falo em importância da explicabilidade eu vejo na explicabilidade como uma uma nova dimensão da publicidade processual a publicidade processual Que que foi repensada com a resolução 125 do CNJ de de 2010 eu vejo que ela a gente tá numa nova fase da da publicidade algorítmica ou seja são as razões de decidir ou de pensar dos algoritmos que são devidamente explicitadas eh talvez até no corpo de

uma decisão judicial isso vai ajudar o judiciário a detectar vieses erros e vulnerabilidades afinal quando se entende o processo de pensamento se Compreende onde ocorreu o eventual erro garante assim pra gente a acurácia da solução utilizada e é sempre bom lembrar senhoras e senhores o caso americano do Compass que é tido como a doutrina pela doutrina como um triste exemplo de envasamento algorítmico deve-se pensar portanto se eh essa medida né de de de essa essa garantia essa ferramenta do da explicabilidade se ela diante desse desse grau de importância que ela tem se ela não deveria

se expandir também para outras atividades de menos risco de médio risco ou ou de risco baixo né de gente pensar diante dessa ância que ela tem mas aqui ainda como a gente pode alcançar essa explicabilidade ela pode ser alcançada por meio da publicação de documentos relatórios de decisões gráficos explicativos ou até mesmo a descrição desses algoritmos o foco aqui é na compreensão da decisão pelo público leigo e pelos atores envolvidos portanto deve ser devemos ter ferramentas compreensíveis para todos usando linguagem simplificada Eu acho senhoras e senhores que seria o ambiente ideal para o pacto Nacional

do Judiciário pela linguagem simples do CNJ Afinal a presença de dois tipos de comunicação técnica a jurídica que é complexa e a tecnológica que pra gente do direito é muito mais complexa eh eu vejo que não há necessidade de publicação do código fonte afinal de contas o código fonte é o coração de um software né a sua lógica as suas funcionalidades por várias razões primeiro a gente já teve um posicionamento do CNJ em 2014 como resposta de um um ofício ao do Conselho Federal da OAB que eh buscava ter acesso ao código fonte do pje

o CNJ época vedou o fornecimento desse código Invocando o artigo 7º parágrafo primeo da lei de ess informação afinal de contas segundo o o Salv melhor juízo Ministro Joaquim Barbosa a se tratam de informações referentes a projetos de pesquisa e desenvolvimento científico ou tecnológicos que são prescindíveis prescindíveis à segurança da sociedade ou do do Estado um outro ponto importante como Talvez um obice para o fornecimento do código fonte é que muitas vezes as soluções de Inteligência Artificial utilizadas pelos tribunais são soluções que surgem de empresas privadas portanto são códigos Fontes que são protegidos estão protegidos

por Segredos comerciais industriais e eu vejo que talvez essa situação de um de uma empresa privada criar esse código fonte Talvez seja um obice um obstáculo ao seu depósito lá no sinapses como o artigo 10 a da minuta eh busca implantar vale dizer também senhoras e senhores que a publicação do código fonte nem sempre por si só garante a explicabilidade programas de computador tem códigos fonte às vezes de milhares ou de milhões de linhas de comandos escritos em diversas linguagens de de de programação e é muito de difícil alguém assim ter esse conhecimento Então esse

programa de computador né esse código fonte não vai mesmo que ele seja exibido eh pouquíssima gente vai compreendê-lo e Ou seja a explicabilidade não vai ser aqui atingida eu vejo portanto aqui na clareza como parte da Transparência novamente lgpd o princípio da Transparência artigo sexto inciso 6 ele ele ele ele ele ele vê como elemento da Transparência a clareza a clareza Inclusive a lgpd estabelece lá no seu artigo 9º como elemento daquele conjunto de informações que o controlador presta para o titular e a gente também não pode esquecer senhoras e senhores do Idoso veja que

uma das atribuições da autoridade Nacional de Proteção de dados lá no gigantesco rol do artigo 55j tem lá perdido em seu inciso 19 perdido mas nós vamos encontrá-lo a que uma atribuição que o tratamento de dados de dados idosos seja efetuado de maneira simples Clara acessível E adequada a seu entendimento parece-me aqui modestamente procuro contribuir que a intenção do legislador foi de exigir clareza nas informações de tratamento para a pessoa idosa e não que o tratamento em si seja simplificado eventual porque sempre o tratamento especialmente ligado a ia é um tratamento de alta tecnologia que

é complexo eu vejo aqui portanto não apenas uma atribuição da npd mas um verdadeiro direito para o titular de dados idoso aqui eh espalhado na lgpd também é interessante a gente pensar de alguns exemplos práticos especialmente diante os desafios que nós estamos enfrentando um dos grandes desafios dos tribunais de justiça está além de criar as ferramentas de a é identificar a as terríveis demandas predatórias justamente Logo no início logo que eh esse ofensor já está eh distribuindo as petições iniciais Mas pergunta-se qual seria esse procedimento né quais dados seriam coletados então eu teria de repente

o número do AB desse advogado né a a uma quantidade simultânea de ações que são distribuídas né ou ou em períodos semelhantes em prazos curtos então é importante verificar que certamente Num caso como esse teremos um dado pessoal para essa análise automatizada então isso aqui importante da gente colocar mas esses critérios eu entendo que devem ser eh eh informados à sociedade é claro que um advogado de má fé Ele vai tentar manipular eh esse sistema né esse filtro mas importante que a sociedade especialmente A grande maioria de advogados de boa fé saiba isso tenha essa

noção portanto senhoras e senhores é é fundamental falar aqui que o uso da ia é importante para garantir a automação que o do processo que a legislação exige a legislação especialmente a nossa querida lei do processo eletrônico fala em diversos momentos da automação e eu vejo que embora a automação ela não precisa necessariamente da Iá para ser atendida eu vejo que no mundo real no mundo atual a ia ela é fundamental paraa eficiência dessa automação e você pode ver por exemplo aqui no artigo 10 caput da lei do processo eletrônico que fala da autuação automática

no artigo 10 parágrafo 2º da mesma lei que fala da prorrogação automática dos prazos também aqui no Artigo 14 parágrafo único e que fala que os sistemas eles devem buscar e identificar os casos de ocorrência de prevenção e dis pendência coisa julgada portanto é um campo maravilhoso pra Inteligência Artificial eu quero até aproveitar aqui senhor deixar aqui um abraço pro meu amigo Daniel aab aqui da da do comitê que também tá presente um abraço meu querido amigo que vai falar amanhã aqui pelo comitê agora aqui em conclusão em conclusão eu gostaria portanto de dizer que

em meio à incerteza a dúvida a insegurança é através da da Transparência e da disseminação da informação que podemos superá-las a sociedade está diante de uma nova era E essencial que todos todos compreendam que as ferramentas de a São Pilares fundamentais para o judiciário mais moderno célere e eficiente trazendo novas possibilidades e esperança para o futuro gostaria portanto de expressar Meus sinceros agradecimentos ao CNJ pela oportunidade pela pela essa honra e Desejo a todos um evento repleto de trocas construtivas e inspiradoras Boa tarde muito obrigado Obrigada Dr Walter ótimas contribuições eh muitos pontos a serem

levados em consideração aqui mais uma vez pelo GT Então está sendo muito produtivo para todos nós eh todas as participações e as recomendações que estão sendo feitas Estamos vendo a importância que tem tanto da da Transparência como da da responsabilidade que nós temos que ter agora com a privacidade com o uso correto dos dados pessoais muitas questões foram trazidas e muito temos que debater dentro do GT agora para estruturar de forma ainda melhor do que do que foi feito que como eu disse podemos sempre melhorar e as contribuições Sem dúvida que já foram feitas e

que continuarão nos próximos painéis e amanhã vão nos auxiliar imensamente então eu quero mais uma vez agradecer a todos que se dispuseram vir aqui e trazer as suas contribuições que serão De grande valia e vão nos ajudar muito agradecer Conselheiro bandeira que que posso passar pro cerimonial então muito obrigada a todos pela participação eu devolvo a palavra ao cerimonial senhoras e senhores agradecemos os pronunciamentos realizados e neste momento faremos um breve intervalo informamos que será servido Coffe Break no foer do plenário retomamos com a programação em 15 minutos senores em continuidade a programação daremos início

à mesa quatro aplicações práticas e desenvolvimento de inteligência artificial no judiciário para a condução dos trabalhos tem a palavra a Doutora Fernanda de Carvalho laje Boa tarde a todas e a todos boa tarde também a quem nos acompanha pelo YouTube eh cumprimento o conselheiro Bandeira de Melo cumprimento aqui também meus colegas de mesa e nós vamos iniciar agora a quarta mesa sobre aplicações práticas e desenvolvimento de inteligência artificial no judiciário eu chamo então para para falar o Dr Dan Lopes Carvalho da lupa data ele é consultor em ia Engenheiro e o tema que ele vai

apresentar é desenvolvimento de inteligência artificial no judiciário Olá boa tarde primeiro eu gostaria de agradecer a oportunidade É uma honra tá aqui eh falar um pouquinho e contribuir com o avanço do dessa jornada de a no no judiciário e eu sou Dan e eu já tenho uma experiência de mais de 30 anos nessa área de tecnologia tive algumas experiências de transformação digital nessa nessa jornada e e apesar dessa nova jornada de a inteligência artificial ela não é nova né nem mesm os algoritmos aí de llm tão usados no che GPT nó estamos falando de algoritmos

aí da década de 90 em 2000 temos o primeiro caso aí com Google lá para 2000 13 ou 2015 Se não me engano e o que que tá trazendo diferente qual a mudança de paradigma que eu vejo hoje nessa Minha experiência no passado eh a jornada de transformação digital era impulsionada pelos órgãos pelas empresas e o usuário final era forçado a usar a justiça recentemente todos os dados T que subir de forma digital e não existe outra forma ão lá na ponta tem que se acatar e que que eu vejo mudança de paradigma hoje se

inverteu hoje a inteligência artificial generativa tá na mão do usuário hoje Qualquer um pode gerar um texto enviar um e-mail gerar um vídeo e gerar voz né então tá muito fácil o uso e isso impona ao contrário Então agora o governo e o mercado tem que atender essa transformação que vai ser cada vez mais exigente o cidadão não quer usar justiça como ele usava antes ele tem na mão dele como ele usar como ele pesquisar como ele criar uma petição mesmo que ele não é advogado pode entrar no chat PT e criar uma petição vai

ser boa não vai ser boa não é esse o mérito mas o mérito é que nesse momento teve essa inversão e como é que o governo vai atacar como é que a gente vai trabalhar para que eh consiga atender essas exigências do mercado e de forma correta né a gente falou aqui muito sobre a a resolução que fala bastante de a tradicional e não foca muito ali a camada de a generativa no tema de hoje eu vi muita gente falando de chpt eh de grandes transformações a gente fala de grande volumes de dados né Eh

eu me arriscaria dizer que essa indústria judiciária é que mais gera dado textual mais gera documentos no mercado então o volume de dado é gigantesco é preciso tratar esses dados e criar e uma base de conhecimento para que então possa desenvolver uma ia com qualidade né não se tem ia se você não tiver um dado qualitativo Você pode até ter mas o resultado não vai ser bom e quando a gente fala de ch GPT generativas são Dados que foram treinado com vários dados que você mesmo impulsiona Então a gente tem alguns paradigmas que que são

importantes estar atentos né Eh esse grande volume de dados quando eu vejo na resolução o sinapse que é uma plataforma que pretende centralizar armazenar toda essa capacidade de criar modelos é uma boa iniciativa para você criar uma base de dados Porém quando a gente fala de criar base de conhecimento eh por exemplo você poder criar seus próprias ia generativa não precisa necessariamente ter um chat PT ou Open não precisa criar isso fora né Nós da lup estamos criando hoje uma IAG generativa pro Ministério da Pesca onde eles estão fazendo uma série de dados históric onde

eles querem ter o próprio generativa deles onde evita esses riscos de ter dados saindo ou de ter as integrações externas e existe também essa quando a gente fala da do do Judiciário né o volume é muito grande então imagina se CNJ além fazer a sinapse agora Vai disponibilizar eh base de conhecimento para fazer treinamento de a o poder computacional que vai ter que ter o CNJ talvez vai ter que ser maior que o da Nasa então é algo que vai ser muito complexo então centralizar e ter uma fonte de dados eu acho que é legal

é importante mas ter a capacidade de começar a distribuir esse potencial essa capacidade de ter base de conhecimentos eh eh dispersa também é bom até mesmo meso quando a gente fala de treinamento de a a gente fala muito de casos específicos então quando eu vou treinar uma ia para um caso específico tá sendo no Ministério da Pesca lá eu tô falando de treinamento de série histórica Para Um certificado de acreditação de pesca legal então tô falando de dados de diário de bordo coisa muito específica é a mesma coisa na ponta então se eu for treinar

isso tudo Eu preciso de uma capacidade grande e depende também quando a gente fala de justiça regionalismo Quando você vai treinar um dado de um processo civil no Rio de Janeiro é diferente a cultura a linguagem que você usa no treinamento de um processo que vai pro sul de um processo vai para Recife Então vão ser treinamentos com material diferente com documentos diferentes porque senão você pode criar uma I que vai alucinar mais né E esse é o termo que a gente usa muito que é um outro desafio para o governo e Pra justiça né

a gente fala até dentro da resolução mostra A Iá né a gente tá falando de algoritmos matemáticos nós estamos falando de modelos estatísticos significa que é probabilístico então existe uma taxa de erro existe Alucinação e o desafio da do Poder Judiciário da Justiça é para qualquer um que eu pergunto quando vou conversar com o judiciário é qual é a taxa de erro que você aceita zero não existe aceitação de taxa de erro então é importante entender que na verdade existe um processo em qual parte do processo eu posso ter uma validação posso mitigar o erro

posso ter até uma taxa de erro que eu consigo corrigir porque quando a gente vai falar do processo se pensar lá no final não posso errar aí não pode errar no resultado mas em qual parte do processo que é permitido alguma variação de erro quando a gente está desenvolvendo um algoritmo como é que você vai teve uma professora aqui na mesa anterior colocou isso né como é que você vai mitigar como é que você vai verificar esses erros criar uma técnica uma metodologia para poder validar e mitigar esses erros antes de chegar na ponta Mas

é possível e é importante saber que não existe a sem taxa de erro nós estamos falando de modelos estatísticos tá então aí a ela vai errar o que acontece quando eu falo da criação dessas bases de conhecimento chamado hags é que ela permite que você seja mais e permite que as suas respostas sejam mais precisas tá então a base de conhecimento é importante criar Eh toda essa parte de de compartilhamento de modelo que fala lá do sinaps é super importante você a inteligência artificial e a criação de modelo o ideal é compartilhar né ser colaborativo

porque você não precisa começar do zero né até mesmo hoje já existe mais de 200 2000 modelos de algoritmo que falam português então se eu consigo trazer para cá já a gente tá usando modelos totalmente abertos eh no Ministério da Pesca então é possível você criar essa modelagem com a nossa linguagem né e um outro desafio que eu vejo que é importante também que eu senti falta quando a gente fala da resolução é de abrir para a contribuição de Startup de de icts de universidades como a gente tá fazendo se a gente ganhou alguns desafios

do fep através do contrato de solução P solução inovadora que veio com o Marco civil da Startup Então você traz não só o governo que tem uma capacidade grande de pensar de transformar mas assim traz o mercado e traz as Universidades traz a parte acadêmica então n da Pesca tá sendo esse conjunto que a gente tá conseguindo evoluir e contribuir para poder desenvolver eh e na verdade o o cpsi ele fala de validar e diagnosticar uma ideia então você traz esse componente traz faz esse e esse corpo acadêmico empresa e governo para construir junto validar

a ideia e você quando for contratar você ser mais assertivo mais eficiente e promover até economia PR porque você sabe o que deu certo o que não deu certo você sabe como contratar porque você fez o teste você fez uma validação eh de uma forma ostensiva com um projeto robusto construindo e desenvolvendo ideias ali junto com o mercado né então dentro da dessa desse cenário eu acho importante ter esses componentes para permitir que a justiça possa fazer essas contratações não sei se já tem algum órgão fazendo isso né porque CPS e já tá desde 2021

eu vejo mais do governo federal com apoio do fep tá lançando rodadas de de dessas dessas transformações desses desafios eh e por fim né que eu acho que é importante Se explorar eh na inteligência quando a gente fala de treinar as pessoas eu acho mais do que treinar e conscientizar o uso do chat GPT ou uso de de ferramentas é que treinar as pessoas de como desenvolver e soluções de a como pensar em desenvolver soluções de a existe algumas metodologias o que eu gosto muito e gostaria de contribuir é através do Canvas machine learning que

é uma metodologia que ajuda a explorar ideias ajuda a explorar Onde estão os dados qual o tipo de algoritmo o que que se pretende prever quais são os recursos que você vai trabalhar usando um Framework de Canvas mesmo então Canvas machine learning é um ferramental bastante interessante que seria importante essa interação do dos órgãos com esse treinamento para não só falar de conscientização de uso mas conscientização de O que é possível resolver pro ia porque de repente se eu quero resolver um negócio do ia e de repente não é ia Ou aquele ou aquela solução

de a vai gerar muito mais curo do Que benefício Então quando você planeja e pensa isso antes Você cons consegue observar Eh esses desvios e verificar isso aqui realmente pode ser uma solução de a aqui eu posso trazer uma uma ideia que eu posso começar a implantar um MVP um protótipo para eh realmente trazer se vai trazer eficiência ou não aquele modelo de A tá então esses são os pontos que eu queria trazer Como contribuição e fico à disposição de vocês muito obrigada Dres obrigada as contribuições e aqui destaco a necessidade de criação de bases

de conhecimento eh a questão dos paradigmas né de Treinamento processamento de dados e também pensar metodologias de desenvolvimento de ia agradecemos a contribuição eh de vossa excelência então passamos pro próximo participante na modalidade virtual agora que é o Dr Daniel Carvalho Martins do Tribunal Regional do Trabalho da 12ª região o Dr Daniel vai apresentar o tema metodologia de auditoria para modelos e soluções de a no poder judiciário vossa excelência está com a palavra professora Fernanda que Preside esta mesa Conselheiro Bandeira de Melo senhoras e senhores meu muito boa tarde eh eu digo que no dia

de hoje eu tenho três alegrias né com essa participação a primeira delas é que os que me antecederam muitas vezes Aqui foram muito felizes aqui e vão me facilitar o trabalho aqui de trazer algumas explicações então eu vou sempre que possível sempre que me lembrar eu vou trazer aqui né algumas menções Ah tem uma segunda alegria também né Que segunda-feira Eu encaminhei para o gabinete do Conselheiro as minhas considerações escritas então então ninguém que me acuse de algum plagio alguma coisa porque realmente e a ideia não foi essa a ideia na verdade que eu vejo

e com muita i cdade é a questão que nós temos hoje né de uma convergência né o grupo de trabalho acredito eu tenha caminhado muito bem né nesse sentido ele tem percebido aqui né Quais são os anseios Quais são as intenções né da academia da sociedade civil de empresas de startups enfim eh eu vou começar então lembrando da professora Dora orora Calman ontem falou sobre né uma preocupação que ela tinha a respeito de como que seria a auditoria desses modelos e de soluções de Iá no poder judiciário e essa também foi a minha preocupação isso

também me despertou muito interesse né E realmente eu pensei olhando o artigo 26 a da minuta de resolução né ela fala apenas que o comitê estabelecerá o protocolo de auditoria e esse comitê também vai definir qual é a metodologia né E vai ter ali também a possibilidade de criação de grupos de trabalho comissões técnicas e também uma fixação de prazo para o saneamento né acredito que esse dispositivo embora ele já esteja muito bom ele precisa realmente de uma maior densidade normativa e vendo esse dispositivo me veio as seguintes perguntas Quem deve participar quando deve ser

feita a auditoria o que essa auditoria deve fazer e por fim como a auditoria deverá trabalhar para alcançar bons resultados então para começar a gente vai aqui falar exatamente do professor urs gasser ele fala que tem que ter uma equipe né que ela vai monitorar que ela veja Quais são os efeitos diretos e indiretos do uso desses modelos que também eles tenham ali um desenvolvimento de métricas né para que seja avaliado né o o o o desempenho dessas ferramentas Então esse é o papel eu vou chamar aqui de equipe ou de time né para não

confundir com o comitê que o CNJ né irá criar então quem é que vai participar dessa equipe de auditoria né o artigo 20 da minuta de resolução ele já traz ali uma palavra chamada diversidade e é com base nessa palavra diversidade Que Nós pensamos que o conhecimento né a respeito do assunto ele é realmente interdisciplinar Então os profissionais que estão ali envolvidos nessa auditoria eles devem ser não só da tecnologia da informação não só especialistas em inteligência artificial em ciência de dados em cibersegurança também não vejo como os profissionais do direito apenas como servidores e

magistrados né Nós precisamos também de especialistas em direito digital em proteção de dados exatamente para ver a conformidade né desses dessas ferramentas com a lgpd e com o ordenamento jurídico em geral mas também nós temos aqui que abrir espaço para especialistas em ética nós temos também os cientistas sociais eles vão avaliar esses impactos sociais e culturais do uso da Inteligência Artificial eles também poderão né garantir que os modelos eles não perpetuem nem ampliem desigualdades que já são existentes na nossa sociedade nós precisamos de auditores também dos sistemas de informação esses profissionais eles são versados eles

têm um conhecimento técnico que é muito bom nessa área e por fim né eu faço couro aqui alguns dos expositores que defendem que representantes da sociedade civil participem não só representantes de OAB Ministério Público público Defensoria Pública mas pessoas jurídicas que têm a finalidade não só de defesa dos Direitos Humanos direitos fundamentais eu acredito que esses também poderão participar da auditoria e o que que deve realmente ser avaliado pela equipe de auditoria Eu dividi aqui em quatro grupos quatro grandes grupos né O primeiro é A análise dos dados de treinamento né igualmente como a professora

Ana Car el defende né Nós acredito que o nosso sistema de a generativa ele vá trilhar Em algum momento por dados qualificados um modelo totalmente aberto ele pode ser que não seja o mais adequado para o uso no poder judiciário Então essa atividade da análise dos dados de treinamento ela é exatamente passa pela revisão e pela curadoria dos dados passa pela Identificação do de conjuntos de dados problemáticos né então acredito eu que essa é uma primeira atividade e ela deve realmente acontecer Desde o Primeiro Momento do desenvolvimento da ferramenta de Inteligência Artificial o segundo ponto

que acredito eu que a auditoria deve verificar é fazer testes em cenários vários né o teste de robustez porque embora muito embora nós nos preocupemos com os vieses o viés é apenas a ponta do iceberg nós estamos preocupados com a qualidade do resultado que o modelo vai entregar não só para magistrado para o servidor e para os demais participantes nós temos que ver também uma simulação né é preciso também aplicar esse modelo a casos sejam fictícios sejam reais e nesses diferentes perfis de usuário vamos verificar então se ele consegue entregar um resultado satisfatório a auditoria

propriamente dita ela tem que fazer uma avaliação pós implementação né E aí como muita gente já falou aqui nós temos um monitoramento contínuo esse monitoramento ele deve capturar erros deve capturar vieses que possam surgir né ao longo do uso da ferramenta e também nós precisamos aqui corrigir uma vez identificada essa falha nós temos que também recomendar os ajustes para que ele possa né mitigar os seus efeitos e como vamos fazer né o feedback dos usuários é muito importante então a coleta e a análise desses feedbacks ele tem que ser contínuo para que no uso real

né uma vez identificada essa falha ela possa ser trabalhada até ser suprida então passamos agora a falar exatamente de quando deve ser feita né ah o trabalho da auditoria ele deve ser um monitoramento contínuo Acredito eu que o uma certa auditoria regular né uma vez ao ano pelo menos né ela Deva ser formalizada no entanto esse trabalho de auditoria ele deve ser um trabalho contínuo e para que esse trabalho se desenvolva vamos entrar agora na parte propriamente dita do trabalho de auditoria como que deve ser realizado esse trabalho de auditoria e nós dividimos aqui em

cinco etapas essas etapas elas são interdependentes então elas vão acontecer ao mesmo tempo na durante a auditoria primeiro né e aqui eu gostaria de fazer um um um um paralelo com os artigos sétimos eu eu sou de acordo com a professora Juliana justo que nós precisamos fazer uma sintonia fina entre os dados que estão ali né as informações que estão ali no artigo 7 a e seguintes ela tem uma certa correspondência aqui no artigo 26 A então essa identificação e categorização de riscos ela deve exatamente consistir no mapeamento do sistema nós temos também que perceber

aqui uma avaliação de impactos né quanto a a a Equidade a imparcialidade a transparência do sistema de Inteligência Artificial E aí é onde acontecem né revisão de dados enfim consultas com especialistas né Nós temos aí exatamente como estamos fazendo agora né a audiência pública nós estamos também aqui precisando do engajamento de especialistas em Inteligência Artificial né Não só propriamente dito de tecnologia da informação mas de Direito de ética como nós já falamos né o segundo ponto ele está no no artigo 7 F né que são aquelas medidas de governança a gente destaca dois pontos que

seria exatamente a definição de responsabilidades que seria estabelecer claramente Quem é responsável por cada etapa de supervisão do modelo e também nós temos que prevê alguns mecanismos de reparo Caso haja alguma falha Caso haja algum viés identificado né deve haver um procedimento para a correção desses problemas e tudo isso para documentar as correções a definição das salvaguardas que nós temos lá no artigo 7º F também né Nós temos destacado aqui duas atividades né É preciso que a equipe de de auditoria ela desenvolva padrões de explicabilidade eh pode ser feito por meio de logs pode ser

feito por um meio de de uma um gráfico de decisão Mas o importante ali é que a decisão que seja produzida né Pelo modelo de Inteligência Artificial ele seja compreensível que seja justificável diante não só dos operadores do direito mas também as partes envolvidas nós temos também aqui né como todo mundo já trouxe aqui uma abordagem um pouquinho diferente mas a supervisão humana das decisões né os humanos eles devem participar né de forma a mitigar Os erros né de garantir também a accountability a condução da auditoria propriamente dita é o quarto bloco né de atividades

dessa metodologia e E aí onde vão acontecer testes de cenários diversificados uma auditoria de conformidade né e e também eh o trabalho de monitoramento contínuo né nesse ponto aqui eh já tivemos hoje uma manifestação em que o professor trouxe padrões internacionais aqui de de auditoria de sistemas de informação Acredito eu que algo possa ser aproveitado nesse sentido e por fim nós temos aqui a prod de documentação a auditoria ela com certeza tem que produzir um relatório né e ali ele vai conter os resultados né das análises de dados dos riscos que foram identificados das áreas

onde tiveram problemas dos vieses de algum problema de falta de transparência e também de recomendações né esses resultados eles devem ser divulgados n divulgação deve ser acessível né o judiciário já pode destinar uma área no seu Portal de Transparência né para fazer essa divulgação e a documentação ela também deve abranger a melhoria contínua né todas as melhorias elas devem ser não só feitas e executadas mas também elas devem trazer uma documentação para que ela Garanta né um ciclo de feedback contínuo então senhoras e senhores eu finalizo aqui a minha apresentação Eh o meu conceito de

auditoria é uma auditoria P design né um pouco diferente do que tem na resolução porque a resolução ela se preocupa muito com a auditoria após a implementação do modelo e como nós estamos falando de um processo Como diria o professor Felipe rer muito complexo né com poucos profissionais ainda que conseguem dominá-lo e juntamente com professor eh nós estamos num cenário muito dinâmico né Não só no na própria tecnologia mas nós temos também um problema que diz respeito ao volume de trabalho do Poder Judiciário né Nós estamos falando de 88 milhões de processos né segundo justiça

em números que foi publicado recentemente Então é isso gostaria de agradecer eh se o cerimonial pudesse compartilhar aqui o link para o nosso ele já está disponível a todos então meu muito obrigado e Tenham todos uma boa tarde nós que agradecemos Dr Daniel as contribuições para artigo 26 a especialmente com relação à auditoria de quem quando o que e como e também o ponto relativo à diversidade que eu acho que é uma questão central também né de um de um processo de desenvolvimento democrático aberto inclusivo eh eu chamo aqui presencialmente a d ele zordan Keller

da Keller sociedade de advocacia e a dout el vai falar sobre responsabilidade civil do uso de ia e meios de prova agradecendo aqui a sua participação já lhe passo a palavra muito obrigada vou só abrir aqui meu computador porque a minha capacidade de processamento já não se equivale a de uma I Então eu preciso de ajuda bom quero agradecer a oportunidade ao Conselheiro Dr Bandeira de Melo e cumprimentar D Fernanda laje D Laura e Dr Alexandre e aos demais membros que estão nos assistindo bom eu quero falar iniciar minha fala eh no aspecto da do

Instituto do livre convencimento do juízo do juiz me preocupa um E aí como aluna do Dr Nelson ner Júnior e orientando no doutorado da PUC São Paulo da D D Rosa ner nós entendemos que as provas elas são na verdade a coluna vertebral de um processo e as provas também elas são o elemento para livre convencimento do juiz o que me preocupa com a aplicação da inteligência artificial seja ela para tomada de decisão ou Para apoiar o magistrado é justamente eh como ela vai eh ilustrar de que forma ela vai executar através dos algoritmos a

valoração das provas como é que ela vai conseguir eh eh dar o entendimento correto a essa valoração E aí nessa senda eh senhores eu quero lembrar que as provas são elementos constitutivos instintivos modificativos e impeditivos do direito bem como elas criam o nexo causal entre ação e o resultado sendo assim o juiz só pode formar sua convicção e julgar a lid a partir de fatos aduzidos e provados pelas partes no processo então sem sem sobra de dúvida é muito importante quando a gente fala da concepção de uma inteligência artificial para apoiar o estrado que se

leve em consideração como os algoritmos vão eh eh ser eh elaborados executados e treinados para a valoração das provas e aí a partir desse ponto de partida eu vou fazer a minha contribuição fazendo aqui uma provocação uma reflexão sobre essa questão como é que a gente vai prevenir né fazer uma previsão da responsabilidade civil Extra contratual eh das empresas que irão desenvolver os modelos algoritmos para o uso do Poder Judiciário como é que eu vou responsabilizar as empresas que farão justamente eh essa elaboração de modelos eh algoritmos Para aplicação no na atividade jurisdicional né como

é que eu vou eh eh exatamente como é que eles vão desenvolver esses modelos algoritmos eh eh criando aí uma capacidade segura de apuração de Nexo de eh de causalidade de assimetria nas relações entre demandante e demandado os costumes como eh fonte do direito né E também a questão que já foi eh ponderada aqui sobre como é que ele vai eh eh tratar o segredo Empresarial e a privacidade das pessoas que buscam o judiciário E aí nessa senda também quero lembrar sobre a questão moral eh porque a livre convicção do juiz não se faz apenas

eh pela questão das provas aduzidas ao processo mas também a questão da sua moral e a sua ética e eu gosto sempre de sempre que posso falar em público lembrar eh do trabalho do Mit de da moral Machine onde eles criam um teste em que você passa por diversos dilemas da vida e você tem que tomar uma decisão então ele te coloca para decidir se você prefere eh matar os passageiros do do veículo autônomo ou uma velhinha e uma mãe com uma criança atravessando uma rua na faixa porém com a o sinal vermelho para pedestre

ou seja há ali uma responsabilidade eh eh extracontratual vai eh assim dizer E aí ele Pondera tudo isso para no final mostrar eh fazer ali uma demonstração do resultado que vai mostrar justamente as preferências éticas do usuário quanto a obedecer a lei né quanto dar prioridade por exemplo aos seres humanos em detrimento aos animais e a preferência também de quem deve viver cont a faixa etária e esses são dilemas que os os os nossos magistrados se param diariamente e como é que a ia vai tratar isso Então essa é uma grande questão que a gente

precisa ponderar da da quando a gente fala de moral e ética e aí por fim como todos os colegas que aqui falaram eh Sem dúvida alguma a lei geral de proteção de dados ela tem eh sido aí basilar e um e e tem servido aí de fonte eh para a regulação da Inteligência Artificial E aí eu sentir um pouco de ausência da gente falar sobre o o Private by design e o Private by conception Mas falar também de um modelo uma matriz eu vou chamar de Matriz Mas enfim pode levar o nome que quiser e

pra gente tratar dessa questão da Concepção no design que que eu quero dizer com isso eh na lei geral de produção de dados a gente tem um relatório de impacto Por que não pensarmos em algo similar ao relatório de impacto que eu vou chamar de Matriz mas que ele vai trazer justamente pelo CNJ uma matriz de valores ética e moral e também de legalidade ou seja ele vai trazer nessa Matriz a base elementos valores que o CNJ considera prioritário para elementos legais e não legais legais Quando eu digo obviamente eu tô eh dizendo aqui das

leis do Nossa do nosso ordenamento jurídico e não legais a questão da ética e da moral para que a gente não tenha justamente essa questão desse exercício que eu trouxe aqui do Mit ou seja cada magistrado decidindo como é que vai ou cada Iá decidindo como é que ela vai tratar os dilemas da vida então o o CNJ eh tem Total eh eh legitimidade para criar essa matriz e dizer isso é a base padrão Ou seja o design né o o o layout by conception do daquilo que se espera quando a gente criar modelos de

algoritmos como a e a a inteligência artificial eh generativa e aí nesse aspecto eh então a a minha contribuição vai nesse sentido de criar uma matriz onde a gente tem ali um modelo Claro e terminado pelo CNJ até porque nós sabemos isso acontece com de forma muito corriqueira que eh os tribunais acabam por si só desenvolvendo suas próprias tecnologias a gente vê aí a gente tem o essage o o o pje e provavelmente nós teremos também e uma gama de inteligências artificiais sendo desenvolvidas a gente viu até um colega hoje de manhã falando que ele

já tá fazendo um teste por uma magistrada então e essa isso é algo que a gente vai ver acontecendo mas é necessário para que a gente eh mantenha principalmente ah a segurança jurídica dos direitos fundamentais eh eh postos né Eh eh eh positivados na nossa Constituição é fundamental que o CNJ pense Justamente na criação dessa Matriz dessa concepção de uma matriz de Quais são os valores legais e não legais que qualquer iado do Judiciário deve se pautar para que a gente não tenha eh entendimentos de as diferente para as mesmas situações e aí a gente

também não crie jurisprudências eh erradas ou com falhas da própria ia né e por fim me preocupa muito eu Apesar de muito entusiasta da da tecnologia acho que ela veio sem sombra de dúvida ela vem para aggar mas eu acho que a gente não pode esquecer também de valorizar a o poder de criação do ser humano e principalmente do magistrado Então me preocupa na questão do uso da inteligência artificial no judiciário da gente acabar limitando a criatividade dos nossos magistrados de criarem jurisprudências de trazerem aí nor eh eh eh de alguma forma eh eh casos

de repercussão geral que possam eh de alguma forma eh beneficiar a sociedade que busca no judiciário uma forma de de ter os seus direitos atendidos então a gente precisa sim usar a inteligência artificial mas sempre eh pensando em incentivar o magistrado a não tratar a inteligência artificial como um instrumento que ele não precise mais se debruçar sobre ela mas que ela seja só um elemento de ajuda e e eh Faltou um pouco deu de eu de ver ali na Norma escrita eh algum incentivo para que o magistrado siga usando ela apenas para obviamente desafogar da

das grandes demandas mas eh usando seu seu seu tempo para eh mais criatividade com relação eh à jurisprudências e a questão de uma matriz by Concept pra gente ter aí valores legais e não legais eh postulados pelo CNJ para que a gente não tenha aí maiores problemas na adoção eh de diversas e as eh tribunais afora nesse Brasil de dimensões continentais Essa é minha contribuição quero agradecer muito a [Aplausos] oportunidade Obrigada D Eline eh acho que uma chave importante da sua fala também na Perspectiva da advocacia eh é extremamente relevante a responsabilidade pela violação de

um dever ético a necessidade de uma matriz ética inclusive para que a gente possa pensar por que que a gente responsabiliza né Eh muito obrigada pelas suas contribuições E agradecendo e chamo já na modalidade virtual representando o Tribunal de Justiça do Estado do Rio de Janeiro o Dr Daniel rab secretário Geral de ti e ele nos apresentará sobre o portfólio de projetos de a do jrj Dr Daniel vossa excelência está com a palavra muito obrigado boa tarde a todos eh cumprimento na pessoa do Conselheiro Bandeira de Melo os membros da mesa os membros do grupo

de trabalho os representantes da academia os órgãos técnicos e de todo o sistema de justiça que estão aqui colaborando para iniciativa tão importante eh já estamos aí no encerramento do segundo dia né e com o avançar das Exposições por expoentes de tamanha qualificação se torna cada vez mais desafiador dar alguma contribuição de valor né Já falamos aqui ao longo da das Exposições sobre direito fundamentais sobre governança letramento e treinamento dos usuários proteção de dados explicabilidade e tantos outros temas extremamente relevantes para o debate em torno da ia generativo então considerando eh o risco de me

tornar repetitivo considerando também que dois outros integrantes do comitê gestor de Inteligência Artificial do Tribunal de Justiça do Estado do Rio de Janeiro desembar Cláudio delorto se manifestou ontem e o Professor Walter Capanema se manifestou hoje h pouco já levaram a consideração de vossas excelências as nossas eh inferências preocupações e colabora ações que serão Claro complementadas pelo estudo formal escrito submetido pelo Desembargador de lorto eh também consideração ao tema da mesa e ao tema que me foi atribuído né que são respectivamente aplicações práticas e desenvolvimento da área judiciário e também o portfólio de projetos de

no TJRJ mas especialmente sensibilizado por uma fala do Conselheiro Bandeira de Melo ontem no fim da tarde de que teríamos no horizonte uma solução de itiva apta a colaborar com a jurisdição sobre o formato de proposição de minutas eu resolvi pivotar um pouco o conteúdo da minha apresentação original e fazer um link de tudo que vem sendo discutido aqui com o o uso da ia generativa no seu formato mais vivo eh no seu formato de produção o seu formato de atuação e operação em um tribunal de justiça já com uma ferramenta que Visa é claro

exponencializar a produtividade dos seus usuários mas sem nunca perder de vista o cuidado a todos os princípios diretrizes normas e regras que foram aqui já exploradas pelos senhores então para isso eh E tratando diretamente aqui de um dos projetos do portfólio de a do Judiciário Fluminense como como pediu o tema eu peço licença para compartilhar a tela com os senhores e falar aqui do nosso Assis então Eh peço a mesa a me acusar quando a tela for compartilhada nós conseguimos visualizá-la sim muito obrigado então senhores a a realidade é essa a a a DNI é

uma realidade na advocacia sendo UTI ada amplamente por escritórios e advogados individuais também uma realidade não menos impactante no próprio ordenamento jurídico sendo usado individualmente por magistrados e servidores e eh Em contrapartida temos uma redução gradativa do número de integrantes dos tribunais e um aumento também eh muito sensível na quantidade de projetos de processos distribuídos quem acompanha a justiça em números do CNJ vê que que eram 70 milhões no ano retrasado passamos para 83 no ano passado Então dentro deste contexto senhores eh o Assis surge como assistente de inteligência artificial generativa para tratar como o

produto das seguintes questões fazer minutas de decisões e relatórios para magistrados e responder quaisquer indagações que o usuário possa ter acerca do processo sendo trabalhado então perdão o Assis está utilizando o estado da arte em IAG que é o GPT 4 Omni em duas camadas de processamento composta Claro com outras tecnologias em nuven e já está integrado na base do pje por api direta nuvem para nuvem né o pje roda na aws o Assis roda na aure mas ambos já estão diretamente conectados a experiência do Assis e é uma questão de muito destaque é totalmente

customizada Pois cada magistrado faz o upload do seu acervo pessoal de sentenças de documentos e decisões e essa vai constituir a base de dados em cima da Qual a ferramenta vai treinar individualmente para eh para sugerir minutas eh e de textos relatórios e documentos para aquele juiz então ela vai possibilitar que o magistrado se veja refletido nas minutas que são propostas tanto no seu conteúdo hermenêutico normativo quanto no seu estilo de redação e na estruturação de ideias Então temos com nesse um elemento muito importante do projeto né a integração entre nuvens eu acabei de expor

na nossa próxima jornada passaremos a fazer a integração do Assis ao sistema eproc são cinco eixos em torno dos quais o sistema trabalha produtividade segurança ética e responsabilidade custo e diferenciais competitivos todos muito caros a toda a produção de projetos de Inteligência Artificial generativo vou passar rapidamente em um voo razante sobre os respectivos eixos ou dimensões em termos de produtividade eu sempre digo quando tenho a oportunidade que não há concurso público suficiente para fazer frente à Inteligência Artificial da forma que ela vem sendo aplicada atualmente né Eh o potencial de produtividade da IAG ele é

muito grande se comparado com aquele dos nossos servidores magistrados e colaboradores e digo ainda como devemos encarar o protagonismo do direito digital e da tecnologia no próximo ciclo do ordenamento jurídico né tenho para mim que o que o constitucionalismo foi nos no último grande ciclo de debates judiciais e jurídicos tanto acadêmicos quanto na própria aplicação do direito irá talvez eh receber um novo protagonista né qual seja o direito digital e as suas aplicações tecnológicas eh impactando de forma inédita Eu acredito a maneira como trabalhamos eh o que teríamos né Eh na face do juiz gestor

aquele personagem tão propagado e tão defendido que o magistrado se tornasse ao longo também dos últimos ciclos de gestão acredito que essa essa faceta Também irá mudar um pouco pro perfil de Juiz programador não aquele que desenvolve códigos mas aquele que tem uma conexão de afinidade e familiaridade com as soluções de a e saiba construir prompt saiba construir comandos interagir com respostas e propor novas indagações as soluções que estão se apresentando aqui é uma conta ainda no eixo de produtividade uma conta breve nós temos aqui no Rio 4278 pessoas entre servidores e magistrados direta ou

indiretamente ligados à prolação de acórdãos e sentenças né tratando ambos como o principal produto entregue nas esteiras de produção do Judiciário se o Assis for apto a economizar 2 horas de trabalho diários numa jornada de 8 horas de cada uma dessas pessoas isso equivale dizer que teremos mais 170 desembargadores juízes assessores e secretários em nosso os quadros então o aumento da produtividade e a redução de custos nessa matemática para nós é muito Evidente a medida em que a folha salarial de 170 novos desembargadores juízes assessores e secretários teria uma proposta uma amplitude muito maior do

que o custo da ferramenta E essas 1 1. 882.000 horas de trabalho economizadas a cada ano também depõe muito a favor do projeto no eixo de segurança no nosso segundo eixo todos os arquivos que são trasladados que são subidos para a solução ou que são tratados pela solução assim são feitos em um ambiente isolado no qual não há recompartilhamento compartilhamento ou reutilização de dados para treinamento de nenhum outro produto sistema ou modelo de generativa ou não a auditoria e rastreabilidade de todos os dados transacionados está inserida como Pilar do projeto Então as interações e as

iterações de cada troca dos usuários com a ferramenta são auditáveis e estamos acredito eh já que antecipando a normatização que vem agora sendo debatida na na minuta proposta pelo grupo de trabalho também no projeto de lei em trâmite no Congresso acreditamos estar compliant não só com a lgpd mas com os principais frameworks nacionais e internacionais de segurança da eh informação o nist foi citado como utilizado na América do Norte um dos mais referenciados né e não só ele como as normas ISO que tratam de Gestão de Risco de segurança da informação Nós acreditamos que o

Assis está em compliance com essas diretrizes no eixo de responsabilidade também um pilar muito relevante na estruturação do proj projeto eh indicamos que cada usuário da ferramenta precisa de uma capacitação não apenas obrigatória como prévia né ministrada eh aqui pelo Desembargador de lorto que já se manifestou no Na audiência pública também pelo Professor Walter e por mim entre outros e nessa capacitação são exploradas as dimensões de ética responsabilidade parcimônia vieses distorções AL ações e tantos outros desafios da ia para apenas após essa conscientização e sensibilização avançarmos para qualquer uso prático da ferramenta temos também responsabilidade

individual de fiscalização pelo usuário a cada interação com o sistema então a cada pergunta que o magistrado faz para o Assis ele vai precisar declarar por meio de clique num botão que ele leu compreendeu e homologou o resultado do que foi proposto pela ferramenta assim trazendo a contabilit pra esfera individual de cada juiz e a cada interação com a ferramenta a individualização da base de dados de cada magistrado em acervo e perfil próprios então sempre lembre-se o Assis vai trabalhar para mim em cima das minhas sentenças das minhas decisões dos meus relatórios isolando a minha

base de dados não só paraa customização mas também paraa minha responsabilização porque qualquer proposta de minuta relatório decisão ou sentença vai ser construí em cima daquela constelação de meta arquivos de arquivos vetorizados que é o meu portfólio precificação é sempre uma preocupação grande então sabemos que a generativa não é barato existe para isso um time de arquitetura dedicado na equipe de desenvolvimento do Assis eh no início do projeto trabalhávamos com r$ 7 por processo E aí girando em torno de sete perguntas por processo Já conseguimos reduzir esse valor para uma média de R 5 por

processo apesar de termos subido dois degraus no nível de versão do GPT agora Como já disse estamos usando quatro om que é a última versão e a partir da produção entrada em produção do Assis dia 30 de agosto desse ano vamos poder refinar cada vez mais Eh esses estudos de precificação da nossa equipe de fintec e reduzir os valores de utilização da ferramenta o que que o Assis apresenta que as soluções individuais não apresentam né aí entendemos que não adianta apenas fornecer uma ferramenta qualquer Mas ela precisa ter diferenciais competitivos que engajem o usuário e

Tragam o usuário que façam com que ele queira usar a ferramenta Então temos links dos índices das Árvores processuais e peças a cada parágrafo de relatório ou decisão que o Assis propõe vem o link direto da peça da árvore processual do PJ de onde foi extraído aquele conteúdo e um link clicável para poder termos abrir a peça imediatamente os props de fundo nos botões pré-programados são altamente sofisticados e compostos por múltiplas camadas Automatic já nativamente integrado ao eproc e eh perdão ao pje e futuramente ao eproc por um api as questões de segurança e customização

da experiência conforme eu já descrevi então na versão 1.0 lançada em 30 de agosto estamos rodando em 54 J usados especiais cívis ou federais aqui do Rio de Janeiro e juízes participaram da elaboração de todos os promos e testes ao longo do MVP e de construção da ferramenta aqui é um vídeo breve que eu vou pular e nos resultados esperados eh eu gosto muito de destacar que o nome da ferramenta é Assis não à toa mas sempre para relembrar o usuário a cada troca a cada interação com o sistema de que ele é um assistente

e assim falando uma ferramenta de suporte a jur jurisdição jamais uma ferramenta de jurisdição cujo fim último é reduzir de horas para minutos ou às vezes até mesmo segundos o tempo para criação de minutas para o magistrado aproveitando esse meu restinho de tempo Conselheiro e sem querer eh me atropelar nos demais eh expositores Essa é a cara do Assis esse aqui é o sistema em produção vou fazer aqui uma escolha aleatória de um processo qualquer eh ele leva alguns segundos para validar mostra alguns itens eu confirmo o processo vou apenas usar os atalhos mais rápidos

aqui para mostrar o carregamento de documentos isso aqui leva alguns segundos Daniel desculpa Daniel você precisa trocar a tela Projetada você tá projetando pra gente ainda a tela do tua apresentação eu não tô vendo o sistema perdão vou fazer novamente Conselheiro desculpe interrompi vi só porque a gente tava perdendo sua agradeço não eu OK agora já temos já temos o Assis na tela Então essa é a cara do da ferramenta né vou pegar aqui vou pular todos esses ícones por conta do tempo exíguo Conselheiro e vou escolher aqui um processo aleatoriamente o processo ele é

validado né vou confirmar aqui as informações iniciais e vou aqui não fazer pedidos a partir de um modelo processual porque eu não fiz upload de acervo Então vou apenas usar a ferramenta aberta né na forma como ela é construída sem eh o aprofundamento do treinamento vou pedir aqui um relatório rápido né Eh e isso lembro estamos trabalhando num processo em produção é não é um ambiente de homologação a ferramenta já em alguns segundos nos leva aqui para um relatório vejo que os índices vou só voltar aqui o minutinho os índices são clicáveis ele baixou aqui

e eu já tenho rapidamente a árvore da peça processual referida na construção relatório já está pronto Posso copiar a resposta gerar novamente e pedir outras instruções ou fazer qualquer pergunta aqui para o sistema eh peço perdão por ter estourado o tempo o tema realmente eh é muito instigante e na na parte final apenas para encerrar minha manifestação gostaria de instigar os tribunais e todos os atores do ordenamento jurídico brasileiro a quebrarem os seus Silos de produção vemos muitos órgãos trabalhando em projetos ou idênticos ou semelhantes num grande retrabalho e numa pulverização de recursos de difícil

fundamentação né estamos já na comunidade do eproc conseguindo desconstruir esses filos e fazer iniciativas de fato colaborativas para que as ferramentas de ia generativa ou não sejam únicas para com unidade e sejam produzidas assim com muito mais celeridade e qualidade pro usuário final que é eh o jurisdicionado com a ansa de obter uma Justiça mais célere e resolutiva faço Renovo aqui o meu agradecimento colocando a Secretaria Geral de Tecnologia do tribunal do Rio de Janeiro à disposição de todos os interessados E desejando um excelente uma excelente continuação da audiência pública Muito obrigado [Aplausos] muito obrigada

Dr Daniel eu passo a palavra ao conselheir Bandeira de Melo para suas considerações Obrigado Fernanda Daniel eu tomei a liberdade de pedir a palavra só para me dirigir a tá tá nos ouvindo ou será que ele saiu já Daniel tá na sessão ainda ah ok perfeito perfeito na verdade bom primeiro lugar parabéns né Não só pela exposição pelo trabalho que vocês têm feito sem dúvida acho que o TJ Rio hoje né o tribunal mais avançado na utilização de a generativa do país nós tivemos o TJ Paraná que lançou uma ferramenta interessante também a juris juris

GPT se salve engano né mas é uma ferramenta basicamente de levantamento de jurisprudência o rio já vem com a solução um passo adiante né integrada ao pje que já indexa os documentos como foi demonstrado aqui né com a linguagem muito fácil vinculada ao processo realmente vocês estão na Vanguarda desse trabalho me parabéns eh Inclusive eu tive com o presidente Ricardo Cardoso recentemente no Fest Labs e combinei com ele de aí na novamente para conhecer e especificamente o o Assis que aliás me decepcionei eu achar que Assis vinha de Machado de Assis algo tipo um redator

escritor acabei saber que ele V de assistente fiquei meio triste mas bom tudo bem interação livre então conselh tá certo tá certo mas Daniel eu queria te pedir alguns dados mais eh técnicos fosse possível Ah você mencionou que o que o assisto funciona para 53 magistrados em em jec não é isso eh juizados né isso especiais eh e já está em produção né Vocês eh a ideia de vocês expandir isso para todas as as comarcas do do Rio ou na capital ou Vara da Fazenda qual a estratégia de expansão número um número dois vocês têm

trabalham com o que universo de tokens para cada consulta processual dessa aí você para ter uma noção do tamanho da da janela né de diálogo com com o sistema e quando você me traz esse custo de r$ 5 por processo né você tá estimando isso com base no no tamanho médio da interação do do produto que o o Assis me manda né do relatório uma sentença uma minuto e qualquer coisa ou é com base no tamanho médio de um processo ou seja porque Imagino que o sistema o Assis Ele não sobe o processo inteiro para

llm né Imagino que você tem já algum tipo de resumo enfim me dá um pouquinho mais de detalhe técnico eu peço desculpas aos demais palestrantes eu sei que vai acabar gerando um pequeno atraso mas acho que vale a pena a gente explorar essa solução que tá na na Vanguarda do do Judiciário brasileiro nesse momento desculpa Daniel e obrigado pela por tua paciência em especificar detalhes perfeito Conselheiro eh agradeço fico lisongeado pelo interesse tá vou vou vou endereçar rapidamente eh as suas indagações na ordem em que foram propostas eh Há slides sobre isso na apresentação Eu

apenas economizei por conta do nosso tempo o Assis está s em produção em 54 juizados da especiais da competência Cívil e ou fazendária tá essa competência foi Eleita como competência piloto por alguns motivos práticos a o primeiro motivo é que a complexidade das teorias jurídicas manejadas nessa competências tem menos densidade do que em outras competências mais desafiadoras como o direito empresarial como o Direito Penal e com o direito civil em toda a sua amplitude então entendemos que nos juizados especiais o treinamento do modelo para uma acurácia de praticamente 100% que é a nossa meta e

é o que temos experimentado aqui seria mais palatável nesse primeiro nesse primeiro ciclo da jornada em segundo lugar porque o número de documentos em um processo de usuário especial seja ele Cívil ou fazendário tende a ser menor então ali e aí já adiantando uma outra pergunta o processo é sim inteiramente processado ele é todo mastigado e eu vou falar brevemente Como isso acontece então a quantidade de documentos inados especiais é menor o que facilitaria também a construção do MVP e em terceiro lugar a criticidade dos bens jurídicos eh litigiosos dos bens jurídicos disputados do dos

conflitos de interesses levados às competências de jados especiais tende a ser eh eh menor do que em outras competências onde a criticidade doem do bem da vida disputada é muito grande então não não teríamos como responsável lançar o Assis no começo de projeto numa competência criminal ou numa infância infracional ou numa infância não infracional ou num direito de família essas competências vocês ficarão pro fim eh da nossa implantação existe sim um uma um cronograma um roadmap projetado para essa expansão recentemente o presidente Desembargador Ricardo Cardoso Com quem o senhor esteve no Fest Lab me solicitou

a disponibilização para o segundo grau de jurisdição já em fevereiro de 2025 e sem prejuízo dessa expansão pro segundo grau em fevereiro eh nós esperamos em egar nesse mesmo mês para o segundo grau já a api do eproc para que o Assis Rode dentro do eproc para o segundo grau de jurisdição e sem prejuízo disso tudo ainda no segundo semestre de 2024 iremos expandir para a competência Cívil de primeira instância num num primeiro momento com as funcionalidades de relatório porque entendemos que a é muito mais interessante e agrega valor aos magistrados da competência Cível ter

a funcionalidade de relatório porque isso toma grande tempo né dos juízes dessa competência do que ter que esperar o aperfeiçoamento do modelo para a proposição de fundamentações e dispositivos dentro da competência civil que é tão vasta tão extensa e tão desafiadora para o treinamento então o roadmap é para segundo grau integrado ao eproc em fevereiro e no segundo semestre de 24 ou uma expansão gradativa na competência Cívil tokens eh como muitos aqui já tiveram oportunidade de estudar aí a generativa cobra por milheiro de tokens então a cada 1000 tokens você tem ali bilet ou valor

e específico a depender do do da construção das camadas de llm que você usa então Conselheiro o Assis atualmente ele está usando duas camadas do GPT 4 om que é a versão mais ponta de Lance a versão mais atual do GPT a primeira camada faz um pré-processamento ou o enriquecimento das peças processuais daqueles autos que estarão sendo trabalhados Então esse pré-processamento faz resumos daquele conteúdo esses resumos ou chunks são processados para serem correlacionados com a segunda dimensão da ferramenta como é que essa segunda dimensão funciona eu citei que que o acervo do usuário é a

base de dados subida para o Assis e a partir do momento que o senhor ou qualquer magistrado sobe esse seu acero pessoal cada arquivo cada sentença ou cada documento ele vai ser vetorizado ou seja as palavras virarão zeros e uns e essa vetorização vai ser explodida em um grafo multivet e multidimensional vamos falar em uma grande constela não de três mas de múltiplas dimensões e nessa grande constelação cada estrela vai ser um desses vetores que foram transformados a partir dos seus modelos essa segunda camada de operação do GPT Omni qu do GPT 4 omne ela

vai trabalhar nessa constelação que reflete o seu perfil profissiográfico de magistrado Qual o modelo ou conjunto de extrações semânticas e de conteúdo melhor se relaciona com aquela primeira camada de processamento fazendo esse depar fazendo essa correlação o Assis vai propor o melhor relatório fundamentação dispositivo ou resposta a qualquer pergunta que foi feita em cima dos prompts pré-programados ou de um prompt construído pelo próprio usuário R 5 é o valor projetado em cima de sete interações do magistrado por processo Então as interações são quatro perguntas que chamamos de perguntas Core ou seja perguntas prontas faça o

relatório faça a fundamentação faça um resumo liste as partes liste as decisões já proferidas essas são as perguntas Core então quatro perguntas Core mais três perguntas livres discursivas que podem ser Houve alguma perícia no processo se sim Onde está e qual foi a conclusão do perito e dos assistentes técnicos indicados Isso é uma pergunta livre o somatório né das perguntas cor com as perguntas Livres mas a infraestrutura em nuvem para sustentar o número de usuários e o número de interações projetadas tudo isso somado e dividido né com uma grande pulverização de custos nos leva ao

valor de r$ 5 por processo é É interessante fazer um cotejo disso com as ferramentas privadas Por que que todos pagam $2 aqui eu faço uma analogia muito com o mundo dos Seguros privados onde há uma coletividade de usuários e uma pulverização da sinistralidade eh ao passo que existem usuários que estressam a ferramenta e todo dia cobram dela inúmeras respostas existem usuários que uma vez por mês engrenam lá e pedem a GPT um roteiro de viagem ou uma receita culinária o somatório de todas essas interações pulverizado pelo número de pagantes nos leva um valor de

$2 palatável a qualquer usuário no mundo corporativo ou institucional não é assim que funciona como o uso de eh de llms corporativos numa escala do tamanho que estamos fazendo aqui ainda é muito incipiente eh os próprios fabricantes a openi a a Google a Amazon ou quem quer que seja ainda não conseguiram chegar a esse jus fino para uma bilhetagem única então assim eu respondo a sua pergunta dos valores temos um time aqui inteiramente dedicado à precificação e a reduzir os valores como eu disse começamos em r$ 7 acredito que Eu tratei as suas indagações Conselheiro

peço desculpa se deixei alguma de fora mas estou aqui para saná-la se for necessário estou me sentindo altamente contemplado Obrigado Daniel por suas explicações eu comentava aqui em paralelo com com o zavagli é membro aqui também do GT que é esse projeto realmente do Rio de Janeiro né Ele é disruptivo né e ao permitir individualizar a configuração de cada magistrado né como você mesmo colocou ah conforme seu estilo próprio né um conjunto de instruções que ele mostrou ali no sistema perguntava né me parece que vocês estão realmente de parabéns com esse projeto Daniel eu vou

querer aí conhecer mais alguns detalhes mas por hora vamos deixar seguir a audiência pública porque tem mais gente para falar obrigado pela participação amigo muito obrigada Dr Daniel muito obrigada Conselheiro eh E agradecendo aqui desde já a participação da Dra Renata Braga cleven husen do curso de direito da Universidade Federal Fluminense pesquisadora colaboradora da FGV justiça que nos apresentará sobre modelo de governança para gestão do desenvolvimento sustentação e uso de soluções de a orientado pela transparência auditabilidade práticas e casos de uso permitido regulado e proibido Dr D Renata vossa excelência está com a palavra muito

obrigada boa noite a todos Gostaria de parabenizar o Conselho Nacional de Justiça por esse movimento de revitalização da resolução 332 eh parabenizar o conselheiro Banderas Melo pela pela condução dos trabalhos e cumprimentar os outros integrantes na mesa eh nas pessoas e as minhas queridas eh da minha querida professora Fernanda laje e da querida Doutora eh Laura curto bom eh eu gostaria antes da gente de tratar especificamente da i generativa que é justamente eh o mote né é o que tá impulsionando essa essa revitalização da resolução 332 eh pensarmos juntos darmos um passo atrás eh para

analisarmos e verificarmos se os sistemas que hoje em dia eh estão sendo implementados e desenvolvidos no âmbito do poder judiciário tem aderência à resolução 332 eh no âmbito da FGV Justiça eh sob a coordenação do ministro luí Felipe Salomão eh nós desenvolvemos pesquisas eh de mapeamento de estudo desses sistemas desde 2019 eh em 2019 foi a primeira edição do nosso estudo Ah um verdadeiro inventário dos sistemas de Inteligência Artificial porque o que nós tínhamos antes eram apenas notícias esparsas e muitas vezes eh notícias incorretas de que determinado sistema tinha Inteligência Artificial quando na verdade não

tinha eh e a gente identifica um desejo né que todo mundo tem de ter um robô e de ter um algoritmo para chamar de seu né e por isso atribuíam aí o uso de a sistemas que verdadeiramente não eram eh sistemas de Inteligência Artificial Então esse primeiro esse primeiro inventário que foi feito em 2019 pela FGV Justiça trouxe a sistematização eh naquele momento de dos sistemas Ah logo no ano seguinte o CNJ já implementou eh painéis de acompanhamento desses sistemas eh em 2021 nós atualizamos esse inventário eh É impressionante como de um ano pro outro

esses dados eles se modificam como outras iniciativas aparecem eh e em 20222 nós fizemos um estudo um pouco diferenciado selecionamos alguns eh sistemas para analisar Justamente a aderência eh desses sistemas à resolução 332 muitos sistemas foram construídos antes da resolução n e outros foram construídos após eh a resolução 332 eh atualmente o Conselho Nacional de Justiça disponibiliza um bi com dados de todos os sistemas de Inteligência Artificial mas como foi dito aqui se eu não me engano se foi hoje ou ontem eh mesmo os dados que constam hoje na base de dados do sinapses não

permitem muitas vezes entender o funcionamento daquele sistema então por isso que eu quero dar um passo atrás pra gente tentar identificar né em que medida eh os sistemas hoje e e a forma como a gente vem trabalhando efetivamente contribuem para um conhecimento dos sistemas de Inteligência Artificial e o que que a gente identificou nesse estudo né que tratou especificamente que foi a terceira edição que tratou especificamente da resolução 332 nós identificamos que as informações dos tribunais são muito precárias apesar do esforço hercúleo eh e a gente precisa realmente tirar o chapéu porque a grande maioria

dos sistemas eh é desenvolvida por meio das equipes internas dos tribunais Então isso é algo extremamente louvável mas eh não sei se eles não têm fôlego ou não tê condições de apresentar essas informações de forma Clara e precisa Então a ideia seria que a gente tivesse eh No que diz respeito a transparência publicidade e informação Abas nos sites dos tribunais com informações Claras e precisas sobre os sistemas de Inteligência Artificial que estão sendo implementados ali eu tenho um receio muito grande de nós darmos um passo à frente da i generativa quando na verdade nós não

temos ainda consolidado um conhecimento a respeito eh dos sistemas que estão eh sendo utilizados já hoje pelo Judiciário brasileiro então Eh se para nós pesquisadores né e até a pesquisa que foi conduzida se eu não me engano pela Dra Laura schertel eh no idp eles tiveram dificuldades de analisar os dados eh do do sinaps da plataforma sinapses que Dirá eh a população que desconhece então nós sabemos que a inteligência artificial é algo extremamente almejado mas ao mesmo tempo existe uma certa resistência sobretudo no direito tá em relação ao uso dessas atividades dessas dessas aplicações então

quanto mais informações a gente tiver não só para jurisdicionado Mas para todos os integrantes do sistema de Justiça maior facilidade nós vamos ter por para implementar o sistema sistemas ou aplicações eh vinculadas a ia generativa então a minha proposta é que em relação ao Artigo 18 que trata justamente da Necessidade né do usuário externo tomar conhecimento eh do uso de aplicações de Inteligência Artificial que nós possamos ter uma campanha E aí eu não sei qual seria o instrumento mais adequado mas que o CNJ possa capitanear eh junto aos tribunais eh mecanismos de exploração dessas informações

de maneira clara eh didática precisa para que eh a população e todos os atores do sistema de Justiça possam ser informados tá sobretudo porque eh a própria a minuta da resolução estabelece que em caso de aplicação da ia generativa eh o o o haverá necessidade da indicação em nota de rodapé que houve O uso desse desse sistema Então eu acho que a gente precisa tomar determinadas cautelas primeiro de eh não só de informação mas também eh um ponto que foi tocado pelo pelo pelo professor dierle em relação à questão do letramento digital eh esse letramento

digital obviamente ele tem que acontecer no âmbito do Poder Judiciário envolvendo magistrados e servidores mas eu iria além eu sei que o CNJ não teria aí eh digamos assim uma atuação mais direta nesse Campo mas que a gente tivesse também eh envolvimento do ministério público da Defensoria Pública ou seja de todos os atores do sistema de justiça para que eh esse esse esse letramento digital já se concretize eh a gente já consegue identificar isso nos cursos de direito eu tenho a felicidade de ser professora da disciplina de direito e tecnologia na uf então e é

uma disciplina que eh de acordo com as diretrizes do MEC com as determinações da da Ordem dos Advogados do Conselho Federal eh deverá a ser obrigatória então nós teremos gerações de advogados mais para frente que não só né terão conhecimentos por exemplo de métodos consensuais de Solução de Conflitos mas também conhecimentos de direito digital só que existe um um passivo né de pessoas que desconhecem e o meu receio é que essas pessoas tenham uma resistência como é natural ter resistência ao novo mas quando a gente desconhece esse novo a nossa ência fica ainda maior então

que a gente tivesse essa essa cautela de trazer eh maiores informações eh em relação à questão da capacitação dos Servidores e dos magistrados eh o professor gerli também citou uma um ponto que eu também considero relevante é que a questão da supervisão humana é extremamente relevante quando você trata eh de sistemas de A então se nós não capacitarmos essa supervisão humana ela também vai ser prejudicada e é uma Peça uma engrenagem digamos assim fundamental para que a gente tenha um bom uso dessas aplicações de Inteligência Artificial eh no poder judiciário eh entrando especificamente na questão

da IAG generativa eh entendo que a resolução ela acerta muito quando entra em consonância com o projeto de lei que está tramitando no congresso Nacional sobre inteligência artificial com a questão do modelo de riscos eh eh é fundamental eu acho que é um modelo muito acertado nós temos diversas camadas de Inteligência Artificial desde aquela que tem digamos assim um baixíssimo impacto aquela que tem um altíssimo Impacto Então realmente esse sistema é um sistema muito adequado para o tratamento e eu acho que esse é um ponto extremamente acertado eh eh da resolução de qualquer forma acho

que existem algumas categorias que estão sendo colocadas ali eh principalmente no que diz respeito a ia generativa que eu acho que poderiam sofrer uma reestruturação Vejam Só quando a gente estabelece o modelo de governança da Iá generativa a resolução eh como deveria efetivamente ser ela detalha eh todo o passo a passo tomando inú cautelas mas quando ela vai categorizar o uso da Inteligência Artificial generativa ela entende como de baixo Impacto Então acho que é por uma questão de Harmonia até por uma questão de que na verdade a gente tá iniciando a utilização eh desse tipo

de aplicação por uma cautela até para que a gente Diga para o usuário final Olha esse sistema é um sistema que tem um altíssimo Impacto quando a gente classifica como um baixo Impacto nós estamos dando ali uma informação digamos assim trocada olha embora eu Estabeleça inúmeras cautelas de governança eu tenho aqui uma categorização eh de baixo Impacto junto com outras situações né outras previsões de execução de Atos eh processuais ordinatórios realiz realização de estatísticas para fins eh de política judiciária transcrição de áudio e vídeo então colocar todas essas essas aplicações na mesma sexta né Principalmente

quando se trata de redação de minutas fornecimento de subsídios tá e eh eh identificação de padrões decisórios eu acho que nós deveríamos ter essa cautela ou seja não é colocar a IAG generativa sempre como de alto impacto não de alto risco Mas algumas de suas aplicações haveria necessidade de uma moderação justamente para que entre em consonância com aquilo que a própria resolução eh vem estabelecendo tá principalmente porque essas três eh aplicações e como a professora Ona Frasão disse hoje elas têm uma profunda relação com a atividade fim do Judiciário né E tem também toda a

questão eh eh da minuta da decisão do impacto decisório eh da da aplicação da Inteligência Artificial havendo aí a necessidade eh ao nosso ver de uma de uma maior cautela eh nós fizemos outras colocações no no no parecer e nas considerações que vão ser enviadas eh ao gabinete do do Conselheiro mas entendemos que a resolução a minuta da resolução é um importante avanço né feitas essas considerações de letramento digital de informação e e transparência eh com a possibilidade aí de ferramentas de supervisão e essa essa eh readequação né da categorização em relação ao risco de

algumas aplicações relacionadas a e a generativa eh eu a gente acredita que eh seria um um um passo extremamente importante eh até porque aí a generativa ela já vem sendo utilizada de certa forma pelos magistrados e é muito acertada essa intenção e esse desejo eh eh do Conselho Nacional de Justiça de efetivamente eh regular essa matéria de estabelecer balizas e parâmetros eh de de conduzir esse processo para que a gente tenha aí um outro um outra outra aplicação da Inteligência Artificial melhorando dando mais eficiência eh ao a prestação jurisdicional então nós nos colocamos à disposição

para continuar colaborando no que for Eh preciso e parabenizamos o Conselho Nacional de Justiça pela pela condução dos [Aplausos] trabalhos nós que agradecemos D Renata a participação e também a colaboração das Universidades nesse processo da academia e de pesquisadores e pesquisadoras tão entes que são referência no tema aqui na nossa audiência pública e e para fechar Então a nossa mesa de hoje eu chamo Dr João Ataíde da Cunha que é professor especialista em ia que vai falar sobre engenharia de prompts e seus fundamentos otimizando o uso de ia no contexto jurídico Dr João vossa excelência

está com a palavra e bo boa noite já né Tudo bem Doutora Dra Fernanda d eh Doutora eh perdão Laura né Eh Dr luí Fernando né bom demais eh prazer né estar aqui agradeço a oportunidade de poder contribuir com essa audiência e trazer um pouquinho aqui de fundamentos né Eh os fundamentos eu sou Servidor da STJ e há dois anos eu venho estudando inteligên artificial de forma prática de forma diária de de forma de teste né testando e agora estou já um pouquinho eh avançando nos multiagentes Ai que é um pouquinho avanç mais do que

gpts e e llms né típicas eh eh pela forma pelo uso deles na plataforma deles eu tô utilizando com apis deles em criação de códigos em Python e eu quero trazer um pouquinho do do conceito disso do que pode ser utilizado né ensinando aqui o a a o usuário né enfim do 8020 da ia que que que que significa a inteligência artificial no grosso modo que que é o o grande ponto eh nós temos aí a resolução do CNJ que regulou que que padronizou essa questão das emendas né E nisso ela ela trouxe ali digamos

o final da da da ia que seria o quê seria o resultado só que antes disso tem os promp que é os outros 50% nesse 50% dos prompts ele ele traz ali digamos ali se você pegar por conta da Inteligência O que foi O que foi gerado nesse relatório das ementas você consegue identificar os comandos que talvez seja essa resolução que nós estaremos tratando agora aqui então assim eh já tem digamos assim diversas normas que estão de forma já reguladas pela outra resolução entendeu por que digo isso porque a ia tem dois pontos são prompts

entradas que é o input os dados tratados que é o que vai essa resolução veio e regular agora veio ajudar na verdade lá na frente as Iá E as as llms enfim a que foi utilizada na na época que a gente nem sabe se vai ser criado outro ainda né pela velocidade que tá sendo que tá acontecendo mas os fundamentos são os mesmos né E que são que seri as saídas né o outputs então assim eh eu quero deixar claro de como entender isso né vamos lá pera aí então Tudo se resume a esse paper

que é a árvore de pensamentos ele tá no github tem o link depois eu vou compartilhar com vocês aí é o seguinte árvore de pensamentos é a difer é o toch do prompt que que é o tot do prompt é o meta pensamento Dando um exemplo bem simples aqui para que todos entendam você vai escrever um e-mail introdução desenvolvimento e conclusão na introdução se você simplesmente fala assim eu quero que você realiza um um um e-mail pro pro Desembargador tem introdução assim assim assado o desenvolvimento que tenha três tipos de de de argumentos e na

conclusão Feche isso com com explanação com convite para palestrar por exemplo nisso foi um prompt bom só que aí se você fazer o meta prompt que é o árvore de fundamentos você chega ali na introdução ó na na hora que ela terminar introdução você fala assim eu quero que agora eh você eh Gere eh desejo de quem tiver lendo isso para que chegue ao fim do texto né E nesse Quando ele chegar ao fim do texto ele esteja engajado no pedido final da conclusão Ou seja você você colocou ali o qu o metap pensamento logo

na introdução para que ela dali Gere o contexto que você deseja isso numa decisão por exemplo que é onde eu quero trazer aqui é o seguinte e o servidor ou então o juiz o magistrado que seja eles todas as semanas vão melhorar o PR dele esse é o ponto ele vai testar é como se fosse versão 2.1 versão 2 Versão 2.4 e nessas versões ele vai melhorando o resultado final da decisão ou do do que ele almeja ali né então assim e entender Deia de prompts que é a árvore de pensamentos e os princípios quando

houver quando pivotar a llm que o que pode acontecer muito em breve com a llm do do ex por que que eu falo pivotar porque o custo ele vai reduzir e eu a a visão que eu tenho futuro é a ia as llms vão ser como internet quase que custo zero o que que vai diferenciar quem tiver um melhor prompt e quem tiver o melhor quem tiver melhor tratamento de dados e os dados Hoje os dados estão abertos Mas em breve esses dados que a gente tem em exesso digamos assim dicas né Por exemplo aqui

tem uma audiência pública nós estamos aqui discorrendo deos diversos temas tem as dores aqui sendo expostas e tem dados sendo tratados esses dados lá pra frente digo assim daqui uns se meses eles vão est bem mais escassos dados sensíveis dados que são realmente o ouro da da solução n vamos lá aí eu coloquei os objetivos aqui não é é o ponto definição que eu já falei de promp aqui a questão da do met pensamento né aqui ó quero deixar nesse slide aqui aqui trata exatamente a questão do do pensamento se você faz um bom prompt

na hora que ele bifurcar ali ó Nessa lado Dire lado direito aqui ele já vai pro que você deseja se você não faz o bom prompt ele vai pra maioria tá vendo ó como se fosse ali um um um acord ali ó dois a dois a um né o vogal teria até certamente um um um um uma Um fundamento interessante só que ele ficou vencido só que na verdade às vezes você queria exatamente aquele ponto só que como você não setou no prompt que que é setar é identificou de forma correta ele vai saindo pela

maioria ou seja e d exemplo aqui bem objetivo que que a ia ela segue padrões quem no Word já digitou uma palavra no e-mail e na hora que você vê ali em cinza claro a próxima palavra que aquilo ali é justamente o padrão só que isso na no GPT ou no Cloud ou outra nmm é o qu é a grande os grandes padrões por isso que você tem que o servidor ele tem que ter com ma cuidado de padrões básicos E aí talvez essa resolução ela trate os os prompts básicos que são os prompts não

discriminatórios são os prompts não que eles não retratem a sociedade por exemplo nos papers principais lgpt e Cloud consta lá se você der uma gorgeta para ela ela vai trabalhar melhor isso tá escrito lá por porque ela retrata a sociedade ela tá trabalhando na ganância digamos assim não é que ela tá trabalhando na ganância mas ela trabalhando no retrato da sociedade Qual o cuidado que a gente tem que ter de colocar um prompt que não não não não trave digamos esse esse tipo de viés ou como ou viés discriminatório por exemplo que a j Lobo

ministra Lobo defende muito né então esses promp são os principais são são os PRP Raízes que a meu ver numa decisão tem que ter né tem que ter que eu digo assim tem que ter esse cuidado na hora de gerar dando outro exemplo se você gera um E não coloca ali a imparcialidade no relatório quem o desembargador ou o juiz que estiver fazendo aquele uso daquela ia ele vai tá utilizando exatamente o relatório da da parte do advogado como se tivesse até advogando para ele entendeu o que quero dizer então assim ou então repetindo os

fundamentos do relatório diversas vezes e tudo isso você vai vendo com teste com erro né então por isso que eu falo que os melhor as melhores soluções vão vir dos Servidores vão vir dos juizes dos magistrados e todo momento eu digo a todo momento mesmo toda semana você vai ajustando Ali vai fazendo fine tuning que chama né e a não é só generativa tem o fine tuning que que é o fine tuning é passar ali na Peneira n vezes até chegar ao resultado Decente isso você aplica Inclusive a a a a sua a sua capacidade

de ser claro de buscar ali a de você setar o que você quer dizer e nisso você consegue ali e melhorar Inclusive a sua capacidade de de raciocínio né e não vou me alongar é isso que eu queria dizer e eu vou deixar aqui um QR code para quem quiser entrar no num GPT que ele gera prompts com base na metodologia de prompts da openni e da Cloud ai deixar aqui pera aí esse aqui ó você vai direto lá meta prompt lendário que que tem dentro dele tem todas as 50 regras as 50 regras de

como gerar um bom prompt e você pode escrever ali três qu frases de qualquer coisa que você queira fazer e você vai literalmente V um prompt sendo escrito daquele assunto que você deseja isso é muito bom por porque tá com base nos fundamentos trazendo os fundamentos e deixa eu ver outro slide aqui posso passar Doutor o outro slide é o seguinte eu tenho uma comunid aberta dentro do WhatsApp um grupo já tem pessoas no qual as atualizações que estão tendo diariamente né praticamente hoje mesmo teve uma atualização no no e no no no Instagram no

qual a pessoa faz um reels e já é acoplado ali o rin que que que é que é aquela outra ia que traduzia olha que importante Olha que forte isso você por exemplo produzir um conteúdo que já que seja inglês já e internacionalizar isso isso na Nível de justiça entendeu ou então registrados aí de outros de outros estados eh de outras Nações perdão no sentido de de conseguir trazer eh uma comunicação simplesmente com a ferramenta que acabou de atualizar E aí coloco lá diversos papers Por exemplo agora só para vocês entenderem O que aconteceu com

a Open em duas semanas para finalizar ela atualizou exatamente o que eu falei da geria de prompt que a Claudia eii já tinha ela conseguiu trazer esse tot para para esse novo esse novo modelo lá que é o 01 alguma coisa lá que eu não lembro agora o nome então o que acontece só que eles não colocarem a na opção de arquivo só que você com bom prompt você consegue ter aquele resultado com o GPT o Né o Omni que é o mais barato inclusive para teste e interessantíssima a ideia aqui do TJ Rio de

Janeiro que é você testar com e juizados especiais enfim com causas de menor complexidade ali para poder depois eh avançar no nas coisas maiores então assim eu tô trazendo isso que novamente Como como o se da fala né as melhores soluções vão vir da comunidade do uso por quê Porque a gente tá usando e testando e nisso vai sendo gerado a Os erros né Quanto mais errarmos melhor é digamos assim será o resultado final e essa essa polaridade de de testes de tribunais enfim é o que tá acontecendo hoje agradeço gente obrigado desculpa aqui a

a a demora aqui obrigado muito obrigada Dr João Eh E então concluindo aqui a nossa mesa de aplicações práticas e desenvolvimento de ano judiciário gostaria fechar agradecendo novamente ao Conselho Nacional de Justiça e também não podia deixar de agradecer aos servidores e servidoras e colaboradoras colaboradores técnicos que aqui estão e permitem com que esse evento possa acontecer cumprimentar meus colegas de mesa e especialmente agradecer a iniciativa o trabalho ardo e toda essa organização o pensamento dessa resolução por parte do Conselheiro Bandeira eh realmente e vocês puderam perceber nesses dois dias e amanhã às 9 horas

novamente continua essa audiência pública eh a a Vanguarda que essa resolução traz o trabalho do Dr Bandeira eh a audiência pública como um espaço aqui de construção coletiva um espaço de construção democrática dessa nova resolução que atualiza a resolução 3 32 de2020 eh então fechando aqui o nosso encontro de hoje agradeço a todos e a todas e vocês também que nos acompanharam pelo YouTube Boa tarde senhoras e senhores agradecemos os pronunciamentos realizados e com a devida autorização declaramos em encerrado o segundo dia da audiência pública sobre inteligência artificial no poder judiciário retomamos a programação amanhã

às 9 horas Tenham todos uma boa noite