👩 Saber Direito - Direito Digital - Aula 3

eu [Música] não sabia direito desta semana você vai assistir a um curso sobre direito digital com o tema direito Inteligência Artificial a cinco aulas vão abordar a inteligência artificial no direito brasileiro as aulas são com a professora Fernanda Lages e [Música] Olá sejam muito bem-vindos e muito bem-vindas à nossa terceira aula sobre direito Inteligência Artificial Eu me chamo Fernanda Lage Sou professora e pesquisadora da Universidade de Brasília que trabalha o tema de direito inteligência artificial no poder judiciário e suas pesquisas aplicadas nosso terceiro encontro hoje nós vamos falar sobre temas extremamente polêmicos e muito interessantes ao direito o tema é a continuação de Inteligência Artificial e direito mas vou fazer um recorte sobre inteligência artificial e ética Inteligência Artificial e discriminação algorítmica Inteligência Artificial igualdade Inteligência Artificial e proteção de dados são todos os temas atuais que tangenciam outras matérias dentro do direito que com certeza você vai encontrar algum aspecto que te interessa se não todos Espero que todos né mas algum que ligue com a sua pesquisa e eu quero começar Contando um caso um caso que ficou muito famoso chegou até o Brasil inclusive mas ficou mundialmente famoso que é o caso de quem pedir analítica caso de que a Ingrid analítica né Foi um Boom assim muito polêmico a época aconteceu em uma rede social específica em que havia uma aplicação nessa rede social que era uma aplicação para você fazer um teste de personalidade então você que era membro daquela rede social ficava ali naquela aplicação e fazer um teste de personalidade para descobrir ali suas características bem você achava que estava fazendo um teste de personalidade porque o que aconteceu quando você concordava gente acaba concordando sem ler né com os termos mas é um termo de adesão com os termos daquele aplicativo na verdade havia ali uma espécie de dia é um informação mais subliminar de que você podia concordar com o uso dos seus dados para outras finalidades inclusive o compartilhamento área dos dados dos seus amigos é o que aconteceu mais de 50 milhões de pessoas foram afetadas né por essa aplicação e sem o seu consentimento porque na prática você só tinha dado consentimento para o teste de personalidade Qual foi o desvio da aplicação O desvio foi que os donos de sistema Venderam esses dados Venderam os dados e informações ali de comportamento desses usuários para uma uma campanha política específica então a empresa teve acesso a um volume de dados enorme por meio desse aplicativo usuário o separam do teste achando que estavam fazendo uma determinada coisa mas não sabiam que os seus dados tinham desvio de finalidade houve uma investigação pelo New York Times e pelos e guarde que descobriu essas informações elas na verdade foram vendidas né para essa empresa que a Ingrid analítica foram mais ou menos 50 milhões de usuários né e Aqui de acordo com os dados outra coisa com que conta da investigação esses dados foram vendidos para um determinado candidato a presidente é em detrimento de uma candidata a presidente dos Estados Unidos a base de dados que foi coletada ela tem um Valor Econômico enorme não só um Valor Econômico em termos né financeiros mas o comportamento das pessoas têm valor por um tiro das preferências da personalidade daquele indivíduo eu consigo direcionar propaganda política que foi o que aconteceu agora você concorda que se você fez algo imaginando que era um teste de personalidade ou era mudar sua foto para como você vai ser daqui a 30 50 anos você está concordando com um uso determinado e não com desvio da finalidade dele você não está autorizando a usar esses mesmos dados para te direcionar propaganda política quem concorda comigo então ouvi aquilo que a gente chama de desvio de finalidade Esse é um exemplo Claro de violação ao princípio da proteção de dados e do uso da Inteligência Artificial houve O desvio dos daí a para favorecer uma determinada campanha política e esse tema é um tema polêmico que envolve também outras questões né como utilização do DIP fake promoção de fake News e outras questões relativas né ao processo político ao processo eleitoral também tem sido objeto de estudo da tecnologia a gente vai falar um pouco mais à frente sobre os princípios de proteção de dados Mas com esse exemplo eu queria mostrar para vocês que existem várias vários tipos de ar elas são divididas em duas categorias na maiores as e as classificatórias e as preditiva se nasce as classificatórios o objetivo é fazer uma leitura de documentos e catalogar classificar rotular esses documentos no nosso caso aqui daqui a Ingrid analítica por exemplo a ideia foi categorizar as pessoas em grupos de acordo com preferências Então quem são as pessoas que têm determinado comportamento para um grupo político quem são as pessoas que tenham terminado comportamento é orientação religiosa ou algum tipo de Formação específica intelectual e aí você vai setorizando e classificando essas pessoas em grupos essa aí a classificatória também podem ser documentos jurídicos peças sentenças como a gente já comentou e a outra forma de inteligência artificial é a que faz previsões a chamada ea preditiva e essa tecnologia nesse algoritmo ele vai então medir Qual é a possibilidade de sucesso ou qualquer possibilidade de que um determinado evento aconteça eu adoro e quais são os princípios de proteção de dados no direito e na Inteligência Artificial a lei geral de proteção de dados é uma lei extremamente importante que está em vigor no Brasil né recentemente e é um dos temas também objeto do direito digital e é objeto de encontros grandes e a parte porque é uma lei dispensa muito rica e espelhada na inspirada também no regulamento europeu de proteção de dados mas existem princípios de proteção de dados que eles são trazidos aqui para o campo da Inteligência Artificial são extremamente valiosos para nós e a lei geral de proteção de dados Ela traz conceitos como que são Dados O que é um agente de tratamento quem é o encarregado O que é tratamento traz a responsabilidade pelo tratamento dos dados traz o conceito de dados sensíveis que são Dados que envolvem etnia raça gênero ou opção política religião são Dados que dizem respeito a direitos fundamentais né do cidadão Então são Dados que merecem mais atenção e a lgpd também traz as hipóteses em que se autoriza o tratamento de dados a regra é que depende do consentimento do usuário do titular daqueles dados né do titular dos dados com sentimento de que ele Dono dos dados pessoais autorize a utilização específica dos seus dados aí o tratamento de dados também só para fazer aqui um lembrete significa toda operação com dados armazenamento transferência e utilização para previsão enfim toda e qualquer operação com dados a gente vai chamar de tratamento como consequência a inteligência artificial né o sistema que se utiliza de Inteligência Artificial Então usa algoritmos eles vão tratar dados esses dados podem ser dados pessoais ou não então analisem comigo uma petição inicial que tem os dados do autor e do Réu que tem os dados do advogado ou da advogada que tem fotos que tem informação da residência gênero estado civil questões inclusive muita das vezes contém se e a gente sabe que não há segredo mais alma publicidade restrita então todas essas informações não são dados pessoais Então se o sistema de Inteligência Artificial vai fazer a leitura desta petição inicial para por exemplo classificar essa petição concorda que ele está fazendo o tratamento de dados pessoais e nesse caso ainda dados pessoais sensíveis e portanto a gente não pode estudar aí a longe da proteção de dados e aqui eu queria Então conversar com vocês ainda que brevemente sobre princípios mais importantes para que isso aconteça de forma legal e constitucional e quais são Então os princípios e o que eles significam né e eu vou começar pelo princípio da licitude Lealdade transparência e os tratamentos né o tratamento de dados eles tem que ter um fim e se tu leal e transparente veja que são coisas distintas ilícito é a que me tratamento que não viola o direito senão viola as leis que não é portanto antijurídico mas não basta ser somente lícito é preciso que respeite também a moral os valores a ética então precisa ser legal EA lealdade implica né a correlação entre o que se promete o que espera o que se espera então se eu imagino que estou usando um sistema para fazer um teste de personalidade eu não posso ser enganada com desvio desta finalidade também ligado aqui é o princípio da finalidade e até a ânsia envolve não abrir o segredo né Abrir ali a caixa preta no sentido de a receita do bolo a receita daquele programa específico mas transparência no banco de dados transparência na forma pela qual você vai treinar esse algoritmo transparência nos resultados Enfim tudo o que Facilite a fiscalização o próximo princípio também ligado ao primeiro é o da limitação das finalidades não posso falar de autorização para tratamento de dados pessoais por inteligência artificial com finalidade Ampla é preciso que se delimite a finalidade então a esse algoritmo eles vai ser responsável por Identificar qual é a petição inicial e elaboraram um mandado de citação e por exemplo Então essa é a finalidade eu não posso utilizar os dados dessa petição inicial para por exemplo enviar para uma determinada a secretaria de governo eu não posso compartilhar esses dados com um determinado ministério e a indo princípio da exatidão os dados eles têm que sair exatos estar exatos o que significa dizer que você tem direito a retificar os seus dados pessoais em qualquer banco de dados Então se um determinado banco de dado o meu nome está escrito de forma equivocada ou meu endereço já não corresponde a minha profissão não corresponde Meu gênero não corresponde eu tenho direito à retificação e não pode ser negado ao cidadão o direito de retificar os seus dados pessoais naquele banco de dados há ainda um princípio também muito importante que é o da limitação da conservação os dados eles têm que ser conservá-los com segurança mas pelo período em que eles são necessários Então se aqueles dados não são mais necessários não são mais úteis não estão sendo mais usados e nem serão não ali uma necessidade de um arquivo ou de um registro por um determinado motivo quando não há mais necessidade de manter esses dados armazenados eles devem ser excluídos então também o cidadão cidadã tem direito a exclusão dos seus dados do banco de dados quando eu estou diante de uma instituição privada isso fica ainda mais claro Imagine que eu forneci os meus dados pessoais para uma farmácia Oi e aí eu fiz um cadastro na farmácia e chega amanhã eu digo Olha eu quero que vocês retirem os meus dados desse banco de dados porque eu não quero mais constar que nós temos de vocês eles precisam excluir o meu nome excluir meu telefone o meu pai entender próximo princípio é da integralidade e confidencialidade aqui a gente tem a questão da segurança mas mais ainda do segredo de do sigilo dos seus dados no sentido de que eles não serão compartilhados de forma indevida mas principalmente não serão furtados não serão obtidos de forma ilícita é preciso que haja segurança no armazenamento dos dados pessoais alheios Ah e por fim o princípio da responsabilidade implica dizer quem é o encarregado Quem é o responsável pelo armazenamento desses dados pessoais e quando eu falo armazenamento de dados pessoais não significa só o significam soldados digitais por de ser uma pasta cheia de papel meu escritório supondo que eu guardo É os documentos dos clientes em pastas Esses são dados pessoais agora se eu estou na diante de um sistema que faz ali uma leitura inteligente de Inteligência Artificial claro né que estou falando de dados digitalizados mas esses princípios também se aplicam só que pra gente ter isso em mente para dados físicos tá não é o nosso objeto Mas também se aplicaria e agora Quais são os cinco princípios fundamentais do uso de Haia em Sistemas judiciais então o foco agora é falar de sistema judicial a utilização dessa tecnologia em Sistemas judiciais é o primeiro deles é o princípio ao respeito dos direitos fundamentais o respeito aos direitos fundamentais a utilização da tecnologia ela não pode violar direitos fundamentais em outras palavras e não se aceita uma finalidade que vá de encontro aos direitos preconizados na Constituição é preciso se a gente Leia o artigo quinto artigo 6º e outros artigos que trazem direitos e garantias individuais e coletivos direitos sociais e não tenha né afastado quais são ali as suas previsões quando a gente for pensar no aplicação de ar porque de novo né a gente comentava vai ser o tema do nosso 5º encontro sobre o juiz robô o juiz ele pode julgar é por meio de um robô que eu quero dizer pode a inteligência artificial dar a última palavra sobre um determinado o julgamento beijo para você responder a essa pergunta você precisa voltar abrir lá Constituição e se perguntar Será que não existe aqui alguns positivo que contraria esta previsão eu posso polemizar perguntando a vocês se o princípio do juiz natural não seria um impeditivo a um juiz roubou ou princípio da inafastabilidade da jurisdição e o próprio princípio do devido processo legal e ainda nessa falando de direitos fundamentais uma tecnologia que vem e discrimina né um determinado grupo social ou um determinado gênero ela não violaria um direito fundamental Então essa é uma das principais questões que a gente coloca e o ideal é que ela seja usada na verdade para efetivar esses direitos com saúde transporte a gente comentou né educação e vários outros usos benéficos e não violados Oi e aí intimamente ligado ao primeiro princípio é o princípio da não-discriminação a tecnologia não pode ser utilizado para discriminar grupos especialmente grupos sociais minorizados né ela não pode ser um instrumento de discriminação a gente vai falar sobre a discriminação algorítmica daqui a pouco mas é preciso lembrar que a neutralidade ela é um mito né Nenhum juizo o juizo é neutro nenhum jogador é neutro e a tecnologia também não é neutra Porque existe uma pessoa por trás dela concordo existe uma pessoa com valores ou um grupo com valores que fez um desenvolvimento é programação dessa tecnologia então naturalmente você vai ter ali naquele desenvolvimento e o envolvimento de valores de questões Morais então não há neutralidade agora como eu vou reduzir como eu vou mitigar os desvios como eu vou fazer com que esses valores atendam ao bem comum Esse é um problema que a gente vai discutir é um problema que está na pauta do dia como discutir Quais são os valores éticos dessa determinada comunidade como trazer esses valores éticos para dentro do desenvolvimento tecnológico o terceiro princípio é o da qualidade segurança né o processamento de dados ele tem que ser feito com precisão e aqui você vai lembrar da nossa aula 2 né que foi Qual é o meu stander de aceitação né de validação do sistema setenta por cento de acerto oitenta por cento e tá certo Qual é o meu padrão de qualidade e o princípio da segurança significa dizer que os dados pessoais especialmente se estiver diante de dados relativos a processos e pense ainda processos que envolvem pessoas incapazes pessoas vulneráveis né esses processos e se tem que estar guardados de forma segura então e não pode haver invasão Tem que haver uma proteção contra ataques e centro o quarto princípio é o da Transparência e imparcialidade e justiça e aqui vem realmente a questão da imparcialidade a gente fala imparcialidade e não neutralidade começar pela transparência é o princípio que vai dizer que os dados eles têm que estar acessíveis aos cidadãos e aqueles usuários do sistema de novo não é a receita do bolo não é necessariamente abriu o código ali o código-fonte não é isso pode ser pode ser mas não é essa exigência a exigência a transparência nas informações sobre banco de dados forma de desenvolvimento resultados apresentados é o princípio da Transparência da imparcialidade que da Justiça em traz explicação não é para a sociedade sobre aquele sistema e por fim o princípio sobre controle do usuário que ele envolve o direito do usuário a TIM contestar aquela resposta então dizer óleo Não concordo direito ao recurso e para alguns Esse princípio também implica o direito do usuário e não se submeter a esse sistema esse último ponto é polêmico eu posso então dizer óleo não quero que os meus dados sejam tratados por um determinado sistema com inteligência artificial resposta depende né Esses são sistemas públicos estão e sistemas privados se envolvem em questão não é de segurança de política pública ou se envolve questão privada comercial Empresarial tudo isso vai influenciar nesse de novo também não tem uma resposta fechada Esse é um tema debatido e controversos agora e vamos aprofundar um pouco na temática dos vieses ou em inglês baias baias é uma expressão que a gente acabou a importando o que significa viés mas é um viés descriminatório porque pode ser que existe ali um viés Positivo na gente não está que invés de alta são viés positivo os bairros são vieses são desvios mais negativos que a gente não quer que aconteça mas pode ser que aconteça né então esses baús são desvios e a gente vai falar que desvios algorítmicos então podem causar discriminação algorítmica um beijo existem vários problemas na nossa sociedade que trazem ali as causas sérias de discriminação de desigualdade de desestruturação né da estrutura desigual do Estado enfim todo um processo histórico que a gente sofreu e que grupos não é socialmente me minorizados sofrem até hoje agora a tecnologia não pode ser um instrumento para a vulnerar esses grupos e para aumentar essa disparidade essa desigualdade que já existe e é tão presente na sociedade brasileira e o que acontece você vai proibiu desenvolvimento da tecnologia resposta não existem mecanismos existem formas de reduzir esses desafios inclusive né efetivar direitos e trabalhar de forma inclusiva então de novo não é você tratar a tecnologia como um ser do mal na verdade quem é do mal é aquele que utiliza essa tecnologia para um fim que não é lícito então com boas intenções e nós vamos falar quais são as medidas recomendadas você pode utilizar a tecnologia de forma ética e de forma a promover a igualdade é mas eu preciso falar também um pouco dos problemas que acontecem para vocês compreenderem o cenário que a gente está enfim vivendo e os algoritmos eles podem colocar em risco a privacidade das pessoas eu trouxe o caso da quebra de analítica vocês puderam perceber né Você às vezes se inscreve no um determinado aplicativo e não sabe para onde estão em seus dados né os seus dados bancários também a gente tem aí uma série de problemas anti vazamentos de dados bancários de vazamento de dados pessoais enfim Hoje os dados pessoais representam uma das direito de proteção de dados pessoais onde dos direitos mais importantes do ser humano né claro para além daqueles já tradicionais mas na modernidade ele é um dos direitos mais importantes e aí como fazer com que você consiga conciliar o desenvolvimento com a proteção dos dados pessoais EA proteção da Igualdade vou começar com um caso que ficou muito famoso nos Estados Unidos se foi res e por uma ONG chamada pro pública e se casam dos casos que todo mundo costura Inteligência Artificial Analisa ele é muito muito debatido que é o caso do algoritmo compras e esse algoritmo compras ele fazia pontuação de risco para determinar sentenças criminais e auxiliar nas decisões de liberdade condicional Então qual era a probabilidade daquela pessoa reincidir por exemplo E aí o juizo terminava se ele tinha ou não Liberdade naquele caso tinha uma finalidade você pode perceber né de decisão sobre liberdade alheia e a investigação promovida por essa ONG conseguiu revelar que esse algoritmo ele é trazer um resultado completamente discriminatório E desviante por quê e ele afirmava que uma pessoa negra tinha duas vezes mais chance de ser prejudicada ou de ser presa do que uma pessoa branca que eu quero dizer é ele fazia com que a chance de uma pessoa negra ser condenada ou não ter a liberdade concedida era de duas vezes mais então aquele que era branco tinha mais facilidade com o algoritmo era beneficiado pelo algoritmo em detrimento de uma pessoa negra e Isso demonstrou né se havia algo muito sério por trás da programação desse algoritmo porque veja você não pode ser submetido a um sistema se ele vai não só de discriminar que a sociedade já já faz né mas piorar A situação ainda é daquele indivíduo é essa mesma onde buscou demonstrar que as práticas né de segmentação em bairros é a segmentação ali os índices utilizados os dados utilizados eram dados e não eram representativos e faziam com que você tivesse uma resposta que não é necessariamente verdadeira uma resposta que prejudica um determinado grupo a mesma coisa aconteceu e também foi denunciada com relação a segmentos de anúncios em plataforma de rede social então por exemplo eles descobriram é com relação ao gênero se o gênero masculino tinha mais facilidade de receber propagandas de emprego na rede social Oi e o gênero feminino recebia mais propagandas relativas a questões domésticas isso porque aquela EA não foi treinada com dados que fosse igualitários ainda né sobre esse caso de discriminação um algoritmo desenvolvido nos Estados Unidos atribuiu pacientes a categorias de fisco com base nos custos de assistência médica então o índice utilizado por eles para poder dizer qual que era o risco daquele paciente para ter assistência de saúde era Com base no custo do plano de saúde dele ou no curso que ele gostava que ele tinha com assistência médica acontece que tem o terminal do segmento determinado bairro determinada localidade a um determinado grupo Você pode ter que aquelas pessoas por serem 10 favorecidas pela sociedade elas não tenham condições de arcar com assistência médica Então as tem um custo o investimento baixo logo afirmava-se por meio desse algoritmo que o risco era alto beijo você tem ali uma conclusão que é falsa e os algoritmos né eles têm níveis de risco Então nem todo o algoritmo apresenta um risco tão elevado vou dar um exemplo um algoritmo que faz pesquisa de jurisprudência ele tem menos risco na menos impacto do que um algoritmo que faz reconhecimento facial concorda então existem níveis de riscos a união europeia dividiu os níveis de risco de Inteligência Artificial o primeiro risco é chamado o risco mínimo ou nenhum risco nesse caso né um uso da Inteligência Artificial praticamente livre e você não precisa ter não ter tantas cautelas ou fazer uma espécie de uma licença para utilização nesse algoritmo enfim é menos controverso e o impacto não é tão sério agora não existe uma categoria de risco limitado no risco mínimo que eu acabei de falar você tem um exemplo que são os filtros de spam né filtro de spam Você tem uma tecnologia que vai na verdade eu te facilitar melhorar a sua gestão ali da caixa de entrada agora o risco limitado ele tem uma transparência para informar o cidadão que tá acontecendo mas o impacto também ainda não viola diretamente direitos fundamentais o exemplo que a gente dá é o dos chatbots geralmente chatbots de informação a consumidor e etc a categoria de alto risco né como é o reconhecimento facial como são é procedimento de classificação de currículos e essa categoria de alto risco ela é que a gente precisa se atentar talvez necessidade de criação de uma licença né ainda não há no Brasil licença para desenvolvimento de tecnologia de o hospital mas é uma possibilidade a gente vai falar da avaliação de impacto de kisko medidas de precaução e prevenção e realmente uma discussão se é possível ou não os envolver interessante ou não se envolver a CEA por fim a última categoria chamada digna aceitável seria por exemplo a pontuação social e técnicas de mensagem subliminar agora e ainda há outros exemplos de desvios algoritmos um deles é do recrutamento de Empregados empregadas por empresas é um Varejista online aí aqui não vou mencionar o nome cuja força de trabalho é sessenta por cento masculina e onde os homens ocupam 74 por cento dos cargos gerenciais da empresa resolveram fazer um algoritmo de recrutamento online de trabalhadores e trabalhadores acontece que o banco de dados que eles utilizaram re presentava esse sessenta por cento e setenta e quatro porcento que Eu mencionei para vocês estão concorda que não havia igualdade entre a quantidade de dados de homens EA quantidade de dados de mulheres aqui no caso né e qual foi a consequência real desse caso a consequência é que homens foram muito mais favorecidos do que pessoas do gênero feminino e agora já falamos do contas né eu não vou voltar a falar dele eu queria fazer um recorte o reconhecimento facial todo mundo já ouviu falar da tecnologia de reconhecimento facial é o reconhecimento facial ele nada mais é do que a utilização de algoritmos que farão a leitura nos aspectos né da face daquele indivíduo e reconheceram quem é esse indivíduo Então você já viram já prédios que utiliza o reconhecimento facial órgãos públicos que utilizam reconhecimento facial recentemente começou-se a discutir vocês vão acompanhar essa discussão por muito tempo que a utilização de reconhecimento facial em meios de transporte público como o metrô tão para utilizar o metrô eu sou obrigada a conceder os meus dados pessoais né os estados do meu rosto fazer o reconhecimento facial para que eu sou obrigada a autorizar o meu reconhecimento facial para utilizar o transporte público não posso utilizar outra forma de reconhecimento não é de identificação civil e se um debate o ponto que se apresenta com relação aos algoritmos e o tecidinho é de que maneira Esse reconhecimento facial ele pode corresponder à verdade e de que maneira haverá uma resposta errada quais são que pode dar errado Quais são os fatores que podem fazer com que esse reconhecimento facial de errado que eu quero dizer será que necessariamente todo mundo que sobe uma foto na plataforma todo mundo que tem o seu rosto lido por esse sistema tem uma resposta correta Esse sistema de reconhecimento facial ele envolve a prisão ou a soltura de alguém Ele envolve identificar se uma pessoa é ou não suspeita de praticar um crime E aí ele faz uma detecção errada Será que a consequência disso não é muito grave e nós vamos então conversar um pouco sobre Quais são os resultados de Pesquisas recentes sobre o termo e quais são medidas que já estão sendo utilizados para corrigir esses desvios e que permitiriam e permitiram com que essa tecnologia funciona em segurança em um estudo né num estudo recente que foi feito na União Europeia mostrou que dos 24 dos 27 estados-membros faz lamento europeu 11 já usa a inteligência artificial entre eles Alemanha França Hungria Holanda e Finlândia e a comissão ela ela considera o reconhecimento facial como sendo uma tecnologia de alto risco cada país entretanto está discutindo se vai autorizar ou não o desenvolvimento dela não existe uma pesquisadora do hemaiti americano ganha esse e ela fez uma pesquisa de doutorado em hoje né se tornou até uma série de uma plataforma de streaming e ela fez essa pesquisa para detectar qual era a porcentagem de acerto no sistema de reconhecimento facial das quatro principais empresas que fazem reconhecimento facial que acontece ela submeteu a sistemas fotos de pessoas negras e ela descobriu que esses sistemas não conseguiram detectar ou detectavam com baixa precisão Quem eram essas pessoas e quando ela apresentava fotos de pessoas brancas O índice era muito maior é o índice de precisão chegava inclusive quase a 100 porcento ela começou a se perguntar por que isso acontece Como isso acontece e como corrigir isso Oi de novo a discriminação algorítmica é um tema que violam direito fundamental ser humano é o direito à igualdade a gente não pode aceitar pessoas sejam excluídas ou prejudicadas por uma tecnologia existem entretanto saídos soluções e medidas que devem ser incentivadas inclusive fica do governo e pelos governos tá aqui alguns dados para vocês entender estima-se que a maioria dos conjuntos de dados de treinamento de reconhecimento facial é mais de setenta e cinco porcento masculina e mais oitenta por cento Branca então de 100 75 por cento dos dados são de homens e oitenta por cento de pessoas brancas você tem aí um recorte são mais dados de homens brancos look de mulher especialmente a intencionalidade de gênero e Raça mulher negra e aí o que acontece quando você apresenta a foto de um homem branco a chance do sistema acertar é muito maior A pesquisadora dermatite né descobriu que as taxas de erros né os erros na identificação de fotos eram Vinte por cento para uma empresa 34 por cento de erro para outra empresa e todas com relação a mulheres negras então com relação a mulheres negras você tinha em um erro de 34 por cento de vinte por cento em outro caso acho que não é pouca coisa né e quais são as causas desses vieses Quais são os motivos pelos quais a esse primeiro motivo é o preconceito histórico na discriminação histórica a sociedade Elas têm enraizada preconceitos o Brasil especialmente é um país marcado por desigualdades extremas né E aí esses desvios históricos esses preconceitos históricos eles podem e muitas vezes vão se traduzir dentro de um sistema tecnológico então se eu não cuidar para que isso não seja reproduzido pela tecnologia o algoritmo só vai potencializar essa disparidade a gente não falou que não machine learning você tinha aprendizado com dados pretéritos se esses dados pretéritos são Dados que contém preconceito você vai estar reprodução desse preconceito o segundo. Segunda causa são dados de Treinamento incompletos ou não representativos que eu tô querendo dizer é se eu quero catalogar 3 cores azul verde e amarelo o meu banco de dados tem que conter um número proporcional de cada cor então 30 fotos azuis 30 fotos de outra cor e 30 fotos de outra conta não pode haver um grupo uma classe com muito mais dados do que outra porque aí que eu tô querendo dizer a chance Dilma ser precisa muito maior do que a outra voltando por exemplo da primeira aula sentenças penais e simples eu quero classificar o algoritmo classifica a sentença entre penal e cível no meu banco de dados eu tenho que ter cinquenta por cento de fotos sentenças penais cinquenta por cento de sentenças cíveis para treinar esse algoritmo eu tenho que treinar com uma quantidade e funcional se eu treino com 80 de penal e 20 de Cível a precisão no penal vai ser muito maior que a precisamos filho é igual quando você estuda por uma determinada prova ou para um determinado a matéria se você estudar muito uma matéria só você vai gabaritar aquela matéria mas aqui Você não estudou você não vai aceitar né e ainda é preciso compreender Então quais são as causas dos vieses Esse é o primeiro passo o segundo passo é como corrigir o desvio Quais são as estratégias né de correção desses desequilíbrios a primeira começa pelo tratamento dos dados os dados têm que ser tratados de forma um confidencial dois a gente já falou representativa aqui representativa igualitário então se eu faço um sistema de Inteligência Artificial que é nacional eu tenho que levar em consideração as pessoas de todos os estados a característica de todos os estados as etnias envolvidas em todos os estados todos os gêneros fim eu preciso ter uma noção dessa complexidade então um sistema desenvolvido em um estado x com as características daquele estado X quem será representativo com relação aos demais se não contiver dados um dos outros locais e consequentemente eu não vou ter um acerto satisfatório Então esse é o primeiro. O segundo né é importante é que as leis aqui no caso pensando em política Legislativa também acompanha o desenvolvimento da tecnologia a gente tá falando portanto da redação discussão né e votação de projetos de lei projeto de resolução que falem sobre EA que falem sobre algoritmos proteção de dados tal qual foi alergia perder a gente precisa de previsão normativa mínima que seja para que a gente possa inclusive trabalhar né é porque hoje existe uma controvérsia um debate muito grande sobre quem vai regular é o tema da próxima aula mas quem vai regular é o setor privado Elsa público então o Estado pode regulamentar o desenvolvimento daí a qual é o limite dessa regulamentação ou alguns vão dizer não está matéria de direito privado é só um contrato de adesão à das plataformas ou da tecnologia basta que você Concorde com o termo de adesão E é isso que se é o suficiente não tem nada que fazer resolução ou Lei então a uma série de pontos de vistas distinto é o que eu defendo é que a gente precisa Sim ainda que minimamente de um direcionamento do estado do que é ou não é constitucional com relação ao desenvolvimento da no estado brasileiro que é um estado social que é um estado de bem-estar desenvolvimento de direitos sociais e agora e também avançando um pouco mais eu preciso desenvolver uma declaração de impacto de viés e que essa declaração de impacto de v.

sa Esse é um instrumento algum salão declaração de impacto outros relatório de avaliação de riscos ou avaliação de impacto a vários nomes mas é um documento um relatório em que antes de desenvolver e aplicar uma tecnologia com algoritmos na com inteligência artificial seja feito um estudo dos possíveis riscos dos possíveis danos que podem causar à sociedade e quais são as medidas para mitigar esses riscos Então é quase como né um procedimento ali de licenciamento Como é feito o licenciamento ambiental e a tecnologia implica a gente já falou muitas vezes na ocorrência de riscos eu preciso mapear esses riscos e pensar medidas para mitigar os no Canadá Isso já é feito existe um formulário que o governo canadense desenvolveu com quatro categorias de risco você vai preenchendo ali e é quase como uma pontuação mesmo aquele desenvolvedor vai preenchendo e ticando aliás opções e ao final ele tem a pontuação e ele verifica Qual é o risco daquela tecnologia dependendo da pontuação dependendo do Risco o governo já indica para ele Quais são as medidas que ele tem que adotar com relação ao estado e à sociedade para que ele possa desenvolver com segurança aquela inteligência artificial e agora em quais decisões algorítmicas exigem esse cuidado tão grande né Então quais decisões algorítmicos exigem essa avaliação de impacto toda essa atenção toda essa discussão sobre prevenção precaução primeiro a gente tem que pensar a ou não a um resultado negativo não intencional na utilização da saia a Fernanda tem um resultado negativo eu vou mapear os resultados negativos esses resultados negativos possui em que tipo de impacto Impacto quase mínimo não é um pacto irrisório Então tudo bem agora esse Impacto é o impacto que vai violar a liberdade o direito de ir e vir de uma pessoa Opa Então existe um impacto negativo relevante Esse é o primeiro ponto e aí É sim isso acontecer né a gente precisa tomar algumas medidas e eu anotei aqui algumas que vocês podem enfim ter em mente são várias A primeira é a diversidade no design ou no desenvolvimento daquela Inteligência Artificial é preciso compor uma equipe multidisciplinar composta por pessoas de diversas áreas relativas àquele tipo de sistema o funcionamento daquele sistema e não só de áreas diferentes mas também de raças distintas gêneros diferentes para que cada um possa trazer um ponto de vista que vá contribuir e reduzir os desvios isso não sei o que tô falando né é uma das medidas que os países como Austrália Estados Unidos Canadá Alemanha já vem pregando inclusive é um requisito para o desenvolvimento confiável dá é a segunda medida aqui também relevante nos casos de alto risco né são as auditorias regulares quanto mais risco mais auditoria quanto mais risco mais cuidadoso também é o processo de auditoria mas etapas mas medidas né E lembrando do princípio da precaução na dúvida a gente sempre vai pensar em favor da sociedade quando eu não conheço os riscos eu aplico princípio da precaução portanto e eu tenho que pensar né numa dúvida extrema ali naquele caso a coletividade ela vem em primeiro lugar Ah e por fim a gente não pode deixar de lembrar que os consumidores eles precisam de uma principal atenção uma atenção especial também consumidor ele é vulnerável né Ele é hipossuficiente sua maioria consumidores eles estão submetidos são uma série de contratos de adesão a uma série de tecnologias e eles precisam ter a sua proteção também resguardado no AnTuTu no desenvolvimento de algoritmos a gente tem Código de Defesa do Consumidor e uma série de outras proteções Entretanto é preciso refletir sobre de que maneira eu adapto atualizo a proteção consumerista ao advento dos algoritmos se das novas tecnologias eu quero dizer como pensar o consumidor no século 21 na era dos algoritmos da revolução 4. 0 para gente fazer um fecho aqui se você Telefona para uma empresa determinada para fazer uma reclamação ou tirar uma dúvida com relação produto ou serviço que você adquiriu E aí nesse momento você atendido por um robô que não resolve o seu problema e você tenta de todas as maneiras e não consegue falar com o ser humano a pergunta que fica é não deve haver algum limite para o emprego de algoritmos de inteligência artificial no âmbito da prestação de serviços ao consumidor vejo como conclusão não estou querendo dizer que a gente não vá utilizaria o que ela não seja boa para prestar um serviço para o consumidor inclusive esse bem desenvolvida ela pode resolver o problema de forma rápida e efetiva o que eu tô querendo dizer é a gente precisa pensar enquanto estado né e enquanto desenvolvedor de política pública Quais são esses limites como fazer com que a tecnologia seja malhada e não instrumento que vai nos causar mais problemas e a gente vai passar agora para o nosso quiz e aferir os conhecimentos que a gente O que teve nesse terceiro encontro E aí [Música] a primeira questão qual não é um princípio de proteção de dados que deve ser utilizado adotado nos dai a letra A licitude lealdade transparência letra B limitação das finalidades letras e integridade letra de inexatidão Oi e aí Já pensaram na resposta certa a resposta certa é a letra de Lembrando que a pergunta ela é sobre qual não é um princípio e o princípio é o da exatidão e não da inexatidão a gente falou que os dados eles têm que estar exatos inclusive você tem direito de retificar os seus dados pessoais em um determinado banco de dados a letra A traz o princípio da licitude o da Lealdade a transparência São coisas distintas licitude é uma atuação de acordo com a lei uma atuação ilícita né meio e príncipes lealdade significa moralidade probidade correção e transparência está ligada a um dever de prestação inclusive de informações de acesso à informação à sociedade o que a própria democracia né letra B limitação da finalidade a gente tem que a inteligência artificial se presta para uma finalidade específica e os dados também integridade esses dados eles têm que ser armazenados com segurança e de maneira a garantir né confiabilidade no bar mais ou menos desses dados pessoais a gente vai para a segunda questão portanto [Música] segunda questão Como é chamado o método que entrega aí a previsão de decisões judiciais a método classificatório B método preditivos e método da ponderação e de método subjetivo é a resposta correta é a letra B método preditivo a gente falou em justiça preditiva que é aquela justiça que faz previsão que o algoritmo faz previsão se uma sentença vai ser favorável ou não se uma decisão vai ser favorável qual porcentagem de acerto né Então essa é a chamada Justiça preditiva entretanto existem outras finalidades da classificação de documentos Inclusive a gente falou sobre redação de peças processuais mas a ponderação não é uma delas a gente vai para a terceira questão Qual é o princípio que representa o dever de tornar os métodos de processamento de dados acessíveis e compreensíveis autorizando auditorias externas e a princípio da não-discriminação B princípio sob controle de usuários e princípio da opacidade ou de princípio da imparcialidade e Transparência e essa questão a gente conversou bastante vocês tem a resposta alternativa correta é a letra d a imparcialidade não é neutralidade né ela significa que haverá um tratamento igualitário sem discriminação EA transparência da acesso aos dados traz informações ao público EA sociedade inclusive ao princípio da Transparência que faz com que as auditores sejam não somente necessários né como um direito também é do cidadão e da cidadã para fiscalização do funcionamento do desenvolvimento daquela terminamos então o nosso quiz e a gente fazendo uma recapitulação aqui breve né que a gente estudou mesmo nosso terceiro encontro a terceira aula portanto foi sobre a e direito uma continuação mas nós fizemos uma análise né bem focada no tema da proteção de dados fala sobre os princípios de proteção de dados falamos sobre as questões que envolvem o reconhecimento facial ou uso muito específico dos algoritmos falamos sobre discriminação algorítmica e como mitigação a discriminação ou eliminar essa discriminação e Falamos também sobre questões adjacentes a ética e casos concretos né em que houve ali um desvio algorítmico é importante lembrar como conclusão final eu tenho reforsado muito isso que a inteligência artificial ela veio para ficar né É É uma revolução que ela já está aqui o profissional da área jurídica ele não tem outro caminho que não seja na conhecer o direito digital o direito de proteção de dados é tudo o que se relaciona a o aprendizado de uma aqui na o processo eletrônico Porque não haverá ou a outra forma de trabalho fora da tecnologia agora de novo a a utilização a destinação EA finalidade dessa tecnologia Depende de quem desenvolve Depende de quem utiliza e você que nos assiste Nossa também pesquisadores somos responsáveis muito pelo que vai acontecer daqui para frente enquanto a gente conversa o tema se desenvolve você precisa ficar atento ficar atenta a essas atualizações né enfim daqui a dez anos por provavelmente a gente vai ter uma realidade completamente distinta dessa que a gente conversa hoje mas o direito precisa acompanhar essas modernidades o nosso próximo encontro nossa próxima aula a gente vai então falar sobre ética regulação direito o direito EA e tribunais para no último encontro na última aula falar especificamente sobre o processo e uso dos algoritmos no processo espero vocês portanto muito obrigada quer dar uma sugestão de tema para os cursos do Saber Direito Então mande um e-mail para gente saber direito@stf. jus.

br ou entre em contato por WhatsApp o número é esse que aparece na tela você também pode acompanhar as aulas pela internet acesse TV Justiça. Jus.