O Problema do Controle

Um dia você vai acordar, fazer uma xícara de café, e enquanto ainda estiver lutando pra ficar acordado, vai ver uma notícia peculiar. Cientistas acabam de anunciar que, pela primeira vez na história, uma inteligência artificial geral foi criada em laboratório. Você inicialmente fica surpresa.

Afinal, quem não gosta de novidades? Isso deve ser uma boa notícia. Você pensa enquanto saboreia o resto do seu café.

Mas você não faz ideia do que está por vir. Uma bomba relógio foi plantada, e o futuro da humanidade agora pode seguir dois caminhos com consequências bem diferentes. Ou a inteligência artificial vai virar a nossa maior aliada, ou ela vai ser a nossa última invenção.

Quem acompanha meu trabalho sabe que eu sou uma pessoa otimista quanto ao futuro da humanidade e a nossa relação com novas tecnologias. Mas nos últimos tempos eu tenho ficado cada vez mais preocupado com um problema muito específico de inteligências artificiais que eu honestamente acho que as pessoas não dão a devida atenção e seriedade. Eu estou falando do problema do controle.

Não faltam vídeos e artigos na internet falando a frase inteligências artificiais super inteligentes vão ser a última invenção da humanidade. Só que a maioria não explica direito o que querem dizer com isso. Então eu fui buscar informação, eu fui tentar aprender mais sobre o tema.

E quanto mais eu estudava, mais eu percebia que essa talvez seja uma das questões mais importantes da ciência atual. Só que mais do que alertar sobre um problema, até porque não faltam conteúdos que só falam disso. Nesse vídeo eu quero falar sobre o problema, mas também apresentar uma possível solução, um caminho que nós podemos seguir como humanidade para evitar que a nossa melhor invenção seja também a nossa última.

E para fazer isso, eu primeiro preciso fazer com que todos nós estejamos na mesma página sobre o risco existencial que inteligências artificiais apresentam. Por que elas podem ser a nossa última invenção? O que eu preciso que todos entendam é que as inteligências artificiais que nós temos hoje não são nada se comparadas com o que nós esperamos ter no futuro.

Você lembra da reação que teve quando usou o chat GPT pela primeira vez? A internet entrou em colapso por alguns dias e só se falava disso. Diversos jornais usaram o próprio chat GPT para escrever a matéria sobre essa nova ferramenta como uma prova da capacidade dela.

E de fato ele foi revolucionário. Foi a primeira vez em que desenvolvemos e treinamos algoritmos capazes de processar e se comunicar usando linguagem natural com uma capacidade em um nível que se parece muito com a de seres humanos. Mas, hoje em dia, a sua reação continua igual?

Comparado com a época em que o chat GPT lançou, você ainda acha que ele é capaz de administrar uma empresa, acabar com os empregos e iniciar uma época de incertezas e inseguranças na humanidade? A resposta é não. Agora que o choque inicial do primeiro contato com uma tecnologia impressionante passou, nós estamos muito cientes das limitações dessas ferramentas, que inclusive não se restringem só ao chat GPT, e sim a todos os modelos de linguagem naturais.

Mesmo sendo dotado de um conhecimento sem igual sobre a humanidade, tendo lido praticamente todos os livros, todos os artigos científicos e todas as páginas da internet, a verdade é que essas inteligências artificiais não entendem o mundo. O meu ponto é que todas as inteligências artificiais que nós criamos até hoje só funcionam em aplicações muito específicas. Nós temos até um nome para esse tipo de IA, que é inteligência artificial estreita.

Só muito importante, eu não quero dizer que isso não significa que elas sejam inteligentes. O computador Deep Blue, que ganhou do mestre de xadrez Kasparov, é um exemplo de inteligência artificial estreita porque ele só sabe jogar xadrez. Mas ele venceu o Kasparov, e ele só conseguiu fazer isso porque é extremamente inteligente no xadrez.

Mas se você pedir pro Deep Blue compor uma música, ele vai falhar miseravelmente. Se você pedir pra ele desenhar como um bispo de xadrez se parece, ele não vai conseguir. É aqui que nós encontramos uma das grandes diferenças entre a inteligência humana e as inteligências artificiais de hoje em dia.

Nós humanos somos dotados de uma inteligência geral, enquanto máquinas ainda estão presas a inteligências estreitas e específicas. Inclusive, eu estou pensando em escrever um vídeo só sobre o que é inteligência e o porquê de a maioria de nós não fazer ideia do que é uma boa definição de inteligência. Se você tiver interesse nesse vídeo, deixa um comentário aqui.

Essa é uma das razões que faz as inteligências artificiais generativas desenharem mãos com uma quantidade de dedos diferente da que humanos têm ou com dedos em posições que mãos humanas não conseguem reproduzir. Elas foram treinadas para criar imagens e, para isso, foram alimentadas com bancos de dados sobre como uma mão deveria se parecer. Mas elas não entendem como uma mão funciona.

Elas não sabem que um dedo não deveria se curvar para trás. Inteligências artificiais não sabem que tem um esqueleto inteiro dentro do seu corpo restringindo os movimentos que você pode fazer. E é por isso que a grande corrida tecnológica atual é para chegarmos às tão sonhadas inteligências artificiais gerais.

A ideia é que elas conseguiriam resolver problemas novos, como descobrir a maneira como uma mão se movimenta, sem precisarem ser treinadas especificamente para isso. E isso parece ser fantástico! Mas só parece.

Por que esconde um dos piores cenários para o futuro da humanidade? Que é a resposta para a pergunta que eu fiz agora há pouco do porquê de inteligências artificiais possivelmente serem a nossa última invenção. O perigo está na chamada explosão de inteligência, que foi apontada pelo cientista da computação I.

J. Good na década de 60. De acordo com ele, um dia seres humanos provavelmente iriam criar máquinas superinteligentes capazes de superar a inteligência de qualquer humano.

Como essas máquinas superam a inteligência de humanos, elas teriam a capacidade de aperfeiçoar sua própria inteligência, criando máquinas cada vez mais inteligentes. E pior, elas provavelmente fariam isso. O resultado final seria uma explosão de inteligência, em que seres humanos seriam deixados para trás e se tornariam irrelevantes em muito pouco tempo.

E para o próprio Good, o único jeito de garantir que a humanidade sobreviveria nesse cenário seria garantindo que humanos ainda tivessem controle sobre as inteligências artificiais superinteligentes. E é aqui que entra a chave para a nossa sobrevivência em um mundo com máquinas que superam em muitas ordens de grandeza a nossa capacidade cognitiva. Como que nós podemos garantir que vamos continuar no controle?

Muitas pessoas têm respostas bem ingênuas para esse problema, do tipo, é só colocar algum código na máquina para ela sempre obedecer a humanos. Mas se eu fizer um bom trabalho, eu espero que os próximos minutos desse vídeo provem para você como é muito fácil disso sair do controle. Existe um mito grego de um rei chamado Midas.

E de acordo com o mito, o rei Midas era fissurado em ouro. Um dia ele foi agraciado com um desejo e decidiu pedir que tudo que ele tocasse virasse ouro. E de fato isso aconteceu.

E a felicidade do rei Midas durou muito pouco. Ele não conseguiu mais comer, porque toda comida que ele tocava virava ouro. A água também virava ouro derretido.

Então a vida dele, agora rodeada por ouro, virou um inferno miserável. Esse mito mostra como uma ordem que inicialmente parece muito positiva pode sair do controle bem rápido. A versão moderna e de inteligências artificiais do mito do Rei Midas é conhecida como o problema do alinhamento.

Máquinas não entendem sutilezas, e se o objetivo dado para elas não for bem pensado, as consequências podem ser bem devastadoras. Em um exemplo famoso do problema do alinhamento, uma inteligência artificial é ordenada a otimizar a produção de clipes de papel no mundo. Nada poderia ser mais inofensivo do que clipes de papel, certo?

Nos primeiros dias, a IA começa a comprar matéria-prima dos fornecedores mais baratos e organiza a linha de produção. A produtividade aumenta consideravelmente. Todo mundo está feliz.

E em não muito tempo, ela descobre que a matéria-prima está acabando e o melhor jeito de conseguir mais é transformando os seres humanos em mais clipes. Ah, mas espera aí! Era só ter dito pra inteligência artificial não machucar nenhum ser humano no processo.

A gente pode tentar isso se vocês quiserem. Só que agora, com todos os seres vivos intactos, a IA decide usar todo o ferro dos oceanos, que causa a extinção do fitoplancton, que ajuda a absorver o carbono da atmosfera. Em poucos anos o planeta Terra é tomado pelo aquecimento global.

Vocês podem brincar com quantos cenários quiserem, e sempre dá pra achar um jeito de estragar tudo pra sempre. E a gente nem precisa ir tão longe quando os cenários são drásticos. Se não dermos limites, um carro autônomo que for ordenado a chegar no aeroporto o mais rápido possível iria acelerar até 200 ou 300 km por hora, fazendo o dono ou ser preso ou se envolver em um acidente sério.

O que o problema do alinhamento tenta nos alertar é sobre como é difícil dar instruções precisas pra I. A. sem causar nenhum dano como efeito colateral.

E ir em um ambiente de pesquisa dentro de um laboratório, até que seria possível ir arrumando a maneira com que a IA atua de pouco em pouco, deixando-a cada vez mais alinhada com os objetivos que nós temos. O problema é que nós já usamos algoritmos inteligentes e artificiais em aplicações que têm impactos profundos na humanidade, e um erro como esse dos exemplos que eu citei não são fáceis de arrumar. Outra coisa que eu queria discutir brevemente é a sugestão de algumas pessoas de que, se algo der errado, é só a gente desligar a máquina.

O problema desse argumento é que inteligências artificiais começam a mostrar uma espécie de instinto de autopreservação, mesmo sem isso ter sido programado nelas. Uma maneira fácil de visualizar isso é a seguinte. Vamos supor que eu peça para a minha superinteligência artificial pegar um café para mim.

Até aqui tudo certo. Gosto de café. Vamos supor que, no meio do processo, ela comece a agir de alguma maneira que eu não queira.

E aí eu decido desligar o da tomada. Eu provavelmente não vou conseguir, por um simples motivo. A IA não consegue completar o seu objetivo, que é pegar café, se ela estiver desligada.

O objetivo principal, que é pegar café, gera um objetivo secundário, que é permanecer ligada. Porque se ela for desligada, ela não consegue cumprir o seu objetivo principal. E é aqui que vem o maior risco de todos, juntando a explosão de inteligência com o problema do alinhamento.

Se uma explosão de inteligência acontecer e nós ainda não tivermos resolvido o problema do controle, nós não vamos ter mais tempo para encontrar uma solução. Nós vamos perder o controle. E desse ponto em diante, a humanidade inteira se torna apenas uma passageira, testemunhando na mais completa impotência o futuro desenrolar na sua frente.

A superinteligência artificial seria, de fato, a nossa última invenção. Nesse ponto do vídeo, alguns de vocês já devem estar pensando em soluções. Ótimo!

Quanto mais pessoas pensando no problema, melhor. Mas eu já gostaria de tirar uma falsa solução do caminho, que é interromper completamente as pesquisas em inteligência artificial. Primeiro, essa solução não funciona na prática.

Atingir esse nível de supervisão da humanidade como um todo é impossível. Existem diversos tipos de armamentos proibidos de serem desenvolvidos e isso não impede grupos mal intencionados de seguir em frente. Segundo, nós estaríamos nos privando do que poderia ser o ponto alto da humanidade.

Criar uma superinteligência desde que ela esteja sob o nosso controle significa resolver os maiores problemas que nós enfrentamos hoje como humanidade. Avançar a ciência e a pesquisa tecnológica em anos para cada hora que se passa é um benefício bom demais para ser deixado de lado. Nós estamos falando de criar um mundo completamente diferente do que temos hoje, em que a maior parte do trabalho é deixada para máquinas, em que as necessidades humanas são garantidas, em que toda pessoa viva possa desfrutar do ápice da experiência humana.

Pessoas vivendo nesse futuro olhariam para a humanidade de hoje e imaginariam como é que nós conseguimos viver desse jeito. Mas para isso, nós precisamos de controle. No livro Human Compatible: Artificial Intelligence and the Problem of Control, o autor, que é um pesquisador ativo no campo de IA's, introduz três princípios que podem nos ajudar a manter o controle.

O objetivo é criar máquinas super inteligentes que vão nos ajudar a resolver problemas difíceis, mas sem criar situações que tornem humanos infelizes. O primeiro princípio diz que o único objetivo da IA é maximizar a realização de preferências humanas. E aqui eu preciso fazer uma nota.

A escolha da palavra preferências ao invés de valores é intencional. Por mais que valor tenha uma conotação diferente no campo de inteligência artificial, essa palavra poderia levar algumas pessoas a se questionar coisas do tipo, que tipo de valores deveriam ser colocados aqui? Quem é que escolheria o que é um bom valor?

E essas são coisas que não têm a ver com a discussão do momento. Já a palavra preferência significa tudo o que você se importa ou pode se importar, sem julgamentos morais. O primeiro princípio serve para estabelecer que inteligências artificiais sirvam apenas a seres humanos, sem se importar com a sua própria existência ou seu bem-estar.

Pode parecer meio duro, mas uma máquina preocupada com o seu próprio bem-estar é um desastre anunciado. O segundo princípio é o mais importante. Ele diz que a IA começa com incertezas sobre quais são as preferências humanas.

Se nós tentarmos programar uma IA com que nós imaginamos serem valores humanos, ou quem sabe com um modelo estatístico de como humanos gostam de ser tratados, nós corremos o risco de que elas achem que sabem o que nós queremos. Isso pode criar situações em que IA seguiria um objetivo à risca sem pensar duas vezes ou analisar suas próprias ações, gerando cenários parecidos com os do problema do alinhamento em que um objetivo simples vira um caos. E é aí que entra o terceiro e último princípio.

A fonte de informação para as preferências humanas é o comportamento humano. E em resumo, seguindo esses três princípios, nós evitamos situações em que o objetivo de inteligências artificiais se torne desalinhado dos objetivos humanos. É uma forma de criar I.

A. s que atuam em simbiose com seres humanos, constantemente dependendo das nossas observações e reações para entender se elas estão agindo de uma maneira que nós aprovamos. E isso é um tanto quanto diferente do modelo que atualmente é usado para criar e treinar I.

A. s melhores, em que, dado um objetivo, ela precisa otimizar para alcançá-lo mais rápido. E eu não quero que pareça que essa solução é uma regra mágica que vai funcionar e o problema do controle está resolvido.

Muito longe disso! A ciência e o progresso funcionam de um jeito esquisito, em que nós não necessariamente conseguimos prever quando grandes inovações vão surgir. Poucas pessoas estavam cientes do trabalho que levou à publicação do artigo que criou a base tecnológica do chat GPT, que também pegou a maior parte da população de surpresa.

A verdade é que nós não temos certeza de se e quando nós vamos criar uma superinteligência artificial. E é justamente por causa dessa incerteza que nós precisamos ter uma boa solução para o problema do controle o quanto antes. Nada impede que uma descoberta feita amanhã cria a primeira superinteligência.

E se isso acontecer, nós não vamos estar preparados. Nós precisamos de mais pesquisa na área e precisamos de mais pessoas cientes do tamanho do problema que nós estamos lidando para tomarmos decisões informadas. Do jeito que as coisas estão funcionando hoje, em que grandes empresas estão disputando uma corrida tecnológica desenfreada para ver quem lança o melhor modelo e mais inteligente, nós estamos perigosamente deixando o futuro em segundo plano, focando apenas no curto prazo.

E pra finalizar, eu também não gostaria que esse vídeo desse impressão de que eu tenho uma visão negativa ou pessimista sobre inteligências artificiais. Apontar problemas e buscar soluções não faz de ninguém a favor ou contra alguma coisa. Na verdade isso nos torna melhores.

Eu acredito e espero estar vivo pra viver em um futuro em que o problema do controle esteja resolvido e superinteligências artificiais sirvam aos interesses da humanidade. Quem sabe o envelhecimento seja um problema resolvido ou nós finalmente descobriremos o que é matéria e energia escura. Talvez a ciência como um todo esteja resolvida e seres humanos vão focar em serem humanos.

Mas e você? Qual é a sua visão sobre o futuro da humanidade com inteligências artificiais? Será que nós vamos resolver o problema do controle e viver em uma era de abundância?

Vamos conversar aqui nos comentários. Me diga o que você acha. Muito obrigado e até a próxima.