Como o ChatGPT funciona? Ele passaria num teste de Turing?

o chá de GPT é um assistente virtual revolucionário que pode entender e gerar texto linguagem natural como se estivesse tendo uma conversa com você ele é capaz de compreender as nossas perguntas fornecer respostas precisas e até mesmo auxiliar em várias tarefas inclusive na tarefa de elaborar essa descrição que foi gerada por ele chat GPT é o assunto do vídeo de hoje Olá meu nome é Daniel Nunes você está no tem ciência e Sem nenhuma dúvida o chat GPT colocou Inteligência Artificial entre os assuntos mais comentados desse ano não é para menos o chat GPT chegou

no nível de interação por linguagem que até então era sonho dentro do campo da Inteligência Artificial E por falar em a a bem pouco tempo atrás eu fiz um vídeo explicando como redes neurais funcionam que são o coração da Inteligência Artificial hoje em dia e também como acontece o aprendizado de máquina para tirar um proveito maior desse vídeo aqui é interessante que você assiste também aquele outro então dá uma olhada no link da descrição o chá de GPT é um chatbot um aplicativo capaz de conversar com você a interação é através de um pote e

o processo é idêntico conversar com alguém através do WhatsApp A diferença é que você está conversando com uma máquina só que não parece que você está falando com uma máquina parece que você tá falando com uma pessoa isso porque o chat GVT é especializado em entender e reproduzir linguagem natural então ele fala inclusive ele consegue manter com você uma longa conversa sem fugir do contexto ele fala em várias línguas Ele fala também várias dialetos você pode pedir para ele conversar contigo em carioquês por exemplo em que Mas como que o chá de GPT consegue fazer

isso como que ele funciona o chat GPT é um lar de língua de Model ou llm é um modelo de Inteligência Artificial baseado exclusivamente linguagem que a sua maior força também ele é constituído por uma rede neural imensa uma das maiores já criadas não tem informações públicas sobre arquitetura do chat pt4 mas na versão 3.5 rede neural possuía 96 camadas e 175 bilhões de parâmetros Isso é muita coisa redes neurais não são programadas de forma explícita por seres humanos a sua forma final que depende dos valores assumidos por aqueles bilhões de parâmetros é determinada pela

própria rede por meio de um processo conhecido como aprendizado de máquina e esse aprendizado é induzido pelo treinamento da rede neural esses termos ficam muito mais pé no chão com o vídeo anterior sobre inteligência artificial então mais uma vez eu recomendo que vocês assistam Ok mas o que o chat GPT faz para conseguir conversar com a gente será que ele possui algum tipo de consciência e por isso ele consegue falar de forma natural e dentro de um contexto a resposta é que não muito longe disso Na verdade o que o chat é pt faz a

todo momento é olhar para o texto que foi colocado até então e basicamente Completar com a palavra mais provável que viria após esse texto e aí ele fica repetindo isso palavra após palavra para ser honesto Não é só isso e a gente vai entrar um pouquinho ainda nos detalhes mas a ideia geral é essa bom então a primeira coisa que o chat vai ter faz é completar sentenças mas como é que ele faz isso quando ele começa a escrever alguma coisa essencialmente o que ele faz é perguntar o tempo inteiro dado o texto até aqui

qual deve ser a próxima palavra mas precisamente Ele pergunta qual é o próximo token que é a unidade básica de entrada que o modelo utiliza para processar o texto um token pode ser uma palavra inteira ou apenas um pedaço dela ou até mesmo uma letra O chá de GPT possui um vocabulário com mais de 120 mil tokens diferentes então quando o texto do chat GPT até então for algo como a matemática é uma internamente rede neural faz um levantamento das palavras mais prováveis que seguiriam dali juntamente com as suas probabilidades de completar em essa sentença

seria natural pensar que o chá de GBT simplesmente escolhe a palavra mais provável e continua repetindo esse processo só que fazer isso traz dois problemas primeiro é que o peixe ficaria muito burocrático robótico e sem nenhuma criatividade o segundo problema é que as respostas para uma mesma pergunta seriam sempre iguais então a conversa não foi as pessoas iam chorar muito rápido para resolver esse problemas o chat GPT usa um elemento de aleatoriedade nessa escolha da palavra seguinte de vez em quando uma certa frequência conhecida como temperatura ao invés de pegar uma palavra de alta probabilidade

o chat GPT pega uma palavra de probabilidade mais baixa para completar a frase e basta isso para as respostas do chat GBT se tornarem mais interessantes e mais criativas também além de não se repetir em com facilidade você pode colocar o mesmo tom de várias vezes seguidas para ele e muito provavelmente as respostas vão ser sempre diferentes isso reforça demais a percepção de que a gente está falando com uma pessoa e não com um robô mas como chat GPT fazer esse ranqueamento de palavras aliás como é que ele conhece as palavras isso tem a ver

com a forma como uma rede neural do chat de PT foi treinada esse treinamento foi feito através de livros páginas da Internet artigo científico jornais etc representando um conjunto com mais de 500 bilhões de tokens ou seja centenas de bilhões palavras o treinamento propriamente dito começa em uma etapa de pré-treinamento é aqui que o modelo tem acesso a um grande conjunto de dados públicos de textos coletados na internet o objetivo dessa fase é ensinar o modelo a entender a estrutura da linguagem capturar relações entre palavras e aprender conceitos gramaticais e contextuais nesse processo o modelo

tenta prever as palavras seguintes em uma sequência dada uma sequência de palavras anteriores isso é feito usando o aprendizado não supervisionado ou seja não é dado nenhum rótulo ou resposta correta para rede neural essas amostras representam textos elaborados por humanos Então o que está acontecendo é que textos humanos são usados para o que o modelo aprenda a maximizar pela habilidade de escolher a sequência correta de palavras e sentenças nesse processo o chatbt tá aprendendo mais do que completar palavras ele descobre padrões a respeito de contexto e significado de impulsos variados o que o ajuda a

responder de maneira apropriada e também aprender a manter uma conversa dentro de um contexto matemáticamente ele transforma cada token em um vetor numérico com a propriedade de que números próximos representam token semanticamente próximos a gente pode imaginar essa representação em um espaço de semântica onde palavras próximas e significado aparecem próximas umas das outras na representação vetorial só que isso não é tudo depois do aprendizado não supervisionado o chat GPT já é capaz de gerar o seu próprio texto Mas apesar dos resultados seria até bem razoáveis nesse ponto eles ainda tendem exibir formas não humanas devagar

especialmente em textos mais longos não é algo que possa ser detectado através de estatísticas tradicionais Mas é uma daquelas coisas facilmente percebidas por seres humanos que estiverem lendo texto ele vai ficando robótico ele vai perdendo a naturalidade para corrigir isso é aqui que entra uma ideia Central na construção do chat GPT que é a realização de uma etapa conhecida como ajuste fino até aqui o que a rede neural fez foi fazer uma leitura passiva de uma tonelada de texto já existente agora seres humanos reais vão interagir ativamente com chat GVT avaliando o que ele produz

distribuindo notas para os seus atitudes é como se fosse um feedback nessa etapa também existe o cuidado na seleção do conjunto de dados bem como a atuação de moderação e supervisão humanas para garantir que o modelo não produz a respostas prejudiciais ou inapropriadas e o pulo do gato é usar outra rede neural para aprender o processo de atribuição dessas notas e a partir daí usar esse conhecimento como uma nova função de recompensa punição atuando sobre os altitudes da rede original a partir disso a rede neural é capaz de avaliar sozinha os output que está produzindo

através de um sistema de que automatiza o feedback humano com isso a rede passa por uma nova etapa de treinamento o que será feito ajuste fino dos parâmetros através da busca pela maximização da função de recompensa no final desse processo a rede neural consegue obter resultados de linguagem natural obviamente que o processo é bem mais complexo do que eu descrever aqui mas essencialmente é assim que ocorre o aprendizado do chat GPT uma coisa muito importante sobre redes neurais Deep learning como é o caso do chá de GPT é que elas são caixas pretas elas funcionam

produzir resultados excelentes mas não conseguimos compreender realmente Como isso acontece o processo de aprendizado de máquina ajuste os parâmetros da rede neural de uma forma que minimiza os erros na etapa de pré-treinamento e aumenta os acertos na etapa de ajuste fino no entanto é completamente opaca para nós a lógica do ajuste dos quase 200 bilhões de parâmetros envolvidos apesar de ser possível descobrir o valor assumido por cada um desses parâmetros não conseguimos compreender como processo realmente ocorre e um nível mais conceitual ou seja mesmo com chá de GPT conseguindo simular linguagem humana em um nível

extremamente satisfatório ele não nos ajuda a compreender melhor como o processo linguístico humano realmente acontece agora nossos pensamentos são guiados em grande parte pela linguagem é através dela que o nosso eu enterior fala então por muito tempo acreditou-se que o domínio da linguagem é o que levaria a criação de uma legítima Inteligência Artificial chamada de inteligência geral tanto que o teste de touring imaginado por Alan turing nos anos 50 do século passado foi proposto para responder a pergunta se máquinas poderiam ou não pensar tu lhe chamou o teste Originalmente de jogo da imitação e consiste

em um juiz conversando por texto com humano e uma máquina sem ver nenhum deles o objetivo era juiz descobrir quem é humano e quem é a máquina se juiz não puder fazer essa distinção então a máquina passou no teste de Torre o teste não depende da habilidade da máquina em trazer respostas corretas Mas sim responder como um humano faria em outras palavras nesse formato testa muito ligado à habilidade na máquina em reproduzir linguagem natural então será que o chat porque passaria num teste de touring se considerarmos que a verdadeira ideia de um teste turing é

avaliar-se uma máquina pode exibir um comportamento inteligente em distinguível de um ser humano a resposta é aqui não mesmo restrito a conversa natural tem diversas pegadinhas nas quais o chá de GPT cai com facilidade por exemplo em situações de tradução a gente pode pedir para ele traduzir a frase the box e zendapen ele traduz como a Caixa está na caneta nenhum ser humano faria isso pois a frase não tem sentido algum já que nós entendemos O que é uma caixa que é uma caneta e sabemos que não tem como colocar uma caixa dentro de uma

caneta O problema é que a palavra pen possui também um outro significado bem menos usado que é o de curral certamente que no processo de treinamento do chá de GPT luz da palavra bem Está zilhões de vezes mais associado a um contexto de caneta do que um contexto de curral por essa razão Ele comete esse erro bobo pois não possui uma compreensão verdadeira da semântica das palavras ou seja ele não tá realmente entendendo o que ele escreve por isso ele não poderia passar no teste de touring o chat de PT 4 tem capacidade de entender

imagens como incut embora essa funcionalidade ainda não esteja disponível ao público usando isso pesquisadores colocaram chá de pt4 para resolver um teste simples de lógica visual são Dados alguns exemplos mostrando situações que escondem um certo conceito abstrato é como num teste de QI depois com imagens diferentes é perguntado como ficaria a imagem final após a mesma lógica ser aplicada esse teste pode ser resolvido com uma certa facilidade pela maioria das pessoas o chat de 74 teve um índice de acerto de apenas 30%, o que define ativamente mostra que ele não foi capaz de aprender um

raciocínio abstrato que representasse esse conceito envolvido então no final das contas não é que o chat GPT tenha chegado no estado próximo da Inteligência humana a chamada inteligência geral se você fizer essa pergunta ao próprio chat GPT ele vai te confirmar isso a questão é que o problema da linguagem que nós acreditavamos estar muito mais próximo da noção de inteligência geral é na verdade bem mais simples do que a gente imaginava a rede neural do chá de GPT uma das maiores jaquetas pelo homem possuem alguns milhões de neurônios em dezenas de bilhões de conexões o

cérebro humano por outro lado possui quase 100 bilhões de neurônios com o número de conexões na casa dos trilhões isso tem um grau de complexidade milhares de vezes maior que a rede neural do chá de GPT e não à toa todos os resultados muito mais incríveis Muito obrigado vivemos no canal E não se esqueça de deixar o like se inscrever e até o próximo vídeo