Tokens: A Base da Linguagem para a IA - @CursoemVideo Inteligência Artificial

Chegamos aqui a mais um vídeo que fala sobre um termo técnico usado na área de Inteligência Artificial e dessa vez a gente vai falar sobre os [Música] tokens Olá pequeno gafanhoto seja muito bem-vindo muito bem-vinda a mais uma aula aqui do seu curso em vídeo de Inteligência Artificial o meu nome é Gustavo Guanabara e agora vou trazer aqui o Ramiro Lobo mais uma vez para falar sobre tokens para você você sabe o que são tokens normalmente I falar assim olha a inteligência artificial tal né o chatbot tal ele tem um limite de tantos tokens a

janela de aprendizado dele é de tantos tokens Ah olha Quando você vai usar a ia gratuitamente você tem direito a Gerar não sei quantos tokens você sabe o que que é tokens você sabe o que que é o termo tokenização Pois é exatamente esse o assunto dessa aula e não se esquece que dentro desse curso além de bastante conteúdo teórico e de bastante conteúdo prático né apresentando ferramentas para você você tem uma playlist completa aqui ó se an ia na playlist vê qual é a corzinha da th cada tamb tem uma corzinha diferente para aula

teórica aula prática mão na massa apresentação de ferramentas então assim não se esquece de clicar aqui em cima ir pra Playlist completa e acompanhar o módulo um do seu curso de ia do curso em vídeo que é 100% grátis e não é só pra galera de ti é para qualquer pessoa que queira entender o que que é ia e viver talvez de I trabalhar com isso ter uma profissão com isso então é para isso que esse curso serve esse é o nosso objetivo espero que a gente consiga siga em algum momento Então é isso sem

mais enrolação vem aí o Ramiro Lobo para te explicar o que que é token em um dos recados da hostnet que eu dei aqui no curso de Inteligência Artificial eu falei sobre o processo de franquia só que eu sei que aqui dentro do curso em vídeo Tem muita gente que tem o conhecimento na hora de criar sites mas que não Ten o recurso financeiro para comprar uma franquia pois saiba que a hostnet criou um programa chamado Universidade web marketing que é um verdadeiro Caça Talentos o objetivo é treinar os interessados todos eles aprendem a criar

site utilizando as ferramentas da hostnet arrumam clientes reais atendem a esses clientes totalmente orientados pela galera da hostnet e no final os melhores alunos são selecionados e se tornam automaticamente franquias da hostnet então não perca tempo se você tem afinidade com a área de tecnologia a construção de sites e a base do marketing digital é só entrar no programa Universidade web marketing da hostnet e quem sabe daqui a um tempo você seja uma das unidades regionais da empresa Um grande abraço fica com essa ideia na cabeça e volte à sua aula dando continuidade aqui aos

nossos conceitos que eu tenho certeza que você tá anotando tudinho bonitinho a gente vai falar sobre os tokens a gente já citou várias vezes tokens aqui né Ramiro é engraçado que essa parte de tecnologia o termo token tá muito forte né tá crescendo na ia tem se você pensar em criptomoeda tem os tokens da das criptomoedas então assim a gente tem token que a gente utiliza com token de segurança é uma coisa que tá ficando bem comum e fica fácil confundir já que a gente usa a mesma palavra para vários significados para coisas que tem

funções e sentido diferente exatamente então ó anota aí tudo bonitinho porque esse conceito pode te confundir mais na frente quando você tiver falando de ia então a gente eu defini aqui os tokens como os tijolos fundamentais vamos dizer assim tá o que seriam os tokens no âmbito da Inteligência Artificial Especialmente quando se trata da do processamento de linguagem natural ah mas o que que é PLN o vídeo anterior a gente falou sobre PLN ex um token refere-se a uma unidade individual da informação ou dado E qual é essa unidade individual guada no caso do chat

bot seriam umas palavras N é isso pode ser vamos ver aqui ó geralmente ao trabalhar com um texto um token pode ser uma palavra pode ser uma frase ou até mesmo pode ser um único caractere dependendo do contexto exatamente dependendo do contexto e e ele pode ser guardado de várias formas diferentes e tem importância de diferente dentro dess desse banco de dados Beleza ó tem um exemplo aqui logo em seguida por exemplo ao separar emem tokens a frase aprendizado de máquina é fascinante podemos obter os tokens aprendizado de máquina é e fascinante então ele separou

a no caso Desse exemplo a frase não seria um token cada token seria uma palavra exatamente né mas em algum momento pode ser que que ele tem uma frase que se repete tanto que ele pode criar um token da frase também mas por por exemplo vai aparecer muito o a né o artigos as ligações as palavras de ligação ele vai guardar porque que ele precisa Isso é um token e na hora de montar a frase ele vai buscar a próxima palavra o próximo token Pode ser que seja esse o possível próximo token né tem a

maior probabilidade né é assim quando a gente tá aprendendo idioma a gente sabe que existem as palavras de ligação não faz sentido a gente ficar falando eh por exemplo Caixa leite não não pode ser caixa leite tem que ser caixa de leite ligação ali para poder fazer sentido a frase podem ter considerado um token caixa de leite pode ser considerado um token dependendo do contexto né dependendo do contexto esse ato de separar as coisas em tokens também tem um nome né Ramiro é tokenização é um processo fundamental de muitos processos de processamento de linguagem natural

É isso aí ao converter os textos em tokens os algoritmos de Inteligência Artificial podem analisar compreender e processar a linguagem humana de maneira mais eficaz é porque na verade assim não é que a ia ela endu português ou inglês e ela sabe montar frases não conhecimento dela é baseado nesses tokens ela consegue saber qual é a próxima palavra mais provável é assim que ela vai montando as frases é é assim como esses algoritmos a gente já citou também os algoritmos de automo tem uns que são mais eficazes outros são menos eficazes exatamente continuando aqui ó

essa essa transformação ajuda na tarefa de identificar padrões compreender contextos e realizar operações como anlise de sentimentos tradução automática e muitas Outras aplicações relacionadas ao texto essa questão de análise de sentimento Assim é uma coisa que que eu nunca explorei mas é uma coisa que é muito repetida em qualquer texto que você ler depois eu vou dar uma explorada é na verdade sim a gente vai explorar Sim lembrei sabe como é que a gente vai explorar a gente vai aprender a você treinar a ia por exemplo responder né para saber se a avaliação foi positiva

ou negativa a gente vai a gente vai ter uma aula so sobre essa agora que eu lembrei e você vai vai mostrar para ela o que que você você você vai dar um texto vai dizer esse texto é positivo esse texto é negativo esse texto é positivo se texto negativo aí você vai dar os próximos textos e aí você vai perguntar para ela baseado nisso que eu te ensinei avalie os outros textos ela vai fazer avaliação de sentimento continuando aqui portanto no contexto da Inteligência artificiais tokens são os tijolos fundamentais Como eu disse né no

no subtítulo ali que permitem que as máquinas entendam e manipulem a linguagem humana eu sei que tem muito a gente que tá chegou nesse ponto e falou cara Vocês nem abriram o chat GPT Vocês nem abriram nada e assim não Não ensinaram a gente já escreveu prompt ainda só que quando você terminar esse curso eu acho que você vai se encantar com a ia e você vai querer aprender mais quando você for para essa leitura técnica de aprendizado esses termos principalmente termos como token vão aparecer você precisa saber o que é cada coisa a gente

já falou isso lá na frente se não me falha a memória é lá no início do curso a gente não tá fazendo um curso aqui de piloto de ia a gente tá tentando formar pessoas conhecem os conceitos de inteligência artificiais e mesmo que ainda que e é o que vai acontecer o chat GPT vai atualizar ele vai melhorar o o Bard que agora o Jen vai evoluir Todas as viagens vão evoluir E você sabe o conceito o conceito é o mesmo exatamente então assim se você tá chateado nesse momento ah não mas não abriu o

chat pd cara confia na gente vai Anotando os conceitos mais para frente uma dien inclusive nós vamos falar agora sobre o chat GPT aqui ó a loginha dele aparecendo aí anota também essas informações que também podem mudar mas no momento em que a gente tá gravando a gente tem ó o chat GPT 3 processa 4096 tokens por solicitação Isso inclui tanto o prompt quanto a resposta é porque aí a gente vai ver que cada chatbot api né tem um uma uma um limite de processamento por conta de limita daquela tecnologia no caso do do Três

É isso daí são 496 tokens não é b sim e para para pra pessoa que não não não viu esse vídeo e que não sabe os princípios da Inteligência Artificial acha estranho quando você pede pro GPT ó gera uma história aí para mim de não sei que P pá sobre isso sobre isso chega um momento que ele simplesmente para aí tu fala pô por que que ele parou ele parou chegou nos seus limites de Tok chegou limite de token então talvez seja interessante você saber essa informação e aos poucos pedindo para ele você não vai

pedir a história inteira você pode pedir o seguinte prepara aí uma introdução dessa história para mim aí ele vai lá e prepara a gente vai ter uma aula só sobre isso ensinando você pedir para ele criar os personagens criar os tópicos e depois desenvolver cada tópico para fugir dessa limitação exatamente então assim quando você conhece a limitação Você conhece os conceitos você tira melhor proveito da ferramenta beleza por isso por isso que essas aulas são importantes exatamente mais um exemplo aqui ó por exemplo se você solicitar o chat GPT para para gerar um poema de

4097 palavras 4097 já Estoura o limite ali de 4096 ele será capaz de gerar as primeiras 4096 palavras mas não poderá gerar a última palavra vai ficar incompleto teu teu teu poema lá de 4097 palavras que você pediu ah de onde vem esse limite os limites de tokens foi imposto pela Open ai para evitar o uso excessivo de recursos é óbvio né se você vai processar coisas para um monte de gente é o ideal seria você criar um limite né R é a gente que que que trabalha com provedor de hospedagem sabe disso ah você

quando entra em qualquer provedor de hospedagem ou qualquer servidor Cloud que você compra o fornecedor ele vai te limitar memória CPU algum expal de processamento espaço para que não haja abuso e para que todos consigam utilizar aquela infraestrutura e se você nesse momento tá fazendo não mas a empresa tal é ilimitada tenta fazer alguma coisa de sucesso que você vai ver que os limites vão aparecer vai vai nessa outra informação aqui ó o chat gpt3 Ramiro é aquele que tá no momento tá sendo disponibilizado gratuitamente ISO Pode ser que quando você esteja assistindo esse vídeo

já o quatro já esteja gratuito e já tem o cinco pros pagantes nesse momento que nós gravamos é o três que tá disponível né GR o três tá disponível gratuitamente o quatro tá sendo disponibilizado para pagantes Exatamente isso é um modelo de linguagem grande e complexo processar um grande número de tokens vai exigir uma quantidade significativa de memória e processamento gente é algoritmo é software software exige processamento e memória então quanto mais o software puder te atender provavelmente mais memória e mais processamento ele vai conseguir ele vai precisar né Isso é ele vai exigir né

da da infraestrutura Então se se não houver limitação não dá para atender todo mundo e eu não sei se você lembra no início do chat GPT cara tinha dia que você não conseguia utilizar sim até hoje hoje tem dia tem dia que ele tá baleando lá porque olha e as pessoas tem que entender que esse processamento de a ele é muito pesado então se tiver muita gente precisando utilizar o mesmo tempo pode ser que que tenha problema é lógico que isso com o passar do tempo isso vai ser resolvido até porque estão sendo criados novas

tecnologias de hardware para atender exclusivamente o processamento de Inteligência Artificial exatamente e e o chat GT4 né que é o que no momento está sendo para quem é assinante ele processa até Olha a diferença 32.768 to por solicitação Isso inclui tanto prompt quanto a resposta aí já dá para para pedir pro chpt escrever até uma uma uma história grande aí significativ considerável é mas ainda assim é pouco Ah não escreve um livro tem a galera ah usa o chat GPT para gerar um livroos é se você pedir separar por capítulos e pedir para ele continuar

ele vai conseguir tem técnica para isso a gente vai ensinar exatamente o chat GPT 4 tem duas variantes o chat GPT 48k que tem um limite de 8192 tokens e o chat GPT 4 32k que tem aquele limite que eu citei ali em cima de 32.768 qual você sabe que tá utilizando eu não me aprofundei né nessa parte Mas eu percebi eu achei onde você configurar isso quando você usa a parte para desenvolvedor que ele chama de playground lá no playground a parte do desenvolvedor que é onde você faz testes para api lá tinha Mas

eu não parei para tentar entender Qual a vantagem e desvantagem de um e de outro Então não vou ser honesto não não sei responder aqui né se tem é porque deve ter alguma vantagem e desvantagem talvez performance por exemplo is que ia falar Talvez o tempo de resposta perform provavelmente tempo de resposta mas não vou garantir para ninguém tá exatamente e além de falar do chat GPT vamos falar também do Jini né que também tá aí nessa nessa correria que mudou de nome né recentemente era vai ser difícil eu conseguir chamar por esse novo nome

pelo menos nas próximas semanas mas tudo bem E quando e quando a gente acostumar eles vão mudar o nome de novo você pode ter não vom não Ei para para com isso o Gemini é o chatbot ou e também a ia é porque na verdade o nome da i é é jamini também Enfim então então tá lá o Jini processa um número ilimitado de tokens por solicitação isso é bem diferente do chat GPT não é isso Olha só e essa foi a resposta que o o o o o o o Bard quando era Bard me

deu quando a gente estava montando aqui esse slide Pode ser que a qualquer momento por uma questão aí de poder de processamento que ele limite isso essa resposta quem quem deu foi a própria ia é complicado eu não encontrei na documentação eu não encontrei a informação perguntei pra própria EA e ela respondeu isso não não sou eu não é o Guanabara né que tá afirmando isso aí a ia do Google vou chamar de ia do Google Car se trocar de nome não tem problem a culpa é do Google a culpa é do Google Isso significa

que ele pode gerar um texto de qualquer cumprimento desde um único token até texto de milhões de palavras e quem me deu esse texto foi a iá eu colei o texto que foi foi A Iá que escreveu dizendo Aí que pode e gerar aí a a a até um texto com milhões de paladas tá Tomara que seja A Iá respondendo sobre ela de uma maneira consciente do que aquele aquelas viagens que ficam alucinando né é Não Para depois não apareceu alguém no comentário não é mentira não sei o quê Se for mentira coloca nos comentários

e bota aí ó o Google deu mole deu mole o tamanho é isso ó e o Gemini é capaz de processar um número ilimitado de tokens porque é um modelo de linguagem de transformador os transformadores são um tipo de modelo de linguagem que usa um mecanismo chamado atenção para se concentrar nas partes mais importantes do texto isso permite que eles processem texto de qualquer comprimento sem perder o contexto então Pelo que eu entendi aqui ele não vai considerar cada uma das palavras para entender o contexto Ele vai tentar pegar o que a gente chamava na

faculdade lá de tópico frasal Ele vai tentar pegar os o que é mais importante de uma frase e basear a resposta nisso seria isso olha B eu não me aprofundei até por por porque a gente ia começar a gravar e eu eu não achei necessário me aprofundar na tecnologia que é que é um pouco diferente do do do GPT mas assim e toda essa parte aqui da do do Jini que na época era Bard esse texto foi escrito pela papi tá não esse texto não é nosso eu pedi para ir não porque assim como era

uma coisa quando a gente começou a montar isso esse esse curso tava muito no início mesmo tava muito no início dessa I né do B quando foi lançado e não tinha muita informação na internet para poder a gente trazer então eu preferi que ele desse as respostas e as definições tá o momento de honestidade que é para depois nada disso quem quem me contou foi o Bard se ele é o mentiroso que mudou até de nome tava mentindo tanto que teve que mudar de nome sabe que a a galera tem que ficar se escondendo abriu

muito crediário em loja é brincadeira da parte Google Google ó brincadeira hein ó eu adoro o pessoal do Google esqueç que a gente faz eu esqueço que a gente vai pro YouTube A gente não pode falar falar nada do Bard não não sei se você já viu mas aqui no canal do cursem vídeo a gente lançou há algum tempo atrás um podcast chamado Experience podcast e se por acaso você não conhecia abre uma aba Nova abre o canal do curso em vídeo no YouTube e na aba podcasts do canal Procura pelo Experience lá a gente

já tem disponível dezenas de episódios conversando com profissionais da área de tecnologia que atuam aqui no Brasil e também no exterior se você tá querendo entrar na área de tecnologia e quer aprender com a experiência de gente que já tá gabaritada trabalhando há muito tempo no mercado você não pode perder os episódios do curso em vídeo Experience podcast eu também vou deixar o link na descrição desse vídeo e também no comentrio fixado Então é isso Chegamos aqui a mais o final de uma aula espero sinceramente que agora você saiba o que que é token Espero

que você tenha anotado todos os conceitos cara manter tudo anotadinho vai te ajudar para caramba para que você não precise ficar voltando nos vídeos várias vezes Para mim seria um grande prazer te ver de novo você assistir o vídeo de novo mas eu já tô te dando a dica anota que fica muito mais fácil então Toda vez que você precisar saber o que que é um token pode voltar aqui você será muito bem-vindo muito bem-vinda mais uma vez a esse vídeo para poder ter o acesso a essa informação fechou e como de costume Eu sempre

venho aqui no finalzinho dizer o que a gente vai aprender na próxima aula no próximo vídeo teórico desse curso de Inteligência Artificial a gente vai aprender o que são os prompts Então se prepara que no próximo vídeo tem mais um termo pra gente explicar um grande abraço e a gente se vê na próxima tchau tchau [Aplausos] [Música] [Aplausos] [Música] k [Música]