Introdução prática ao Lang Flow: Construa um chatbot com memória!

bom eh todo mundo tá sabendo aí o l Flow lançou essa competição do L Flow né E para pessoal montar aplicações Flow e e e e concorrer nesse nesse concurso aí que que eles estão fazendo aí do do do do L Flow o o o importante aqui é conhecer mais ou menos como é que funciona o l Flow eu não vou dizer que eu sou o maior especialista em L FL muito pelo contrário né Eu conheço o básico do L flor e então a min minha ideia hoje é o básico para vocês para vocês aprenderem

porque assim dependendo do da aplicação que vocês forem fazer vocês têm que adicionar outras ferramentas porque o l Flow sozinho talvez não resolva Mas vamos lá mas vamos primeiro aprender como é que funciona a ideia básica do L Flow eu Primeiro vou mostrar aqui porque o l Flow na verdade se vocês quem já usou o chat GPT e quando vocês verem uma aplicação GPT assim é é uma aplicação que na verdade já tá completa Você tem o pronto de entrada aqui se você falar oi aqui o o chat GPT vai processar e vai responder para

você aqui no caso do L Flow eu vou explicar para vocês como é que entra aqui no L Flow isso daí não é automático na verdade ele é um conjunto de ferramentas para você montar alguma coisa parecido com aquilo lá parecido com o chat GPT ou outros projetos que vocês queiram por exemplo trabalhar com arquivos gigantescos né então para vocês entrarem no L Flow aqui a forma mais fácil porque é possível instalar o l Flow na máquina é é possível você ir lá na sua máquina instalar para quem conhece pyon etc vai lá dar um

você pode instalar mas vocês podem vir aqui no no no site do L Flow vira aqui no no no start aqui ele vai pedir para você tá vendo a página do GPT ainda do GPT Ué por que que não tá at só só só guia gente não eu tô compartilhando a tela inteira vamos lá vamos lá compartilhar de novo eu na verdade eu tava compartilhando a tela inteira vocês deveriam estar vendo minha tela aqui uhum ó tela cheia ó tô compartilhando toda a minha tela aqui agora vocês estão vendo a Agora sim sim então vocês

vão entrar aqui no lang Flow p.org né eh vão ter essa página inicial vocês vão clicar aqui no get started aqui né E vocês vão cair nessa página aqui onde vocês podem se logar eu eh normalmente eu me logo com a com a conta do Google mesmo aqui e vocês vão cair eh numa no no no na aplicação chamada L Flow que vocês vão ver aí tá carregando Deixa eu botar aqui hum tá girando aqui tá carregando p p pá P pá deixa ele finalizar aqui é essa daqui aqui é a página inicial do L

Flow se vocês instalarem isso no no Python é a mesma coisa que vocês vão ver eu tenho ele em Python aqui eu vi pequenas diferenç casinhas mas é muito pequena parte é bem parecido aqui né aqui vai tá os seus projetos de L Flow no caso como a gente Zerou aqui não tem nada né então a gente vai começar um projeto aqui né eh e aí eu vou explicar para vocês os componentes do L Flow né quando vocês clicam em novos projetos vai aparecer aqui eu posso pôr uma coisa em branco aqui eu posso pôr

alguns projetos já preparados aqui eu vou pegar em branco aqui só para mostrar para vocês o que que tem aqui de componentes aqui esse daqui é o Canvas em branco do L do L Flow Vocês estão vendo aqui não tem nada aqui o que que é importante aqui qualquer projeto que vocês vão fazer tem que ter uma entrada um processamento e uma saída ou seja vocês precisam entrar com alguma coisa processar essa coisa e ter uma saída o mais simples de todo que o l Flow mostra é o chat então por exemplo se vocês abrirem

em input aqui vocês vem que tem aqui o chat input aqui ó eu vou até puxar aqui o chat input aqui e se vocês pegarem aqui no output aqui vocês vem que tem o Shout output aqui aquilo lá que eu tava mostrando para vocês que é o chat GPT ele tem uma entrada então ó ele é eu não sei se vocês vão conseguir eu tô eu tô eu tô compartilhando a tela eu vou mudar aqui pro pro GPT ele tem uma entrada aqui mudou Vocês estão vendo sim sim certinho Ah beleza agora agora tá tá

indo direitinho ele tem uma entrada aqui e tem uma saída aqui em cima que é a resposta dele aqui oi como posso ajudar você hoje então ele tem uma entrada e uma saída de chat quando eu coloquei aqui um chat input ele vai simular exatamente aquela entrada do chat aquela parte que estava embaixo e quando eu ponho o chat output aqui ele vai simular exatamente a saída do do chat e o que que e o que que Como é que eu carrego e essa resposta pra saída ele tem esses essas bolinhas do lado direito aqui

então tudo que é do lado direito é uma saída tudo que é do lado esquerdo é uma entrada ele tem essa saída que ele tá falando ó aqui tem um texto nessa saída daqui você pode pegar essa saída e ligar por exemplo aqui é uma entrada do do output aqui então o que que eu tô fazendo eu tô jogando tudo que eu escrevo aqui no no no input eu tô jogando na saída se eu rodar esse daqui agora vamos rodar só pra gente ver o que que eu acabei de fazer então eu criei um uma

entrada de chat criei uma saída de chat e vou mandar rodar no playground o playground Ele criou exatamente aquilo que eu tinha pedido Ele criou uma entrada aqui ó se eu falar oi aqui o que que ele vai responder na saída vou vou vou vou só relembrar para vocês eu tô pegando o que eu tô escrevendo aqui e tô jogando direto na saída ó observa que aqui no meio não tem processamento nenhum então tudo que eu tô escrevendo vai direto para sair aquii então se eu pegar um playground escrever o e mandar né ele vai

responder somente um oi aqui eu tô ouvindo um barulhinho aqui se alguém tiver fazendo pergunta pode falar gente porque que eu não tô olhando lá a tela lá da da do do levanta mão etc então fiquem à vontade para fazer pergunta mas vocês viram aqui se tudo que eu tô escrevendo aqui vamos eh Hello escrever em inglês aqui Hello ele tá jogando direto na saída que nem eu tinha falado aqui então ele rodou e jogou direto na saída então eu escrevi na entrada ele jogou direto na saída então lembra você vai ter que ter alguma

coisa que para entrar e alguma coisa para apresentar na saída ali agora isso aqui é um projeto que seria o projeto burro né tudo que eu tô falando na entrada tá saindo na saída tá vamos pegar um projeto um pouco mais complicado E aí em vez de eu ficar aqui tentando adivinhar o que que Ah isso aqui acho que é importante vocês estão aqui no projeto Vocês querem ir paraa raiz vocês clica aqui né Vocês podem no caso aqui eu vou deletar essa esse projeto bobo aqui que eu fiz né o que eu quero mostrar

para você é quando você clica em novos projetos ele já tem aqui um um um negócio um pouco mais sofisticado ó então vamos aqui ó Basic prompt hello world que é o o o mais básico aqui ele tá fazendo a mesma coisa que eu fiz mas Observe uma coisa interessante aqui no meio ele pôs dois processamentos ele pôs o chat eh ele pôs o o o GPT para processar a minha entrada e jogar alguma coisa na saída aqui ou seja ele tá fazendo o seguinte eu vou falar um oi aqui ele vai dar ele vai

adicionar Esse promt pro meu Oi aqui né então esse prompt aqui é uma adição que eu tô falando para criar um contexto depois eu vou explicar o que é contexto para vocês mas ele vai criar um contexto aqui com prompt vai jogar essas duas ó a saída aqui vai ser jogado no input do do do GPT llm que é o processador não é do chat GPT é da llm que é o processador eu vou explicar também esse daqui e vai jogar na saída resposta aqui ó agora eu falei ó a entrada do chat a saída

dele tá do lado direito aqui eu joguei no user input aqui do prompt porque o prompt ele vai adicionar alguma coisa que eu vou explicar aqui esses dois estão saindo ou seja o oi que eu falar aqui mais o o template que tá aqui vai sair aqui como input lá no na llm e aqui entra aqui no no no chat output ele vai colocar para fora se eu rodar isso daqui agora vai dar ele vai dar um erro Vamos lá ver aqui ó eu vou eu posso rodar tanto no playground Como eu posso rodar se

você rodar eh cada cada caixinha tem um um um botão de rodar aqui vocês podem rodar individualmente e saber o que tá acontecendo ó por exemplo se eu clicar esse daqui ele diz que rodou mas não aconteceu nada né Eh Porque aqui só só seria ele só capturaria a entrada eu não escrevi nada aqui então ele capturou nada aqui que eu escrevi o prompt se eu rodar aqui ele também vai rodar quando eu rodo nesse nível aqui ele roda aqui e aqui tá então quando você roda um nível paraa frente ele roda todas as caixinhas

de trás então se eu rodar aqui ele rodou na verdade esse e esse daqui então se eu fizer isso aqui rodar esse daqui na verdade ele vai rodar o primeira caixinha segunda caixinha a terceira caixinha e a última caixinha aqui então eu vou rodar tá aqui vocês vão ver que vai dar um erro ó ele começou a rodar as caixinhas ali Espero que sim e deu um erro Qual o erro que deu aqui eh o erro que deu tá nessa caixinha aqui ó o que que ele tá pedindo aqui o chat GPT você tem que

entrar com a chave com a chave do Open a aqui como é que eu crio essa chave aqui para quem não sabe no chat GPT você vai você vai ter que entrar lá na verdade no openi open.com api você vai ter que ir lá no no no nas apis ali nas apis aqui e aqui ó na no último na última caixinha aqui do do do lado esquerda aqui tem você criar a sua chave aqui você cria a sua chave e você pode usar lá onde a gente tá usando lá então é aqui que cria a

chave vem pro Open ey vai pra plataforma pega a chave aqui aí vocês pode usar a chave lá onde eu estava usando aqui cadê onde está aqui aqui vocês pode ui pode perguntar gente que eu não tô vendo Ponto agora sobre a api e tal é todo mundo tá acompanhando tem alguém que tem dúvidas O que que é uma API todo mundo chegou nisso aí tranquilo Se quiser eu faço devagar é bom se bem que tá gravado pessoal tá acompanhando Bora seguir beleza e tá gravado aqui o pessoal pode ver depois Como cria aqui a

a a a a api aqui se vocês quiserem criar api cria api aqui Eles vão pedir o nome da da chave aqui vocês podem dar o nome que vocês quiserem Vocês pode pô Garfield aqui pode dar o nome vocês dão o nome que você quiser pra chave aqui depois vocês apertam criar minha minha minha api minha chave secreta ele vai criar um número gigantesco aqui SDK trato 1 2 3 45 criar um número gigantesco Esse número é o que vocês vão pôr aqui ó esse número é o que vocês vão pôr aqui nesse lugar aqui

no meu caso eu já ele numa variável Global aqui esse aqui vocês não precisam saber como faz lembra vocês vão pôr o número aqui no meu caso eu já deixei isso aqui numa variável e pus aqui então é como equivalente ao ter posto o número aqui tá gente aqui já depois vocês a gente pode explicar como é que faz mas é vocês vão pôr aquela chave que vocês criaram lá aqui OK Agora sim agora se eu rodar isso daqui ele deve rodar eh e melhor ainda eu vou fazer isso no playground para ver se tá

rodando vamos lá no playground eu vou dar um oi aqui então lembra a gente gerou um input do chat ele tá processando aqui opa ele respondeu alguma coisa diferente aqui então quer dizer que funcionou Ele respondeu aqui uma linguagem de pirata aqui Da onde saiu essa linguagem de pir apareceu aqui é justamente esse prompt aqui ó eu eu coloquei um oi aqui o oi entrou aqui É como se eu tivesse É como se eu tivesse escrito Ó como se eu tivesse escrito oi aqui aí ele veio pro prompt e o prompt tá dizendo o seguinte

o prompt tá em inglês aqui mas ele tá assim eh responda como se você fosse um pirata aqui então a o o a pessoa vai entrar alguma coisa O user input aqui né isso aqui já já tá pronto aqui né Você vai responder como se fosse um pirata aqui isso daí esse prompt com esse Oi que eu mandei foi mandado pro pro pro llm que a gente fala né que é que é o processador das da da da da do chat GPT e ele gerou uma resposta que jogou no output aqui certo então funcionou Então

aquela mesma coisa ó eu posso rodar aqui eu posso rodar aqui também se eu rodar aqui ele vai começar rodando tudo aqui é que ele vai ele vai repetir a mesma coisa aqui a resposta vai est aqui de novo no no na saída aqui a mesma resposta aqui vamos pôr uma coisa diferente só pra gente ver aqui ah eu vou pôr aqui na entrada aqui Ah isso aqui também é importante então acho que eu vou até jog rodar no no chat GPT vou rodar aqui né Eh eu vou zerar isso aqui e vou começar de

novo Hello aqui também é bastante importante para vocês saberem e daí a gente já vai começar a falar das Ferramentas então eu coloquei isso aqui vocês lembram que entrou lá no output ele passou pelo prompt acrescentou aquele prompt você vai falar como um pirata jogou isso no llm que é o processador da linguagem o processador da linguagem gerou uma resposta essa resposta foi jogada na saída do chat e a saída do chat me apresentou a resposta que o chat GPT gerou que é essa daqui então tudo que a gente fez aqui é muito parecido com

o que o chat GPT Originalmente fazia que a gente tava mostrando ali mas ele tem uma diferenç inha aqui que eu vou mostrar para vocês eu vou perguntar aqui vamos ver se se eh vou fazer inglês mesmo aqui você só para vocês terem uma ideia eh eh when ã Abraham Lincoln was born n quando que nasceu o Abraão lincol ó ele respondeu aqui então a mesma coisa entrou lá no chat inut que a gente criou lá ele foi pro prompt o prompt diz você responde como pirata juntou com esse daqui jogou no llm o llm

processou jogou na saída e a saída apresentou aqui quando que Abraão lincol nasceu certo até aí parece muito parecido com o chat GPT agora o seguinte eh Who was his eh Who was his wife Quem era a esposa dele eu tô perguntando a esposa do Abraham lincol Ele respondeu uma coisa aqui que não é a esposa do Abraham Lincoln por quê Porque no chat GPT tem um negócio que se chama memória do que você já falou antes Esse chat que tá aqui é um chat que não tem memória então ele respondeu uma coisa genérica aqui

dizendo quem é a esposa do Pirata em questão aqui então ele não respondeu a pergunta que eu coloquei por ele não respondeu por que ess daqui é diferente do que a gente criou aí a gente vai para mais um vou pegar mais um aqui deixa eu apagar tudo isqui vocês não se confundirem eu vou para mais um projeto aqui que é o chatbot com memória esse daqui é o mais aquele primeiro que eu criei em branco era o mais básico possível tudo que tem na na entrada eu jogo na saída esse daqui eu já pus

um processamento no meio esse daqui tá colocando uma memória no meio do chat então se eu vier para cá ó aqui ele tem o input aqui que a gente começa sempre por aqui que que cria aquele primeiro né a janelinha para você p a entrada ele criou uma memória aqui um chat Memory aqui aí o processamento é muito parecido ele joga tanto a memória porque vai a memória é o ele vai lembrar das perguntas anteriores e das respostas anteriores Mas o que eu tô colocando de novo ele vai jogar aqui no prompt e agora a

memória vai entrar aqui no texto do prompt então é o que o usuário falou e o contexto que é a memória de tudo que você falou antes você conversou antes no chat né vai jogar lembra aqui até aqui eu só tô juntando coisa gente aqui é a memória ou seja tudo que foi imagina tudo que foi escrito como se tivesse você tivesse lendo tudo que tá escrito que já foi escrito ali mas o que você acabou de entrar então é um textão que eu coloquei joguei aqui no no processador do do l LM do do

do do do do do Open ey e aqui eu vou jogar a resposta na saída aqui eu criei uma memória aqui uma eu criei uma memória isso aqui ele colocou só para inspecionar a memória tá ele não tem aplicação no no no no direta aqui no no fluxo Mas você pode ver o que que tá na memória depois eu a gente vai mostrar lá o que que tá na memória ali né então Eh eu vou rodar essa aqui só que antes lembre-se você precisa de ter a chave aqui agora Agora sim agora eu vou ter

a entrada que a gente já viu a entrada só cria aquele aquele quadradinho de entrada eu vou jogar isso no prompt cujo template é o contexto ou seja tudo que foi dito até agora mais a mensagem que eu acabei de entrar aqui vou juntar essas duas vai ser Um textinho que eu vou jogar aqui e aqui eu vou jogar na saída Então vamos rodar isess aqui para ver como é que faz lembra daquele que eu falei que era só para insar Ó tem a memória aqui se você for inspecionar a memória aqui ela não tem

nada ainda tá vazia Então esse daqui não tem aquele linguagem de pirata no contexto então se eu falar um oi aqui ele só vai responder ou lá como eu posso ajudar qualquer coisa assim ó lá Hello how can I today né Eh eu vou fazer a mesma pergunta que eu tinha feito antes Way Abraham Lincoln was born né quando que nasceu o Abraham lin ele vai responder igual ele respondeu da outra vez lá ele tem a data certinha aqui 12 de Fevereiro de 1809 mas a diferença desse pro anterior é que tá ficando tudo isso

daqui na memória lembra aquele que eu falei que não servia pro fluxo direto ele tá mostrando aqui ó o insect memory aqui né ele tá mostrando tudo isso daqui isso aqui tá ficando na memória Ou seja a pergunta que eu fizer aqui agora né o o was his wife né a pergunta que eu forou fazer agora quem era a mulher dele vai tá somado essa pergunta vai est junto com esse contexto de quem eu tô falando eu tô falando do abram Lincoln tá aqui no contexto eu tô falando do abron lincol então a memória tá

servindo obviamente de memória pro chat PT pegar ué de quem que ele tá falando ele tá falando do abram lin então se eu se eu rodar isso agora ele vai ter uma resposta diferente vamos ver aqui se ele acerta a esposa do abram Lincoln Exatamente merit lincol é a esposa do abram Lincoln então a diferença desse daqui pro pro pro anterior é que agora a gente tem memória deixa eu fechar aqui só para é que agora a gente tem a memória aquele inspect Memory lá que vocês estavam vendo que eu tava mostrando a memória esse

aquii ess aqui só serve para mostrar aquela caixinha lá de memória lá então esse aquii se cortasse ah V mostrar como é que corta aqui vamos supor que isso aqui eu não quero mais no fluxo eu venho aqui é clico em cima dele clica aqui eu posso deletar ele ó deletei Alexandre Oi pode falar participação de um ouvinte op vamos lá pode falar Felipe vamos lá qual que é a pergunta Alô você tem que falar daí eu acho que ele tá com duas ele tá com duas máquinas el tá sofrendo ali Ah tá sofrendo tá

bom tá bom gente não tá te ouvindo tá cara Quando tu conseguir falar l só fala a gente vai te ouvir ou talvez ele tenha clicado na mão errado também sem querer né tudo pode acontecer para continuar Então Alexandre assim que o conseguisse resolver lá com o microfone dele ele vai falar e te vai ouvir bom tá bom então vocês viram que eu cliquei aqui no no mais ou menos no título aqui apareceu essas opções aqui e aqui eu pude deletar a caixinha eu deletei aquela caixinha aqui que era do insect memory então se eu

rodar esse aqui agora ele não vai ter mais aquela opção lembra aquela opção que tinha aqui para exame na memória sumiu ó porque eu deletei a caixinha agora só ficou o o propriamente o o chat propriamente dito aqui então eh eh uma forma de de de de de de criar aqui é exatamente aqui a gente criou exatamente o chat GPT a a aquela primeira tela que eu tinha mostrado para vocês que é do chat GPT que eu falei Oi e ele respondeu a gente criou uma entrada né processamos com prompt que que equival a dizer

como é que você vai processar a entrada no caso a gente incluiu uma memória que é aquela memória do do que que aconteceu no no em todas a a conversa jogamos aqui no open Eye e jogamos na saída então agora a gente tem o equivalente ao chat GPT aqui né Então essa é aqui eu acho que a aplicação mais parecida com o chat PT que vocês vão conseguir montar vocês podem mudar e eh aqui a gente tá usando a Open Eye vamos usar um um ah primeiro eu vou ter que explicar para vocês aqui o

os quadradinhos do lado esquerdo aqui né Vocês viram que eu usei aqui o input Eu usei o chat input aqui para criar eh a quando eu rodo o playground criar esse quadradinho aqui porque é a entrada vocês viram que tem o output aqui que é justamente quando a gente conversa é esse lado de cima aqui que é o output que é ele falando aqui né Eh vocês não viram porque eu importei direto mas está aqui os modelos que estão disponíveis aqui ele puxou direto o open A então se eu puxar o open Ah é só

puxar aqui tá gente clicar segurar e soltar aqui então você vem aqui clica puxa e solta aqui você tem o modelo aqui clica aqui perto do nome do modelo você pode apagar o modelo aqui então o chat Open Vocês já viram que eu tinha importado mas mas ele veio daqui ó ele vem aqui o nome do modelo que você quer usar né então você tem as opções aqui e o GPT 4 O que é o mais recente ou você pode usar um modelo mais barato o gpt3 turbo né acho que tá de graça aqui se

não me engano eh aqui a chave que eu já expliquei como funciona aqui a temperatura para quem não sabe a temperatura varia entre zer e 1 né Eh e mostra o quanto o bote vai ser mais imaginativo de mais criativo né E quanto maior mais criativo ele é aqui né e o input aqui que você pode pôr direto aqui mas no caso aqui se vocês lembrarem o input a gente tá puxando aqui do do do do da conversa aqui ou seja do input do chat mas o prompt que a gente criou a gente tá jogando

no input do do do do do do do do Open Eye aqui a gente pode usar um outro modelo aqui vamos usar aqui só para vocês verem alguma diferença o grock é gratuito O grock Vamos então vamos lá no grock o grock não é aquele gratuito galera que ele tem um teste gratuito tu pode usar um certo limite gratuitamente Ele é bem rápido e é bem bom então dá para fazer alguns testes com ele Caso vocês queiram testar exat para pegar api dele é bem fácil também é bem bem tranquilo não precisa de cadastro nenhum

muito específico é o é o grock é o gro.com tá aqui né o o o grock só mostra para eles Alexandre a velocidade dele de resposta pede para criar qualquer texto gigante de sei lá de uns quatro cinco parágrafos coisa é bom eh fale sobre a Revolução Francesa vamos aqui olha como ele é rápido para responder o grock ele na verdade ele usa uma máquina de de de processamento então ele é ele chega a ser dezenas de vezes mais rápido que o GPT né aqui ó você escolhe o modelo aqui vamos usar esse Lhama eh

8b mesmo ó ó a velocidade ele já criou tudo aqui ó no chat GPT se vocês lembram ele vai criando vai você Você vai acompanhando esse aqui ele já criou de uma vez ele praticamente cuspiu a resposta aqui que o chat GPT aqui muito mais rápido que o que o que o que o que o aqui tem o número de tokens gerados por segundo aqui ó ele tá gerando 10000 tokens por segundo ou seja ele Esse ess aqui foi uma praticamente jogou na tela pra gente aqui né agora se eu ver na minha conta aqui

cadê a minha conta aqui hã cadê cadê o plataforma aqui para criar o o a minha chave deixa eu ver se tá aqui no System prompt não onde é que cria a chave aqui criei em roock Cloud ali embaixo é galera ess vai APS aí você pode criar apertei eu eu eu apertei tão rápido ó developer playground a a detalhe que geralmente quando eles clica em Create api por favor Oi clica em API ali para criar api por favor no botão preto Ah não então eu vou criar agora a chave aqui da api aqui ele

só mostra uma vez a api depois nunca mais é eu vou criar aqui quando mandar tem ficar ligado e anotar esse número quanto antes porque nunca mais consegue pegar a API de novo ó essa ap eu já tinha criado eu anotei deixei registrada em outro lugar aqui mas eu posso criar uma ap nova aqui ó da aula por exemplo né ele vai criar pii ó criou aquele número gigantesco eu copiei né copiei aquele número Aquele número tá aqui mas ele nunca eu não consigo mais recuperar ele ele tá aqui só na memória aqui então eu

venho aqui cadê Aqui a p ó eu vou colar Aquele número que eu que eu criei aqui né aquele número gigantesco tá aqui Eh vamos apagar esse eu vou eu vou usar Então em vez de usar as apis da Open aqui Ah isso aqui é interessante como é que eu apago essa linha aqui como é que eu apago essa linha vocês vem aqui no finalzinho aqui ó você aparece essas quatro setinhas aqui ó Ó aqui tá tá em cima da bolinha ele dá ele fala o que que pode entrar aqui mas aqui do lado fica

essas quatro setinhas se eu ccar em cima ele desaparece ó então na bolinha Ele explica o que que pode entrar e se eu pôr um pouquinho mais pro lado ele vira essas quatro setinhas aqui se eu clicar ele desaparece aqui então agora o chat GPT aqui não tá mais sendo usado eu posso até Apagar ele aqui ó delete ele não tá mais sendo usado porque ele não tá no processamento aqui então repetindo a gente tem uma entrada a gente adicionou essa entrada um prompt e a gente adicionou ao prompt uma memória que vai guardar tudo

que a gente falou até aquele momento ali então essa memória vai guardando ali o o que a gente tem aqui ó você pode pôr o número de mensagens que ele vai guardando ele tá guardando as cinco últimas mensagens aqui depois a gente vocês pode brincar com cada caixinha tem as configurações obviamente aqui né mas é importante saber mais ou menos o que faz cada caixinha a gente vai passar rapidinho ali para lembrar isso daqui mas o importante é como é que eu monto um fluxo aqui então entrada processamento aqui eu vou criar um prompt aqui

com com com o que eu escrevi na entrada mais alguma coisa que no caso aqui é a memória do que a gente já falou essa saída aqui eu vou jogar no input do grock aqui do novo modelo então a gente pegou o modelo agora não é da Open agora a gente pegou o modelo grock aqui que é outro que na verdade ele usa ele usa essas llms aqui ele usa gema lhama lhama 3 M ele usa outro outros modelos eh de processamento de de de de de de de de de que a gente fala de

processamento de palavras né Eh outros modelos que não o chat APT ele não tem o chat APT aqui gente não tem o o open aqui tá eh são modelos aberto lhama lhama o Lhama acho que é do do Facebook Se não me engano são modelos abertos aqui né o gema o mist são modelos abertos que ele usa aqui então voltando aqui tá bom eu joguei aqui e aí o que que eu faço com isso aqui eu tenho que jogar aqui aonde na mensagem que é a saída se eu rodar isso aqui ainda tá faltando alguma

coisa aqui ó eu tenho que escolher o modelo aqui ó eu vou pô o Lhama esse primeiro Lhama aqui então a gente montou um equivalente àquele que a gente tinha rodada anteriormente só que agora em vez do chat GPT né em vez do do Open ey do llm do open a a gente tá usando o modelo do grock esse daqui Teoricamente deveria funcionar igualzinho então eu vou zerar esse aqui vou começar um oi ele tá processando aqui opa ele pediu para pediu ele ele processou tá esse aqui quer dizer que ele processou mas eu vou

fazer uma pergunta aqui porque ele tá acho que ele tá entendendo inglês aqui eh falou parece que você acidentalmente mandou oi é uma pergunta para mim ô Manda uma pergunta como que era mesmo ah Abraham lincol Abraham lincol se vocês quiserem outro personagem aí was born eu gosto dele porque é pra gente ter uma coerência aqui Opa desculpa aqui playground Ele respondeu aqui e se eu perguntar da esposa da esposa dele ele vai usar aquela memória lá aquela memória ele tá na verdade ele tá usando as cinco últimas frases ou seja essa essa essa essa

mais uma que se tivesse aqui e juntando com essa pergunta que eu tô fazendo para criar uma a a pergunta que vai ser processada né depois a gente pode até explicar como é que funciona lá o processamento mas ele vai criar a pergunta com base aqui então se a gente não põe a memória tudo a vez que você põe aqui é uma pergunta nova É como se ele tivesse acordado agora então você pergunta Quem é a sua espos quem é a esposa dele ele não sabe quem é a esposa dele como a gente colocou aquele

negócio de memória née tá usando tudo aqui ele vai pegar aqui quem é a esposa dele Daí el vai ler aqui ele tá falando do abram lincol aqui então vai responder lá que a merit Tod Lincoln né aqui ó Mary Todd lincol respondeu direitinho aqui ele tá usando aqui ele tá usando agora o grock para responder aqui então é um pouquinho um pouquinho diferente aqui então vocês viram para construir uma aplicação eu tenho que criar uma entrada Opa desculpa aqui mais um pouquinho mais para cá criar uma entrada jogar is aí no no Prom eu

poderia jogar essa entrada direta aqui poderia ele vai ser vamos fazer até essa experiência aqui eu vou tirar Esso aqui vou tirar isso aqui vou deixar Esso aqui do lado aqui vamos apagar isso aqui vamos apagar isso aqui também O importante gente é vocês brincarem bastante para vocês irem aprendendo eu poderia jogar essa entrada direto no input daqui ó ele aceitou se ele não aceitasse ele não ia deixar eu fazer essa essa conexão então vocês podem ficar brincando aqui pô Será que eu posso pôr aqui será que eu posso ele tá aceitando aqui mas por

motivo porque aqui ele tá esperando um texto aqui por is se você colocar aqui e colocar aqui ele tá esperando que você deu nome do modelo então você teria que colocar no texto aqui o Lhama 3 trç 8b tro 81 92 mas ele aceita um texto aqui na entrada aqui ó esse azulzinho aqui ó cada um desses daqui significa uma cor azulzinho normalmente são textos que são colocados aqui então o que que eu criei aqui eu tô de colocando o o o o o o input direto no no input do grock ali não tô pondo

não tô acrescentando o prompt não tô aperfeiçoando o prompt Isso aqui vai rodar deveria rodar vamos zerar aqui então agora não tem mais aquele pronto explicando Ó você vai falar igual um pirata esse daqui é o contexto esse aqui é o ele tá indo direto aqui né então se eu falar um Hello aqui Hello how are you eu eu joguei direto sem prompt nenhum não tem nenhum intermediário e ele respondeu ó joguei direto no processamento Ele respondeu e tá funcionando então o prompt ali do intermediário que eu coloquei serve para você melhorar isso aqui porque

você dá um contexto para ele Ó o usuário você pode criar aqueles contextos que você ó você é um analista jurídico b b Bá B Bá B Bá porque daí quando o robô responder ele vai responder mais como um analista jurídico aqui no caso eu tô jogando direto o o o de maneira crua a a entrada no processamento lá então ele não tem contexto ele não tem nada ele vai responder diretamente a sua pergunta aqui então funciona também colocar de direto aqui né esse daqui digamos é é é o básico de de de montar um

um chat no no no no lang Flow mas aí eu queria mostrar para vocês Deixa eu só ver aqui um negócio aqui deixa eu ver se Ah aqui vamos ver se beleza isso mesmo que eu queria mostrar para vocês Vocês estão vendo minha tela Sim senhor sim beleza a gente vai mostrar uma coisa um pouco mais complicada deixa eu passar pra transparência seguinte só para mostrar uma coisa para vocês aqui agora v o famoso rag que todo mundo fala agora momento presta atenção Peg seus cadernos Sim vamos falar as crianças da sala desculpa vamos falar

do famoso do fam R né como é que funcion as linguagens processamento aí normalmente elas TM um um um tamanho aqui que são os parâmetros em que elas foram treinadas então quanto mais parâmetros mais poderosa é a linguagem então por exemplo se eu pegar aqui o vamos lá aqui no no grock aqui vocês viram que no grock Opa aqui você tem aqui o modelo Lhama 70b e o Lhama 38b esse 70b são 70 bilhões de parâmetros esse lhama 8b são 8 bilhões de parâmetro Ah o que que é esses parâmetros aqui é o é o

tamanho do modelo são são variáveis que tem lá que o modelo é treinado usando aquelas variáveis lá quanto mais variáveis Teoricamente é lógico se você fizer um modelo ruim não vai adiantar muito mas assim em modelos bem definidos bem estruturados quanto mais variáveis que você tem mais poderoso o modelo ou seja o 70b é muito mais poderoso que o 8b tá o 70b deve ser mais poderoso que o 7B aqui e o aqui é 7B também então esse 70b é mais poderoso que esses três modelos aqui o 8b é para 7 8it para se é

pouca diferença vai não vai dar muita diferença ali Teoricamente Ele deveria ser mais poderoso mas não sei depende do treino Depende de como foi feit as parametrizações mas obviamente de um 70 para 8 A diferença é muito grande Então esse bem melhor aqui dito isso mas E por que que o mix TRW ali tem oito vezes o outro negócio ali 8 x 7 Boa pergunta será que é 8 x 7 Eu fiquei em dúvidas aqui não sabe posso fechar pode pode falar pode falar não achei TI tem uma tecnologia nova que é o seguinte Olha

que viagem maneira esse negócio Ah por exemplo tu Vou treinar um modelo só de 70 bilhões de parâmetros 70b né 70 bilhões de parâmetros sempre quando tu manda uma mensagem para ele ele vai usar os 70 bilhões de parâmetros para para responder algo ex só que descobriram que não é bem assim ele acaba gastando energia de 70 bilhões mas ele não usa tudo isso sempre ele usa às vezes então fica um monte de processamento sendo gasto em vão ali e aí qual foi a conclusão dos caras criaram um negócio chamado mixture of experts Moe que

é mistura de experts né misturar experts o GPT 4 já é assim então basicamente de uma forma bem grotesca assim reduzindo um pouquinho o mix tral 8 x 7 ele tem oito experts de 7 bilhões de parâmetros Ah tá aí parte desses 7 bilhões de parâmetros se não vou dizer exatamente quanto mas por exemplo uns dois três desses bilhões são iguais em todos eles eles compartilham o mesmo endimento que é o básico para el entender como funciona e os outros bilhões de parâmetros individualmente deles é específico um é para matemática outro é para geografia outro

para lógica outro é para coisa E aí quando tu faz uma pergunta nele ele joga pros experts que ele que ele acha necessário para responder a questão Ah muito bom então fica mais rápido de usar eh fica muito mais eficiente de Tecnologia de de energia né processamento de energia mais rápido de usar e ele fica tão inteligente quanto os outros inclusive ele meio que tem ele meio que choca os dois resultados ele faz uma verificação Descobriram que o GPT 4 quando foi lançado quando ele foi muito doido né quando ele saiu o ano passado a

galera ficou meu Deus que incrível Como faz aí Depois descobriram isso que ele fazia isso ah e aí depois que fazou essa informação Todo mundo começou a tentar também E aí logo surgiu o o tem o Mistral Mistral com s que é o modelo individual E aí tem o mixw Daí eles fizeram Mix mesmo que aí são sete oito mistrals juntos de 7 bilhões e descobriram que ele por exemplo ele ele tem 7 bilhões de parâmetros mas ele luta ele compete com o Lhama de 70 bilhões ele é muito superior muito bom muito bom então

em vez de pegar 70 que tá processando tudo ele quebrou e em experto por isso que esse aqui ó mixture of Expert models ele quebrou em pedaços e aí um um tá mais foi treinado em matemática um foi treinado em outra coisa e e tem uma entrada que distribui isso daí se se a pergunta é mais de Matemática ele joga aí ele otimiza não precisa usar os 70 bilhões de parâmetros Ele usou só os 7 bilhões de Maros na matemática mais o de entrada ali muito bom M legal né legal muito legal muito muito obrigado

Luna e aproveitando ó vocês estão vendo aqui ó aqui embaixo que tá escrito que você tem 32.000 tokens de contexto o que que é isso daí que era a próxima coisa que eu ia falar aqui você tem aqui o tamanho do modelo então quanto maior o modelo mais mais poderoso é E agora tem Essas tecnologias que o Leonan explicou aí novas que você pode pegar um modelo que é grande mas ele tá eh otimizado ou seja tem vários modelos menores aqui aqui o modelo distribuindo o trabalho né então seria uma várias bolinhas aqui uma bolinha

Central distribuindo E você tem o que a gente chama de janela de contexto o que que é janela de contexto é quanto você consegue jogar de informação eh para esse modelo processar naquela chamada Quando você joga um um prompt um prompt cru ele vai entrar aqui 32.000 é vamos pôr assim 32.000 tokens é apro um um tokem não é exatamente uma palavra mas e vamos supor que é aproximadamente 32.000 palavras que você consegue colocar aqui tá eh varia um pouquinho lá oos tamanho dos toque às vezes dá dá dá mais que uma palavra dá menos

que uma palavra mas vamos supor que seja aproximadamente 32.000 palavras você consegue pôr 32.000 palavras aqui no no no no no contexto aqui e fazer uma pergunta para esse daqui processar quando você faz uma pergunta oi você tá usando um token ali então não tem aqui mas a medida que a memória por exemplo você tá usando memória a medida que a memória vai crescendo vai chegar uma hora que isso aqui pode estourar vai chegar uma hora que você gastou mais do que 30 2.000 tokens eh na entrada ali não sei se vocês capturaram essa ideia

aí vamos supor que eu tenho um documento que tenha 100.000 palavras e eu quero que ele responda livro P um livro inteiro e quero saber se pego um livro do Harry Porter inteiro vou jogar aqui naquele lá se ele tiver mais do que 32.000 palavras ele não vai caber aqui então o modelo não vai conseguir responder o livro inteiro aqui porque você jogou aqui o tem 100.000 palavras ele pegou 1 terço do livro O resto ele não conseguiu não vai conseguir processar porque tá fora da janela de contexto dele aqui aí o que que a

gente faz para poder poder processar isso daí a gente pega um um texto gigantesco a gente quebra ele em partes eu vou mostrar para você aqui na figura anterior como a gente faz isso daqui a gente pega um um um texto gigantesco que poderia por exemplo ser o livro do Harry Potter a gente quebra ele em pedaços a gente quebra esse livro em pedaços então tem o primeiro pedaço segundo pedaço e a terceira parte do livro vamos supor primeira parte segunda parte terceira parte do livro só que eh os modelos eh eh os modelos de

de de de llm eh eles trabalham eh isso aí agora eu vou entrar na na parte técnica de como é que eles funcionam eles não trabalham com palavras eles trabalham com números tá e quando você põe uma palavra lá na verdade ele transforma essa palavra num número que a gente fala num vetor e vai trabalhar com esses vetores ou seja aqui eu tô quebrando em pedacinhos a gente tem um o famoso Splitter do texto aqui então o livro do Harry Porter eu quebrei em três pedaços aqui eu preciso transformar cada um desses pedaços aqui no

que a gente chama de um vetor um vetor é uma coisa eu eu criei três vetores imaginários aqui o primeiro vetor é 1.2 espaço 2.4 espaço 4,5 é como se fosse uma matriz inha se vocês lembram lá do ginásio lá é como se fosse uma matriz aqui esse vetor aqui tá indicando isso daqui esse segundo vetor aqui tá indicando isso daqui esse terceiro vetor aqui tá indicando isso daqui ou seja eu transformei isso daqui em números mas como é que Eu transformo Alexandre como é que eu pegar o texto do do Harry Porter lá como

é que eu vou transformar em número como é que eu faço isso tem uma tecnologia que que que a gente chama de embedding o que que é isso você tem que escolher como é que você vai transformar esse texto em número então por exemplo eu pus os três quadradinhos aqui porque você pode escolher assim vamos supor que você quisesse organizar objetos você pode eh você pode organizar o objeto Ah eu vou tudo tudo que é quadrado Eu vou pô de um lado tudo que é cubo vou pôr de um lado tudo que é esfera eu

vou pôr de um outro tudo que for pirâmide eu vou pôr do outro ou você pode organizar por cor tudo que é verde eu ponho num lugar tudo que é amarelo eu ponho no lugar tudo que é cinza eu põe em outro lugar você escolhe a maneira como você quer organizar as coisas então Eh cada eh você tem várias maneiras de transformar um texto num vetor e a gente vai ver como é que ISO aí funciona lá no no no no no no no no L Flow você escolhe como a maneira que você quer organizar

por exemplo Ah eu vou organizar Aqui desse jeito aqui né o vamos chamar vamos supor que o embeddings aqui se chama Cub eu vou organizar por cubo aqui então ele vai pegar esse texto do Harry Poter ele organização é por cubo ele vai transformar num vetorzinho aqui esse vetorzinho ele tem que ser guardado num banco de dados aí todo mundo sabe o que que é um banco de dados daí vai ser estocado num banco de dados então a peguei o texto quebrei partes transformei em vetores joguei aí num banco de dados o banco de dados

só tá armazenando todos esses números que eu coloquei aqui então ele ficou no banco de dados agora eu vou fazer uma pergunta pro pro chat GPT por exemplo o que que ele vai pegar ele vai pegar essa pergunta que eu fiz isso aqui agora eu tô falando como é que funciona por trás do chat GTT tá Gente esse search que eu tô fazendo aqui ele vai transformar em vetorzinho igualzinho isso vocês não V porque isso aí é tudo automático lado você parece que tá Tá agora como você for Globo não mostra mostra é essa Globo

não mostra is aí é o que tá acontecendo por trás ele tá pegando isso que você escreveu ali né quando é que nasceu abram lincol tá transformando em vetores né No eding que ele tem lá que deve ser o bed que ele e e e como é que funciona esse banco de dados de vetores que nem eu falei aqui ele fez uma aproximação aqui então por exemplo ele juntou tudo que é quadradinho tudo que é quadrado tudo que é amarelo então tudo que é que é relativo a lincol tá mais ou menos no mesmo espaço

eh lá dentro do banco de dados de vetores eles estão próximos um do outro ali tudo que é relativo a linco que a esposa dele onde ele nasceu tão mais ou menos no mesmo espaço aqui no no no no no banco de vetores aqui ou seja ele vai tentar trazer esse pedacinho da informação ele não vai buscar a informação toda aqui se eu tô falando de um pedaço aqui ele só vai trazer aquele pedacinho da informação então ele transforma isso aqui em números Joga lá dentro e ele gera uma saída que essa saída é a

mesma coisa ele pegou eh que nem eu falei ele pegou os os numerozinho que estão esses numerozinho aqui vamos supor que ele pegou essa primeira esse primeiro vetorzinho aqui ele pegou esse primeiro vetorzinho aqui que tava aqui falei ó vou pegar esse pedaço aqui o que esse pedaço corresponde ao quê corresponde a esse texto aqui ó corresponde a esse texto aqui e vai jogar como se na janela de contexto ou seja ele vai jogar aqui nessa janela aquele pequeno pedaço aqui ou seja esse esse pedaço que ele achou aqui que é esse pedaço aqui mais

a sua pergunta ou seja eu vou jogar para ele processar a sua pergunta e um pedaço do do do do do vamos supor que é o livro do Harry Potter e você tá perguntando lá de um trecho que tá no começo do livro do do Harry Potter como aqui não cabia o livro inteiro agora eu só tô mandando a pergunta e o pedaço do livro do Harry Potter que que que que tá mais parecido com aquela pergunta então você tá perguntando lá sei lá da o harp já era criança mas no tempo que ele morava

com a tia dele que tá aqui no primeiro capítulo do livro então ele o Harry Porter morava onde na casa da tia dele ele vai trazer essa essa pergunta e vai trazer todo esse trecho do livro aqui pro llm processar aqui então a tudo cube aqui Vocês entenderam a diferença eu não precisei mandar isso aqui porque não cabia eu mandei isso daqu esse pedacinho aqui mas a pergunta pro contexto aqui e agora ele tem condições de responder porque aqui tá a resposta né então onde que o Harry repter morava quando ele era pequenininho tá aqui

no primeiro capítulo que é esse pedaço aqui que tá aqui esse pedaço eu joguei aqui no contexto isso daqui ele é capaz e processar ele não se eu se eu se se a pergunta tivesse lá no último trechinho do texto e eu tivesse tentado colocar esse grandão aqui ele só ia pegar esse pedaço pequeno aqui e aqui ia tá fora do contexto aqui ele ia não conseguir responder então o hag Né que é o retrial ment Generation Exatamente isso ele pega um texto gigante quebra em pedacinhos transforma em números joga num num num num banco

de dado de vetores aí quando você faz uma pergunta ele faz o caminho inverso ele pega transforma essa pergunta em número vê aqui Vê Que trecho do do do do livro e e e do livro do documento que vocês colocaram é mais parecido com a pergunta que você fez e joga pro processamento do llm aqui e aí a resposta vai ser base com base Nisse daí que resp que que que ele tá colocando esse conceito é um Pouquinho complicado porque esse aqui tá falando do do que tá por trás do do do rag o que

tá por trás do como é que funciona o GPT tem dúvida aqui porque agora a gente eu vou passar lá como é que é feito o rag lá no no no long Flow ali rapidinho só para vocês terem uma ideia eu não vou mas eu acho galera para tranquilizar vocês se vocês não entenderem totalmente como funciona esse processo tá tudo bem tá é de novo de novo de novoo meio tenso às vezes para entender tudo uma vez só mas basicamente ele pega o texto ele zipa ele separa em várias gavetinhas diferentes e quando precisa consultar

ele vai lá Acha aquele trechinho na informação e busca só aquilo para facilitar também o processamento dos dados o valor e tudo mais para entregar essa parte técnica toda aí é importante saber mas é bom também vocês terem acesso a isso várias vezes então agora Talvez seja a primeira vez de alguns vendo esse material depois vai ver de novo de novo hora entende tá essa parina PR entender atualmente assim entender mais ou menos como funciona já já é o suficiente para poder fazer funcionar é por que que eu falei isso aqui porque agora eu vou

mostrar alguns componentes aqui ó eu venho aqui ó Cadê o ó vetor Store hug né abrir esse daqui aqui gente os outros aqui ó a gente falou do input output e dos modelos que tem disponíveis tá vendo esse vetores Store vetor search embeddings lembra que eu falei para você armazenar os vetores para você fazer achar os embeds tá tudo aqui nesse nesse documento aqui no no nesse projeto aqui aqui você tem um esse Astra DB aqui é um é inclusive é do do do do mesmo dono do do do do L Flow né Eh esse

daqui é justamente o banco de dado de vetores que eu mostrei aqui ó Cadê é Opa é justamente esse banco de dado de vetores aqui então esse daqui é o banco de dado de vetores o embed é aqui ó que tá colocando aqui é a maneira como eu vou transformar o texto em vetores tá então tá aqui o open ele tá usando os embeds do Open Ai aqui então o tá usando o open ey Ah para eh lembra que eu falei aqui que você tem que escolher como é que você vai transformar esse texto em

vetores aqui ele tá usando os embeds do openi para transformar o texto em em números né em vetores que vai ser jogado nesse banco de dado aqui aqui é o input que é a pergunta que eu vou fazer ou seja essa pergunta que eu vou fazer ele vai jogar aqui por que que ele tá jogando essa pergunta aqui porque lembra que eu falei para vocês que ele vai transformar isso daí ele vai fazer o caminho reverso Ou seja a pergunta que eu fiz que é um texto ele também vai transformar o número para procurar lá

dentro ele tá fazendo Exatamente isso daqui ele tá ele vai ter que entrar além da pergunta tá entrando aqui na na na na lá na frente por isso que ela tá em Dois caminhos aqui ó depois a gente vai ver onde é que tá esse caminho aqui Deixa eu tirar esse aqui da frente além dela tá entrando além da pergunta tá entrando lá no pronto que a gente já tá acostumado ela também tá entrando aqui porque como eu falei lá na lá no no no no no no no no llm vai entrar a pergunta e

aquele trechinho do documento que a gente tem que extrair e para extrair o trechinho do documento é aqui tá quando você colocou o documento ele ficou aqui dentro né e daqui de dentro ele extrai esse aqui ó extrai o documento que é isso que eu mostrei para vocês aqui daqui de dentro desse vetor ele extrai só esse pedaço aqui né Aqui tá tudo armazenado porque ele transforma tudo em número e tá um monte de número aqui quando eu faço a perguntinha e falou essa perguntinha tem mais a ver com esse documento Zinho aqui então esse

documento Zinho é esse strack de chunks aqui né ele sai aqui ele é jogado aqui lembra que eu falei para vocês que daí vai pro processamento do llm vai a pergunta que tá aqui e o e o documento Zinho o pequenininho né porque a gente só vai extrair um pedaço porque não cabe tudo lá é esse contexto aqui e aí ele vai processar e vai ter a Saí daqui então esse daqui é a aplicação digamos mais eh uma das mais complexas que você pode fazer aqui você pegar eh eh eh um documento onde que vai

est documento vai tá aqui no Database né os documentos aqui Collection né eu eu não usei muito esse Astra DB aqui eu usei mais o dos vetores Aqui eu conheço mais o chroma aqui que é que guarda em memória aqui mas basicamente é os documentos que você vai usar né Eh que vai ser quebrada em partes de acordo com essa regra de embeddings que tem aqui que é aquela como é que eu vou juntar como é que vou transformar a palavra em texto mais a entrada aqui que vai ser processada aqui aqui o o pedacinho

do documento que que saiu aqui você junta o pedacinho do documento com a a a pergunta aqui o llm vai pegar esses dois Porque lembra o llm ele vai pegar na janela aqui ó ele vai pegar aqui e vai ter a pergunta e o pedacinho de documento que que parece que que que tá relacionado à aquela pergunta Pode falhar Pode falhar mas ele tá procurando o pedacinho de documento que mais Tá parecido em termos de numéricos quando ele faz a busca é uma busca de vetores em termos é o mais parecido com aqu com aquil

que ele tava falando aqui então a pergunta o pedacinho de documento que parece que tá ligado àquela pergunta pro llm processar e dar resposta para vocês aqui no finalzinho aqui então essa aplicação é a aplicação mais complexa que vocês podem criar aqui por enquanto aqui no no no nos exemplos do teve Pergunta aí PL levanta a mão Po falar PL pode perguntar a minha dúvida é o seguinte existe erros na transformação do vetor em palavras de volta que por exemplo assim e eh eh eh tudo bem você mostrou aquelas coordenadas lá como se fosse uma

uma matriz né aquele número tá para achar o parecido é mais fácil o número é bem mais fácil de achar aham Mas para fazer de volta o ou seja resgatar o texto original ele ele ele traz o original ou ele traz algo modificado tipo simplificado ele vai buscar Exatamente esse trecho aqui mas como é que ele faz isso né Você viu eu peguei esses transformei esses aí agora a gente tá entrando como é que funciona o realmente profundidade aqui Eu transformo ISO aqui em textos desculpa is Aqui já são textos Eu transformo em matrizes como

você viu aqui quando eu entro aqui não vai dar Exatamente isso aqui não vai dar esse examente is aqui vai dar um negócio eh muito próximo dis aqui o que que é muito próximo né Tem duas maneiras de ser ou tem até mais maneiras de você calcular o que que é proximidade você tem aproximação agora vou começar a falaris tem aproximação euclidiana que Como assim imagina ele no espaço ali né como se fse um vetor apont no espaço ali né e tem um ponto no espaço euclidean é a distância desse vetor aqui para esse vetor

aqui é como se fosse dois pontos no espaço Qual é a distância entre esses dois pontos aqui vamos supor que você plotou num gráfico e a distância dele tá em milímetros a distância esses dois pontos aqui é 2 MM aí para esse daqui é 4 mm para esse ponto aqui é 6 mm Então esse daqui é mais perto ele vai trazer esse daqui para você né ou você também tem o que a gente fala de de aí é o vetor tem o seno entre os vetores né então você faz uma busca por cosseno que é

uma busca mais eles dizem que é você faz o você pega o que tem o menor cosseno o cosseno digamos os vetores estão mais próximos ali você faz uma busca por cossenos ali em vez de você usar o o o ponto espacial euclidiana a distância euclidiana você usa cosseno Ou seja é isso que você falou Plinio aqui não vai voltar Exatamente esse número ele vai voltar 1.1 eh 2.3 eh 5.0 aí ele vai comparar esse daqui tá mais parecido com esse daqui ele vai trazer esse daqui e vai transformar obviamente vai transformar esse daqui de

volta Nesse Daqui Então não é exatamente o o trecho Oi pode falar é que eu não tô vendo vocês tem sua explicação Tô adorando a aula Obrigado antes mais nada mas assim minha pergunta é mais simples Tudo bem você tá falando de coordenadas polares por isso que você tá usando cosseno e tudo mais né isso mas mas o o o a minha pergunta é tipo assim eh é uma coisa que eu nunca tinha entendido direito como que esse negócio funcionava E hoje você tá me ajudando a pensar bastante porque assim se eu tenho um texto

mando ele processar se eu pedir para ele reconstruir o texto Inicial ele não consegue porque ele ele na verdade é um processo de simplificação matemática mas aí você tá fal você tá falando dessa Opa desculpa você tá falando dessa parte aqui aqui tudo que a gente tá fazendo é para jogar as coisas tudo isso que eu tô fazendo aqui é para jogar trabalhar dentro da janela de contexto não é isso isso é um pré-processamento Então até aqui ó em nenhum desses momentos aqui eu usei o llm isso daqui é tudo uma tecnologia para você cortar

isso daqui em pedaços transformar isso em vetores gravar isso aqui no banco de dados e poder eh recuperar esses textos aqui então você vai recuperar exatamente os texos que você colocou aqui entendeu até aqui não teve eu eu nunca entrei no llm todo esse processo aqui eu nunca entrei no llm Aqui ó pode ver aqui ó o Splitter eh eu quebrei o t o embed é como é que Eu transformo o história como é que eu gravo no vetor depois eu tenho aqui como é que eu pego de voltas aqui então esse daqui ele não

entrou ainda no lle então Portanto ele não vai sofrer modificação nenhuma você vai ter exatamente o livro de Harry Potter cortado em pedaços aqui porque ainda não joguei no llm aqui quando eu jogo isso na janela de contexto que é aqui e peço para ele processar aí sim aí ele pode mudar ligeiramente o o texto o que você falou se você pedir para ele eh falar exatamente como é que tá no livro Pode ser que temha alguma modificação Zinha porque ele tá mudando as coisas aqui ô Alexandre posso colaborar um pouquinho Ô eu acho que

a sua colocação é muito boa eu acho que tu entendeu uma uma um problema fundamental dos hags tem vários problemas o ha fize ele não é perfeito ele foi feito uma forma tem várias gente discutindo sobre isso né sobre como usar hag inclusive esse método que de hag que o alexand mostrou é o mais comum mas existem outros que estão tentando ser feitos que usam mais formas porque Justamente na hora de eu querer copiar para eu quero que ele fale exatamente um trecho do livro como ele tá separando tudo depende aí se o trecho tá

na outra parte ele se pedde ou por exemplo se eu pedir para ele eu quero que você faça um resumo toda a jornada do do Harry Potter usando o hag Talvez ele não consiga tão bem porque ele vai pegar só alguns trechos do livro ele não vai ter capacidade de pegar o livro inteiro e botar porque justamente tem janela de contexto ó Então ele pode se confundir ainda pegar partes repetidas Então hag não é perfeito de forma alguma assim ele é a melhor forma que a descobriu até o momento ele é muito bom para várias

coisas mas ele tem uma série de falhas que tem muita gente discutindo a respeito então deixa deixa eu aproveitar isso aí que você falou também porque o seguinte por exemplo uma das dificuldades que eu tô tendo com a questão de fazer resumos é que ele não entende o texto ele traz a ele não tá fazendo direito resumos por exemplo o o rag ele é uma metodologia de simplificação para eu não gastar muito processamento para eu ser mais rápido para chegar na resposta melhor né a gente tem que sempre lembrar uma gamb traduzindo assime o português

bem técnico é gambiarra o haag é uma gambiarra Gostei da definição gostei Obrigado pessoal eu continuo Alexandre Tô adorando a aula manda bala não Não exatamente se você conseguir colocar tudo aqui é muito melhor mas o que a gente tá fazendo é que não cabe tudo a gente é o que o o que o Leon falou é é uma uma gambiarra a gente corta is aqui em pedacinhos né para ele poder processar Na verdade o que a gente fez é pegar esse grandão cortar em pedacinhos para poder caber aqui dentro é isso que a gente

fez até agora eu achei eu achei que você foi bem inteligente tentar entender exatamente como funciona porque tem os limites então por exemplo quando é hag ele realmente não é feito para fazer o resumo de tudo ele é feito para extrair algumas informações então por exemplo quando tu for organizar o material às vezes vale a pena fazerem estilo pergunta resposta por exemplo aquela os faes aí tu pode usar as próprias eas né o de IPT ou de minai para criar as facs para você você avalia e põe em rag aí fica muito mais fácil para

ele entender porque você faz uma pergunta ele vai procurar uma pergunta similar né então ah quantos que tá o frete Sei lá aíe tá lá o fret vai ser tantos ele vai pegar aquela fazer aquela consulta e vai ser fácil achar a resposta porque tá logo ali pertinho então ele vai catar aqueles dois momentos e vai poder entregar muito mais fácil e rapidamente do que se tu pedir um resumo de várias coisas por isso que é muito bom entender para Onde usar o r como usá então deixa ver se eu entendi eu primeiro faço mando

o chat fazer um para mim a partir desse eu jogo para PR pro para ir sim fazer o resumo é isso pode ser uma alternativa entende tô pensando é uma alternativa mas para resumo de assim só voltando o hag não é feito para fazer resumo de grande texos não é feito então assim tem o dim por exemplo que tem agora 2 milhões de parâmetros de tokens gela de contexto pera errei do tem uma janela de contexto de 2 milhões de to aí sim ele é um pouco mais capaz de fazer resumos de coisas grandes porém

mesmo assim há estudos falando que quando a ganal de contexto é muito grande mais de milhão de parmetros El comea a confundir às vezes também Então depende o que for ele não vai conseguir acharo entender exatamenteo que você falando quando você fala assim ah eu peguei dividi o tex joguei aqui quando você pergunta Faz um resumo ele vai pegar ess Faz um resumo o que que tá mais perto de faz Umo nesses texos um pedaço por né então não foi feito para para fazer o resumo de tudo isso aqui você teria que pegar quebrar isso

aqui pedaço e depois aí você tá mudando a forma do R aí já aí vai ser o o rag plin você vai ter que pegar esse pedaço para poder resumir mais esse pedaço para poder resumir mais esse pedaço para poder resumir então deixa deixa já colocar aqui um projeto meu pessoal né assim que eu quero que vocês me ajudem eu quero criar e a a usando o l Flow aí uma forma de fazer um resumo né então eu não vou usar hag Eu não vou usar vetores Eu não vou usar embed Mas pode ser que

Mas pode ser que você use o Splitter aqui quebrar em pequenos pedaços para poder eh contexto resumir é para poder caber aqui para você obviamente é o que o o Leonan falou tem janelas de contexto de 1 milhão de tokens quer dizer cabem muitos livros aí né Uhum Então você tem que ver o qual qual qual llm você vai usar né e dependendo do llm você vai ter que quebrar em pedaços os textos para pedir resumos parciais aqui resumo essa primeira parte segunda parte resume a terceira parte não essa tecnologia do rag essa tecnologia do

haag aqui que a gente tá mostrando aqui que é mais complexa ali por ISO eu eu escolhi isso aquii para mostrar porque aqui se você vê no no no no no no L Flow aqui ã ui caramba Pera aí que ele me desconectou por por por é são as ferramentas que estão lá na verdade né o o o o o o eu quis explicar o que que é aquele banco de dado de vetores era aí que eu ele por deu timeout aqui eu quis explicar o que que são esse banco de dados de vetores aí

então vamos aproveitando aqui a sua pergunta Prim vou mostrar as ferramentas que tem aqui também já deu Ah uma coisa que eu vi aí agora no que você fez é assim é melhor eu me conectar como minha conta do Google ou como minha conta do github h acho que eu me conectei com a do Google se eu não me engano Você clicou no github agora Ah é Então então eu ah é porque eu também me conectei com o github por causa da da da da do do do do coiso ali mas é é a minha

minha do Google é do github então é a mesma mas ó eh aí eu já tô desculpa de derr tô pensando na na no no no projeto aí na na na competição né É a gente se conecte via github né então assim no fundo é pra gente poder compartilhar esse projeto no github com eles não é isso isso isso isso isso para você poder compartilhar com eles tá mas aqui aproveitando a sua pergunta plo então eu por que que por que que eu quis mostrar esse exemplo aqui que é que é um dos mais completos

aqui porque tem todos os componentes aqui ó você tem aqui a parte de input output vou ter o te os modelos que a gente já falou um pouquinho que tem a o open Eye aqui que é o mais usado mas tem aí o o o Lhama e outros modelos aqui né E cadê o Cláudio aqui deveria ter o Cláudio aqui é tró Cláudio bom tem ten todos os modelos aqui eh tem os vetores né que é as como é que você armazena e tira as informações no caso aqui ele tá usando esse Astra aqui para

para armazenar e para pegar a resposta aqui eh tem os modelos debes que é o que eu falei como você transforma o texto em vetores você tem que falar para ele aqui como é que você vai transformar o texto do em vetores o tto em vetores aqui para ele poder guardar de uma maneira certa e tem esses helpers aqui Aqui tá um pouquinho diferente do Ah tá tá um pouquinho diferente do py jogado no ADV aqui ah tá aqui no advan Tex splitters aqui Aqui você pode fazer aquilo que a gente falando para eh o

o texto em pedaços vamos vamos puxar isso aqui só pra gente ver uma carinha dele aqui ó aqui ó ele vai pegar um texto qualquer e vai cortar em pedaços de 1000 tokens com overlap de 200 tokens ou seja desses 1000 200 Aqui é do tokem anterior do 200 É do pedaço anterior e 200 É do pedaço da frente ali então ele ele quebra aquele texto o livro do Harry Poter você pode quebrar em pedaços de 1000 palavras por exemplo aqui é É ISO Como que você vai dividir aqui então ele mostra aqui então Eh

o mais importante você tem diversas ferramentas no no meu do Python aparece lá em cima Mas aqui apareceu no no no coiso aqui você tem diversas ferramentas aqui para você usar no projeto são ferramentas mais avançadas algumas vocês até conhecem a partir de Agents né que são os agentes né que você define Eh mais ou menos o o o o qual que é o perfil do agente Ah você é um é um analista jurídico não sei o que não sei o que não sei o que é um agente você pode usar essas ferramentas aqui por

exemplo busca na internet você pode usar busca em diretório você pode usar essa função essa essa ferramenta de função matemática você define eh os agentes aqui você pode fazer eh em eh colocar um um seguido do outro aqui que é que eles cham de Chains aqui que é as conexões entre encadeamento né É encadeamento exatamente táa procurando essa palavra aí a parte de memória a parte de retrievers eh outras ferramentas que aqui começa a entrar mais Python tem algumas coisas mais eh complicadas para para quem n não sabe programar aqui né mas tem ferramentas aqui

e tem ferramentas aqui os helpers aqui ó você combinar textos né Eh você criar ids você isso aquii é Possivelmente vocês vão usar pouco aqui eh a não ser que vocês sejam programadores aqui mas tem aqui outras ferramentas e tem também essa parte muito importante que são como é que você eh adquire os dados isso aqui é bem importante porque você pode trazer os dados porque aqui a gente tá colocando os dados eh tá vindo e do do do do input do chat mas poderia ver de um arquivo aqui por exemplo vamos pegar um arquivo

aqui vamos supor que você tenha todos os as edições da Veja por exemplo ali então tá tudo em texto aqui então é um arquivo gigantesco que você tem de texto e então você não vai copiar copiar e colar aqui no chat PT já tá aqui no arquivo você só vai carregar esse arquivo aí você vai poder fazer tudo aquilo que a gente falou você vai poder jogar Eh esses esses arquivos aqui você vai poder por exemplo né e eu vou eu vou jogar aqui bem mais baixo pra gente não conf com aqui você vai poder

pegar todos esses arquivos aqui e quebrar em pedaços P quebrar esse texto em pedaços aqui né vamos ver se ele aceita aqui ó ele aceita então que tem um arquivo de texto gigantesco com todas as edições da Veja você vai poder quebrar ele em pedaços aqui ou seja esse daqui é um Splitter que vai pegar a cada 1000 1000 palavras ele vai criar um um um daqueles documen Cadê cada 1000 palavras ele vai criar um documen desse aqui né com 200 de overlap ou seja meio que tá eh cruzando com o arquivo anterior ou seja

eles se eu se eu fosse desenhar aqui ele tá ele tá fazendo isso aqui ó deixa deixa eu quebrar isso aqui desorganizar aqui desagrupar ele tá fazendo isso ele Em vez dele quebrar em pedaços exatos ele tá meio que sobrepondo esses dois aqui então esse trechinho aqui é o mesmo desse trechinho aqui em comum aqui então ele tá fazendo um overlap aqui dos dos dos texos aqui e isso daqui depois eu vou ter que usar os in bed a mesma coisa aqui ó só que vou jogar Oi desculpa desculpa tô me ligando aqui ah você

vai jogar no banco de dados mas daí você vai ter que fazer os embeds aqui você tem que transformar esses textinhos aqui até aqui foi texto você tem que transformar esse textinho em número joga no banco de dados aqui que é a mesma coisa que ele fez aqui embaixo Aqui ó ele jogou os embeds aqui e jogou outros textos quebrados aqui então você vai poder fazer isso daqui e guardar esse esse essas informações então aqui você tem os testos splitters que mais você tem aqui ah no no no no data né cadê tava data aqui

data e URL você vai poder buscar uma url aqui então vamos supor aqui que eu quero pegar Sei lá uma url que tem toda as faes de um determinado empresa Ali você vai poder pegar o RL aqui e fazer a mesma coisa que a gente estava fazendo aqui Tá eu quero pegar essa URL vamos supor que na URL vai ter um texto gigantesco com fac aqui eu vou pegar aquela URL aqui e jogar no input aqui né deixa eu apagar essa aqui essa C aqui caramb tô ruim de o suporte 01 levantou a mão não

sei se foi um erro de novo ou ele quer o suporte não quer falar ah po z01 robô fale aí suporte tá a Tá sem microfone Se você conseguir ligar o seu microfone você fala com a gente tá bom tá bom eh o também isso aqui ó o Api request né Você pode buscar numa api alguma coisa né um um serviço lá vamos supor que você tem uma API que vai lá busca sei lá temperatura num determino lugar determin do lugar você pode usar uma p request Ou seja você tem várias oi oi oi a

o o Anderson conseguiu falar finalmente Parabéns Anderson é nós é nós Ô Alexandre eh obrigado obrigado pela aula aí primeiramente parabéns e h uma dúvida Uma nesse instante básica Aqui o banco de dados Tem um limite dando em cima daquele exemplo que você você deu Ah eu tenho lá coleção da Veja aham Deve existir um limite nesse banco de dados é uma questão de ser versão paga e versão free do LF exatamente o banco de dados né Eh eh obviamente quanto maior a quantidade de dados vai exigir uma uma versão paga é o turcão que

tá falando aí pô é o turcão pô é o próprio Ah pô som um colega cara não se preocupe gente tá em casa coleg Fala aí TC não então é é é pago não tem jeito não é pago esses daí os maiores bancos de dados são pagos eh cadê Aqui o Mas ô turcão é assim ó os bancos de dados são pagos Mas eles são feitos para muitos dados muitos dados põ lá tu põe muito giga de texto 1 GB de texto olha quantos que dá de texto é muita coisa e é bem baratinho assim

sinceramente assim é então tem o o pancon por exemplo é um sistema que tem um negócio bem legal na base de dados tem o próprio as DB que eu não conhecia mas é o desse do linkflow e Parece legal para caramba inclusive ele é bem integrado aqui dentro tem algumas possibilidades Então não é tão caro não é é o Chrome ele usa a própria memória do do do computador o Face que é do Facebook eu acho que ele também usa o seu próprio computador porque eu tava usando uma vez o Face aqui eh tá vendo

esse folder path aqui ele cria ele cria aqui se eu puser aqui D2 bar temp aqui ele vai criar aqui no meu computador aqui o banco de dados ele cria no seu é um banco local ele cria no banco local como se fosse o o skl lite lá que você cria localmente né então mas obviamente se você vai ter coisas gigantes né Por exemplo redis já é pago você conhece bem o redis Né que é o banco de D memória alguma coisa vai ser paga ali né então dá para usar as coisas gratuita pro pro

pro pro pro desafio aí a gente vai usar as coisas gratuitas obviamente né ou localmente aqui tipo Face aqui que você usa localmente Aqui o banco de dados ele cria no seu próprio computador aqui mas assim se você for usar num projeto gigantesco que tem muita aí não tem jeito vai ter que usar o alguma coisa paga aí e as opções estão aqui oi seria legal falar para eles lá no prompt no componente prompt como criar novos variáveis no componente prompt isso peraí ô caramba é é o Valério aqui eu tava mão levantada eh por

exemplo eu tenho um experimento né que eu tô querendo fazer ali e Dee fazer o controle tipo de um banco de dados tipo da empresa mesmo aonde tem vendas vendedores todo uma questão de certos vários parâmetros né o ponto é que tem por exemplo assim ah no mês tem 300.000 vendas então eh eu vou ter um número muito grande de dados ali para enviar para ele eh mesmo Resumindo já alguma coisa eh com eh com o rag ali eh a questão de por exemplo índice da tabela como que eu vou enviar isso tu tem uma

ideia de como que isso aí seria mais interessante é muito Possivelmente você vai eh bom aí aí aí eu não sei como você vai coletar esse dado aí você pode coletar esse dado através de uma API que n a gente tá falando aqui né você tem esse dado em algum lugar ou se você já tiver os dados eh armazenados em algum lugar né Eh por exemplo numa tabela numa csb você vai usar o file aqui para pegar esses dados aí e aí aqui Ele carrega completo tudo para você mas aí você vai ter que fazer

aquilo que a gente tava falando você vai ter que quebrar esse dados em pedaços né Mas seria mais interessante por exemplo eh um documento eh é Jon assim dizendo Ah é vendedor venda cidade valor ou seria mais interessante por exemplo eu Enviar um arquivo SQL por exemplo montadinho direitinho tipo só com um índice só por exemplo para economizar tokens a eu acho que ele vai trabalhar melhor com a tabela mesmo com a tabela aberta do que com SQL uhum com você você queria ter você queria a Abrir já direto aqui um banco de dados né

mas eh aqui o o l Flow ele é limitado no tipo de de entradas que você tem tá eh você teria que fazer alguma coisa a parte para processar isso daí Porque o l Flow ele foi muito pensado para você pegar diretamente os textos aqui então é um arquivo csv um diretório que tem um monte de coisa de texto então ele não vai pegar qualquer tipo de entrada de dados tá é mais pensado para texto tá tá ou transformado em texto por algum api que você criou então muito dificilmente você vai pegar lá um um

arquivo SQL e jogar aqui dentro tá mas é mais uma tabela CSP aliia seria mais interessante tipo um Jon né vindo do uma p request ali ou uma tabela tipo texto mesmo assim ah eh todos tudo só e palavras colunas e tipo o arquivo csv separado por vírgula ele trabalha por por ser uma linguagem que que que entende eh melhor Jon Ele trabalha melhor com Jon do que com tabela entend então se você conseguir jogar com Jason é melhor porque ele ele entende melhor Jason digamos assim né Eh mas poderia ser uma tabela também eh

a gente faz já fez experiências aí o chat GPT entende as tabelas também mas assim da assim chutando Minha experiência que é melhor com Jon entendi Obrigado alguém levantou a mão aí eu não tô vendo Diego só para falar o tem uns agentes específicos paraa leitura de csv também então às vezes tem tem tem tem ó aliás eu tinha mostrado aqui embaixo Cadê o os agentes aqui a pode falar depois diss aí pode falar Diego tá quando só mostrar a já pode falar é Pode falar aqui ó Advance Agents ó ó ah olha só aqui

quem perguntou aí ó tem um SQL Agent aqui ó já tem aqui Um Agente para capturar coisa de de de coisa de de de SQL csv ó agente de Jason já tem os agentes prontos aqui ó beleza já tá pronto aqui gente pode ser Jason Pode ser csv aqui ou pelo visto aqui ele captura direto aqui no isql você pode fazer experiência e ver qual que ele se comporta melhor aí perfeito então depois eu trago novidade lá no no grupo GR del beleza Qual que era a outra dúvida desculpa Opa boa noite tudo bem ô

muito Boom a explicação aí realmente tal Clareou mais algumas coisas andei pesquisando onde eu trabalho e infelizmente o banco é Ó E eu andei pesquisando internet pro jeito não tem integração nenhuma com ele então eu tinha que vou vou ter que fazer um a limpeza dos dados e jogar para um outro banco que ele identifica né ele consegue fazer leitura né o seguinte é só que a minha a minha dificuldade é o seguinte hoje eh tanto CHT qualquer outro tipo de ch eu faço perguntas relacionado ao trabalho lá que é a parte de saúde e

ele delira muito mesmo fazendo bem bem assim certinho você para tentar ele algumas vezes delira eu consigo consigo treinar ele criar com o próprio banco de dados fazer um treinar a máquina ali criar um só o assunto específico saúde e tal sem sim você consegue treinar eu acho que aqui no L Flow eu não lembro de ter visto a parte de treino aqui mas eh você tem ferramentas por exemplo aqui ó eu vou abrir aqui uma ferramenta pred base pred base ó esse pred base aqui é justamente para você fazer treinamento de modelos aqui né

é uma plataforma é é uma plataforma você tem tem tem a parte gratuita também aqui mas é justamente para você fazer o treinamento de modelos aqui então você eh o que que é o o que que é o treinamento do do modelo você escolhe um modelo Sei lá o Lhama 3 por exemplo aí você manda o que seria eh um conjunto de respostas vai digamos assim vamos supor que que você queira Treinar esse modelo aqui esse Lhama 3 para fazer resumo vai eu quero que ele faça resumos para mim aí você manda para ele alguns

exemplos de como que você quer que o resumo Ou seja você vai mandar um texto e o resumo que ele fez um texto e um resumo que você quer um texto e um resumo que você quer vamos supor que você tem um determinado estilo de resumo e você quer que que que começa a responder igual o seu estilo Então você vai ter lá um texto e o seu e uma e uma frase Resumindo no seu estilo um texto e uma frase Resumindo Esse é o conjunto de treino dele você vai jogar esses dois ele vai

refinar o modelo e o modelo que sair você vai conseguir puxar por aqui pelo pred base ele se transforma num modelo como se fosse o o o o você tivesse acessando direto o chat GPT ou o openi lá né a o Api do openi só que com o seu modelo com o seu modelo que você treinou o modelo que você falou assim ó eu quero que esse resumo Saia desse aqui que é do meu jeito esse resumo saia você treinou daquele jeito ele rodou ou aí ele virou o seu modelo então o Lhama 3 lá

ele se adaptou para pegar o seu estilo esse que é o que é o que é o que a gente fala de fine tunning né é o o o o você pegar o modelo e transformar do jeito que você quer ele o fine tunning é muito difícil de fazer no no no no computador dependendo do do do porque tem várias formas de treinar são 70 bilhões de parâmetros alguns modelos então você você rodar isso aí para você treinar no seu micro é demorado né fica o negócio Dan ali talvez dependendo do computador Talvez nem chegue

no no treino final mas aqui no no no no no pred base você faz isso daí eles têm lá eles T um maior poder computacional né então eles fazem esse treino para você né E eles devem usar uma técnica essa lora que é uma técnica de fine tunning né e tem outra que se chama acho que é F lora tem uma que é muito mais rápida né mas no caso aqui essa lora aqui já acho que é suficiente rápida aqui usando no pred base então por exemplo isso que você falou não tá lá no no

no no L Flow Mas é uma maneira é usar por exemplo o pred base para fazer esses treinos aí né Depois você você dá uma liginha D dá usaré dá para usar depois depois que tu treina o modelo tu pode pode usar aí você pode subir ele no rang Face ou na V modelo aí depois aí tem aí tem um componente lá de de pegar modelos do vertex ai por exemplo teu modelo no vertex ai E aí pega o componente ali ou no isso eu acredito que o treinamento seja não tão complexo assim porque é

uma uma evolução quando o médico digita em campo livre ou qualquer outro equipe da da parte da saúde né e eu preciso fazer uma codificação que é o sid né que é o cadastro internacional de doenças Então eu preciso classificar tudo que tá dentro da das das evoluções que mero digitou é um desafio a gente pegou pedaços assim e não e não deu certo né então provavelmente vai ter que ensinar certinho Como é o cada Cid com cada modelo de evolução para ele conseguir identificar ser é mais ou menos isso né ô Diego como para

te inspirar se é difícil é mais legal porque se é difícil pouco a gente tá fazendo então se tu conseguir fazer lá um monte de coisa juntar os dados arrumar e a coisa der certo tem grande chance de ganhar ou ficar bem cotado na na na competição porque é difícil Uhum é é isso tudo que a gente tá fazendo aqui é o básico então não não não adianta apresentar isso que a gente tá fazendo aqui porque inclusive são os exemplos né mas isso que o leonar falou é isso aqui né leonar você tem aqui o

modelo da rang face aqui né você pode escolher o modelo aqui deve ter algum modelo lá que você pode subir no no no no no no no no no Hang Face e puxar aqui né Isso tu põ sua api e o nome do modelo que você botou lá tipo é modelo Unimed Diego PR aí tu põe lá tal aí vai catar esse modelo que tu treinou aí tu faz todo o resto igual sabe lê o caminho as coisas todas mas eu conecta no teu modelo final é é eu acho que já anotei aqui já já

anotei aqui já vou dar uma estudada nisso també eu queria colaborar com mais um negocinho Alexandre pode pode pode ir até te passo aqui onde tá eu posso fazer ou eu posso pedir para você fazer não não vamos lá seguinte vai no prompt no componente de prompt Ah no Ah você tinha falado né do prompt aqui aqui cadê o sabe que o que eu tô falando já né você quer criar uma variável ali né isso porque sabe tu quer explicar explica por favor Ah eu eu conheço as variáveis que já tem pronta aqui né que

é o user input né que acho que é Putz agora vou V vou esquecer pera aí então deixa deixa eu passa a tela para mim rapidinho deixa eu mostrar Tá bom então V Vou colocar aqui mas é basicamente é esse daqui ó prompt variables né que você vai mostrar né isso vamos lá colaborativo agora é o Leon também para poder explicar alguma coisa pra gente Mas rapidinho depois já volto para você essa aula Tá ótima tá tu explicou várias coisas de uma forma que eu não explicaria tipo que eu não conseguiria explicar né Foi bem

melhor ISO eu quis dizer seguinte olha só que legal aqui no prompt inicialmente Deixa eu só botar aqui como ele tá pronto inicialmente ele é só uma barrinha só aqui só que ele é muito limitado então você pode escrever coisas nele aqui que escrever Ah você é um assistente sei lá check and save só que daí na hora de conectar as coisas tudo que eu for conectar vai ser aqui nesse mesmo lugar então por exemplo se eu for botar o input alguma entrada Pera deixa eu botar para fora aqui que nem o o que nem

o Alexandre fez gostaria essa ideia de aqui pra frente né Se eu tiver um texto de input aqui como ele falou né que é o comecinho de todo é um chat input né chat inputs e eu conectar ele por exemplo aqui no template acabou o meu template o que eu falar vai ser substituído aqui então nos exemplos que ele já mandou já tava feito mas só para mostrar se eu escrever aqui qualquer coisa eu botar aqui por exemplo entre Chaves botar entrada de texto é só botar tudo coladinho né porque entrada de texto e de

um check save ele cria uma variável aqui embaixo aí eu posso conectar por exemplo entrada do chat como entrada de texto e o template eu posso botar outra coisa isso aqui eu posso botar várias coisas então Eh responda a pergunta do usuário daí aqui eu posso posso desenhar como é né usuário entrada de texto Então é uma lógica de programação básica em Python tem os caminhos Só que não é tão de linguagem natural aqui eu posso escrever de linguagem natural aí eu posso resposta e ele vai responder mas meio que o que o Alexandre já

mostrou pra gente mas a gente pode construir isso aqui e aí O legal é que eu posso ter várias entradas eu posso cada vez que eu botar alguma coisa entre Chaves contexto memória qualquer coisa que eu botar entre Chaves vai virar automaticamente uma variável aqui para eu conectar coisas e aí que pode ser a sacada para criar várias coisas do banco de dados por exemplo aí tem que ver as criações eu vou apagar aqui e vou mostrar um exemplo que tem aqui no no exemplo deles mesmo que por exemplo põ ó o o rl1 2

e e uma entrada de texto aqui cada uma tá conectado em um lugar ó instruções tá em instruções o rl1 vai na referência um e o rl2 referência dois então o usuário pode preencher essas caixinhas aqui botar dois sites por exemplo e lá no prompt ele organizou ó referência um aí põe a variável um referência dois variável dois e aí eu poderia fazer várias coisas por exemplo nas instruções poderia fazer eu poderia ter um artigo aqui sobre sei lá sobre uma doença e aqui um artigo falando sobre out não aqui falando sobre uma cura de

uma doença aqui falando sobre outro tipo de cura de doas diferentes e as instruções eu poderia botar compare as duas artigos e faça uma relação entre as duas e diz qual é a melhor cura sei lá e aí ele poderia pegar uma referência um e dois ou não né ou ele vai somando então isso eu posso essa lógica e ainda uma ideia simples e aí eu posso botando em várias variáveis e aqui desse jeito mas depois eu posso conectar isso em caixinhas né depois o cara o cara vai lá num site de cadastro por exemplo

e ponha Ponha o seu nome endereço tal daí tu pode botar aqui tipo aqui é nome nome aí vai pro lugar bonitinho então aqui na referência um aqui ó o nome do usuário está em referência um um ou então está em dois pontos referência O endereço está em referência dois s lá podia arrumar de outro jeito também né aí na instrução tá entenda quem é o usuário e usa essas informações para conversar com ele aí a pessoa cadastra entra aqui D as informações e vai embora são formas de usar a ferramenta do chat para aprimorar

Ela só queria essa colaboração Zinha e O legal é que vocêo pode ser usado em vários outros lugares esse negócio de criar variáveis para para criar coisas mais complexas Então pode voltar aí Alexandre vou até parar de compartilhar minha tela acho que já deu 1 hora e40 eu só vou mostrar aqui eh deixa eu ver aqui eu vou mostrar aqui eu vou rodar esse mesmo Pera aí cadê Aqui ó é que eu não tô achando aqui a nossa reunião Ah tá aqui achei achei reunião tela cheia tá compartilhar Beleza eu vou mostrar só aqui essa

mesma aplicação rodando no no no coisa ali na no Python pro porque aqui acho que tem pessoas de todos os níveis né Eu acho que tem o pessoal mais que não não programa e tem o pessoal que programa né então eu vou pegar uma aplicação aqui esse aqui é o vs code para quem programa Todo mundo já sabe o que que é [Música] né vou pegar aqui o l Flow aqui ó se vocês instalarem o l Flow é isso aqui que vai aparecer para vocês aqui só acionar aqui só queria mostrar mais um an da

gente enar porque tá ficando tarde aí o pessoal tem genteo desmaiar el antes da jant aqui em Python a gente cria um ambiente virtual para Python e roda o flow aqui Python Flow não se asuste aí quem não trabalha mas basicamente o que que eu instalei localmente o l Flow na máquina né e agora eu vou rodar o l Flow vocês vão ver que vai ser a mesma interface que vai surgir aqui no no no um pouquinho diferente na verdade eu andei comas é um pouquinho diferente né alguém levantou a mão aí pode perguntar ô

oi Alexandre ô tem uma ver qual a versão mínima do Python para poder rodar o l Flow você sabe cara eu tô rodando com TR com três eu acho que é versão mínima eu acho que é o 310 Ah tá legal é melhor atualizar então legal é É você tá com 38 dá uma olhada lá no no site lá mas eu acho que eles pedem o 310 se eu não me engano Tá legal obrigado aqui ó ele tá rodando ele cria essa janelinha aqui pra gente aqui então se eu for aqui vai aparecer exatamente a

mesma coisa Ele demora um pouquinho aqui que ele ainda tá carregando o serviço aqui eu tenho que ficar tentando aqui ele vai criar exatamente a mesma ah a mesma interface que a gente estava vendo lá é um pouquinho diferente eu dei uma olhada é um pouquinho diferente tem umas coisas que estão no lugar mas a maioria tá parecida aqui ele demora um pouquinho para carregar aqui gente não se preocupe é isso mesmo que eu fico testando aqui uma hora ele entra aqui ou Hoje ele resolveu não entrar aqui né oh caramba mulac ó esse endereço

aqui é da minha máquina tá gente agora ele tá carregando tá vendo que a interface é muitíssimo parecida né Eh ele tem umas coisinha diferente por exemplo aqu parte do dos helpers alguma parte do do do do do do tesse explique tava aqui vocês viam que o outro tava no Advance de ali mas aqui o que eu queria mostrar nesse nessa interface aqui porque el acho que do site eu não tinha visto aqui ó embaixo você pode pegar o código em Python do que a gente construiu ali a Api para você eh eh para você

você construiu isso aqui tá rodando né você pode pegar pela pi aqui ó você pode rodar nessa pi aqui na verdade a máquina deveria estar rodando como ele está rodando aqui para mim se eu fizer essa chamada de api aqui ele tá vindo na minha máquina aqui para pegar o resultado aqui então eu tô rodando Isso daqui na minha máquina quando vocês forem fazendo na Leon você sabe se essa api tá disponível lá no naquele que a gente tava vendo no site lá a gente consegue pegar e e executar nos sites aí deles do linkflow

é do L Flow ele tem a tem ap api ali eu procurei lá não achei porque aqui é bem bem mais fácil tá aqui do ladinho aqui ó pum eu venho aqui tá api aqui ó pum pum pum lá no site eu não vi não tem is também tem também tem também ah ah então Mostra aí most po voltar pelo que eu vi ali só não sei exatamente onde é mas tem um lugar onde tu exporta tu pode pegar todo o link todo todo o teu teu teu hag todo pode copiar o código dele todo

em Python tá escondido né porque ó eu vou eu vou diminuir aqui o tamanho tá vendo o meu tava aqui do lado aqui era facinho de pegar e aí procurei aqui eu falei caramba não tá ess já achei também essa opção antes mas tem tem essa opção tá para não tá no mesmo lugar mas tem sim tem né Eu também achei que deveria ter mas eu não tava achando dei uma procurada rápida e eu tô mais acostumado com outra interface Mas tem uma chavinha al em cima tem uma chavinha ali ó clicou nela é para

criar uma Ah pode ser né para criar uma pi aqui para você mas ele não dá não indica o o ele não indica o o a URL né o end Point aqui tá mas eu eu vi eu vi algum lugar na documentação que dá para fazer Tá mas cara eu acho que realmente a gente tem que realmente tem que encerrar é dando 9 horas né A galera tá aqui legal a pode fazer mais vezes se a galera quiser eu achei bem maneiro eu também Aprendi algumas coisas e a galera pode né tem a galera que

tá aqui é bem empenhada depois a gente pode testar coisas então vocês estão testando aí na internet aí testem coisas sobem print screen lá pra gente no no grupo vão trocando ideias vão se ajudando sabe uma forma da gente aprender é ensinando um aos outros Ach que a gente pode realmente terminar Obrigado Alexandre de graça essa aula velho é é d eu aprendo eu aprendo mais do que vocês aí porque vocês vão me dando a pergunta eu vou ter que pouco faz uma pergunta ele já suscitou algumas coisas lá por exemplo o hag não é

muito bom para você cruzar informações em trechos diferentes ali da quando ele quebra ali então essa pergunta eu falei daí eu já vi em algum lugar uma resposta uma solução para isso daí eu tenho que tentar lembrar ISS aí então eu aprendo mais do que vocês quando eu tô respondendo as perguntas aqui faz a resposta para nós que é importante eu tô trabalhando nos projetos com rag aí sempre tem uma falha haag nunca é perfeito souver forma de deixar ele mais perfeito bora trabalhar tem um tem um uma plataforma que chama Lhama index né que

eles estavam justamente descrevendo esses problemas do hag ali ele começa falando assim qual que os problemas do hag quando você tem as informações eh separadas você não consegue crusar as informações se você tem uma pergunta que não é uma uma busca nos trechos como é que você faz para você poder então ele ele ele cria maneiras de você juntar os pedaços com resumos do do texto inteiro é é meio é meio é bem mais complicado eu tô estudando aqui lá a gente pode até depois fazer uma aula dis aí mas por enquanto tô estudando aí

chama lama index depois dá uma olhadinha aí Leon isso aí é bacana B sim eu conheço lama index tem se não engando tem alguns aplicativos para trazer pro L Flow porque index ah não mentira L Flow é só leng chain mesmo né é L chain L chain é mas compartilha com lama index alguns algumas bibliotecas lá então quando quando eu carreguei o Lhama índex lá eu vi que a maioria das bibliotecas estava já lá por causa do L Flow né do do L chain então eles compartilh algumas bibliotecas comuns ali mas assim gente e só

só sumarizando aqui o Lang Flow é essa ferramenta de você juntar aquelas caixinhas lá né Eh mais importante do que vocês entenderem e os detalhezinhos de cada caixinha é que problema eu vou resolver né e e daí os usar vocês têm esse conhecimento pô como é que funciona aquilo lá pelo menos vocês têm uma ideia pô se o documento foi muito grande como é que será que eu preciso usar hag ou não puto plin lembrou que o hag não é muito bom para resumo o problema de vocês é resumo é um outro tipo de solução

que não vai usar hag então esses conhecimentos básicos vocês têm que ir adquirindo porque eh essas linguagens generativas são extremamente novas e tem muita coisa em discussão ainda o plin perguntou do do rag tem muita coisa que nem o Leona falou tem muita coisa sendo discutida ainda tá paper o pessoal tá apresentando papers aí sobre esses assuntos aí então é assuntos de ponta aí mesmo que a gente tá discutindo aqui né Uhum Valeu pessoal obrigado Alexandre obrigado a todo mundo que ficou até aí obgado eu vou fazer um CTE se o Alexandre autorizar vou fazer

um Record autorizado tá autorizado Tá gravado que tá autorizado hein Tá bom autorizar mais tá bom botar no YouTube aí vocês podem conferir depois e depois também mandar para alguém quiser ó vamos participar lá da competição lá né tem a Denise tá aí o Leon tá aí a gente fez uma primeira reunião ali e estamos criando as equipe zinhas lá e por enquanto tô dando suporte ali precisa alguma coisa mais técnica a jos tem equipe já né Denise também tá com a equipe né a jos tava lá Exatamente é o Diego tá com ideia também

bem complexas as ideias do Diego se ele conseguir executava esse animal se não conseguia tempo também tudo bem Vamos trabalhando nisso mas se conseguir executar pra competição vai ser M uma pergunta Leon por favor obando poal a inscrição da equipe no L Flow como é que faz Porque até então tem uma inscrição individual ali que que você faz como é que faz inscrição de equipe eu não entendi isso lá no site confesso que eu também não entendi eu vou dar uma olhada certinho com eles e já respondo ao longo da semana beleza Beleza obrigada valeu

obrigada Alexandre excelente aula gratidão Obrigado espero que vocês tenham aproveitado aí eu tentei seu mais não foi ótimo eu acho que eu perdi essa reunião aí perdeu perdeu e tá fora agora não brincadeira dá para entrar a gente tá fando times de cinco ou seis pessoas para criar projetos paraa competição do leng Flow competição ali então a Dá para entrar ainda eu acho tem alguns times a Denise tem um dela mas tem que ver se vai ficar só cinco pode ser um pouquinho mais eu tô da Denise eu gostei do nome Júpiter lá ah então

Fechou então é isso aí E aí tipo assim mas assim é são grupos separados mas assim é um grupo só vamos todo mundo aprender e juntar se um grupo precisa de dúvida outro grupo ajuda Vamos trabalhar junto eu não tô eu não tô muito eh preocupado com qual grupo vai ganhar se algum vai ganhar né ou se algum deles vai ganhar necessariamente eu quero junar mais o nosso o nosso grupo trabalhando junto para mim essa é a vitória de fato mesmo então bora trabalhar é isso aí então Adeus boa noite Boa noite pessoal Pessoal boa

noite Falô boa noite tchau tchau boa noite pessoal abraço