Unknown

Então beleza Eh bom hoje a gente então vai falar do L Flow né de como criar aplicações com com r e fazer isso de maneira bem simples ali com l Flow esse é o nosso principal objetivo aqui do dia tá A ideia é fazer uma sessão rápida tá não é demorar não é fazer uma sessão muito longa então aí uns 40 minutos meia hora 40 minutos e aí a gente vai ter um tempo aqui pra gente tirar fazer fazer perguntas tá Ah então vou começar falando da competição depois a gente vai falar de tiva falar

do L Flow como que roda o l Flow Vamos fazer um fluxo básico aqui ao vivo Ah falar de Vector search e depois a gente fala de de rag aqui no final ah da da da nossa da nossa Live Tá bom vamos lá então Eh bom primeiro ponto eh e a deves né uma competição aqui do L Flow vai ter 50.000 em prêmios então baita prêmio aí né para quem quiser participar a ideia ideia é que enfim que a gente consiga entender aí ajudar vocês a entenderem mais aprender mais sobre o l Flow e melhorar

o l Flow né então A ideia é que durante esse processo a gente vai ajudar vocês a fazerem os os protótipos a gente quer entender o que que o que que a gente precisa colocar acrescentar no Land Flow então A ideia é ter esse feedback de vocês mesmo sobre o ponto de vista do Quais são os features que vocês eh precisam quais são ah os bugs que vocês eventualmente encontraram tá deixa eu até mostrar no site aqui então quem quiser aqui L Flow a e a devis deixa eu ver aqui então a página já tá

até mais bonita quando eu tirei ali o print ainda tava diferente então tem essa premiação que é bem legal não precisa apagar nada então a gente vai est olhando todas essas submissões aqui ah a primeira coisa fazer é dar uma estrela lá no no no no github né no nosso repositório E aí daí vocês eh começam a participar da competição vai tem um processo para submeter quem já Se cadastrou vai receber um e-mail ali com as instruções Tá então não se se eventualmente já estão cadastrados mas não receberam nada só aguardar aí que a gente

vai enviar um e-mail com todas as as informações aqui no final do processo tá E aí ah a gente já começou a as inscrições as as a ainda tá rolando o período de de inscrição né vai at dia 19 depois até o final do mês para submeter aqui os projetos Então dá tempo de fazer com calma aprender bem caprichar para chegar lá no final a do do do do do período e ter uma boa chance aí de ganhar e depois no dia 15 de agosto ah Os Vencedores vão ser anunciados tá então de novo é

uma oportunidade bem interessante aqui de aprender bastante sobre e sobre L Flow Ah e sobre a generativa no final das contas né a gente sabe o quanto que essa essas aplicações estão sendo importantes aí pras pessoas né as empresas estão buscando muita gente buscando pessoas né para para começar a falar então vai ser uma competição bem legal tá quem quiser participar ah eflow.ie palestra é eu é parte do que eu apresentei Ah no TDC duas semanas atrás TDC Florianópolis onde eu palestrei na na telha de generativa vou fazer aqui e algumas coisas que eu fiz

lá mas vou fazer algumas coisas diferentes também tá então aqui a gente tem um pouco mais de tempo então dá pra gente fazer algumas coisas com mais com mais calma tá então vamos vamos lá Se tiver alguma alguma alguma pergunta Tô de olho aqui no chat pode mandar tá bom vamos lá então aplicações com generativa né o grande a grande estrela do dessa dessa dessas aplicações São Claro os modelos né e cada dia a gente vê modelos novos aparecendo Ah o GPT 4 foro né o 4 o Gemini lama 3 agora essa semana passada saiu

o cloud 3.5 sonet que tem pelos bms lá tem uma performance melhor e uma série de critérios Então os modelos eles são a grande estrela desse momento de de a generativa né mas o o o qual é o problema dos modelos eles não têm o contexto da sua empresa Eles não têm memória Eles não têm estado né como a gente diz então você precisa combinar esses modelos com dados tá então aqui que entra a junção dos modelos com os dados que você precisa ter dentro da que você vai ter dentro da sua empresa os dados

dos seus usuários dos seus clientes a memória desse Agente né que quando você vai ter uma conversação você precisa que essa que que a memória ali eh ela ela aconteça para para facilitar né a a a interação e ter uma interação mais parecida com com o humano Então você precisa combinar o poder dos modelos aos dados os modelos por si só Eles não conseguem criar aplicações Ah e que que vão que vão ser aplicações de produção né tanto que a openis essa semana ou semana passada comprou uma empresa de banco de dados que é um

indicativo de que só o modelo não resolve você precisa ter ter dados ali para fazer e para juntar essas duas coisas alguns componentes né então você vai precisar ter código aqui no meio alguma coisa de código alum Framework alguma alguma Library para fazer essa junção a mais utilizada hoje é o l chain e ainda que aqui ali hajam críticas né a ao L chain Ah ele é a maneira mais fácil de você criar protótipo sair do zero e é em cima dele que o l Flow foi criado tá d o l Flow também permite você

criar componentes que não são baseados no L chain mas muita coisa do que tá no L chain Você já consegue usar via a l Flow Tá mas lógico você também pode usar né fazer tudo via código fazer com Java pá então nodejs go enfim qualquer linguagem você pode fazer porque no final das contas tá tudo eh disponível via api né mas nesse momento que a gente tá vendo É que as empresas começam a se preparar se preocupar também com outras coisas né que é o deployment como é que eu crio aquela aquela aquele aquele código

aquela aplicação como é que eu coloco ela em produção e como é que eu monitoro a qualidade dela né então uma aplicação ah de de de ar generativa só vai ser tão boa quanto o que você consegue monitorar né esse é o grande é o grande receio das empresas para colocar em produção sem ter um monitoramento efetivo tá E também o deployment como é que eu faço coloco mudo as coisas e vou paraa produção de uma maneira simplificada Tá e aí e aí então tem essas essas dificuldades né Para eu colocar essas aplicações então eu

tenho que combinar eh apis que tão mudando bastante então openi vai lá e muda o Api deles ah outros componentes usa o próprio lchin Muda então Eh tá pronto para reagir essas mudanças é muito importante a gente tem a combinação disso com os dados e quando a gente fala de AG Ativa é sempre com o foco de escalar processos então você tá colocando i e um processo para você poder atender muito mais do que o que você atende hoje né então isso vai demandar dados vai demandar muita escala de de de de infra mesmo para

você poder atender mais usuários ter mais interações e no final das contas você precisa evoluir isso muito rápido né então todo dia tem modelos novos novas ores de dados Ah você precisa eh agilizar esse processo para colocar em produção e é justamente nesse nesse nesses escopo que o l Flow e as coisas que a gente tá fazendo na date stacks elas elas atuam né de você acelerar esse essas aplicações a entrarem em produção e entrar em produção de uma maneira confiável com um ambiente escalável que não que você não vai ter problema com a escala

ah de utilização Tá então vamos falar do do L Flow né o l Flow é essa aplicação que foi criada Ah para a gente fazer desenvolvimento drag drop basicamente Então vou arrastando os componentes Ah E aí conforme as coisas vão conforme os componentes vão sendo ah colocados ali na na tela né E você vai conectando eles e fica até mais fácil de entender ah como como eh como como esses componentes interagem e você evoluir os modelos dá para você mudar os modelos de maneira bem simplificada então é bem é bem tranquilo de de você eh

fazer isso e fazer a iteração tá então eh basicamente essa a ideia do L Flow E aí agora em abril a o l Flow para quem não sabe o l Flow é uma foi construído por brasileiros tá então é o Gabriel e o Rodrigo que são lá de de Uberlândia Lógico que eles t o time deles mas eles que começaram a ideia do L Flow e agora em abriu a datex que é a empresa que eu trabalho Ah comprou né o o a empresa do do L Flow E aí a gente tá incorporando dentro da

solução da datx que é o asta a todas as coisas do L Flow A ideia é que o l Flow vai continuar sendo uma solução open source vai continuar tendo compatibilidade com todos os outros componentes que ele já tem é o que a gente tá fazendo com com isso é investindo no L Flow para que as aplicações sejam criadas de maneira mais rápida e aí a gente vai ver um pouco do que a gente tá fazendo juntos né mas é importante frisar que L Flow é uma solução open source vai continuar sendo open source tá

e não é essa essa aquisição não significa que as coisas vão mudar pro L Flow tá eh atualmente aqui então a ideia dessa dessa junção é que é justamente essa né de simplificar ainda mais o desento dessas aplicações e levar elas pra produção de maneira mais rápida e mais confiável né então tem um ambiente mais pronto para você desenvolver e colocar Aquilo em produção então atualmente aí o l falou provavelmente já tá com mais do que isso já deve est perto dos 20.000 Stars Ah e aí a gente tem uma comunidade bem grande aqui né

da no mundo todo tá apesar da do F uma solução criada por brasileiros ela é uma solução que já tá sendo usada no mundo todo então pra gente aqui né é um é um orgulho aqui de da solução tá sendo tão tão utilizada tá no mundo aa tá E aí eh que que aconteceu com l Flow então ele vinha Nessa versão zero alguma coisa E aí agora nessa semana é na segunda-feira Ah foi lançada a versão 1.0 tá E essa versão P tem muitas melhorias já tá disponível pra utilização aí então a ideia aqui é

que a gente tem integração já com l chain com l Smith então L Flow ele é muito tem muita interação ali com l chain e então era era na natural que a gente tivesse essa integração com l chain com LS Smith então tem algumas outras melhorias como visualização dos outputs integração com modelos multimodais e o dat STX L Flow que é a gente vai ver um pouquinho aqui da da execução disso lá dentro do asta tá dentro do portal do asta vai ter o portal também do do L Flow vocês podem Criar e experimentar o

l Flow sem precisar instalar a na máquina tá E aí o primeiro pedido para quem tá aqui na live é entrar no no gith Hub aqui do L Flow e mandar uma estrelinha lá ah isso é uma é muito importante pra gente para demonstrar o quanto que as pessoas estão empolgadas estão querendo conhecer mais o LF então por favor quem tiver aqui abre outra aba no YouTube outra aba no Browser deixa a aba do YouTube aberta e entra git.com L Flow ai L Flow e manda uma estrelinha lá pra gente tá como que instala o

l Flow então o l Flow é um package PIP install L Flow aí ele vai instalar todas as dependências L Flow Run na minha máquina eu precisei rodar no Python 3 310 tá então é uma boa é uma boa técnica aí subir o o Python garantir que ele tá aí ou usar o venv Né o virtual environment rodar na 310 na 310 tá tudo rodando a belezinha tá hã vamos lá e aí tem a outra novidade agora que é o jeito mais fácil como eu falei o date STX L Flow vou mostrar para vocês mas

dentro do portal do Astra Então quem tiver conta lá em asad stex.com vai ter esse menuzinho aqui eu já mostro para vocês é para vocês poderem eh ver ali dentro do Asa tanto a parte do do Vector de B quanto também o l Flow tá então a gente já vai ver esses dois caras aqui é o jeito mais simples de vocês rodarem então é a versão 1er tá rodando ali e aí tem até algumas facilidades eu vou mostrar para para vocês Tá então vamos ah pro pro código né não pro código porque não tem código

né na verdade então vamos pro começo aqui então aqui é o l Flow nesse caso aqui tá rodando na minha máquina tá então fiz a instalação rodei Ali A L Flow Run E aí ele tá rodando na minha máquina eu já tenho algumas coisas aqui então o que que a gente vai fazer eu quero criar uma uma aplicação para responder sobre financiamentos tá então vou criar um fluxo ah vazio aqui do do zero Ah vou colocar um input então o log Flow ele vai ser tudo baseado nesses inputs outputs então eu vou ter o o

esse input aqui e aí eu vou colocar aqui por exemplo eh quais os seguros por exemplo se eu tô falando de financiamento eu quero saber quais são os seguros envolvidos nisso tá eh todo todo todas essas essas perguntas dos usuários elas precisam ser colocadas dentro de um prompt Ah para que esse prompt seja submetido ao modelo né como a gente se a gente fosse no GPT ali colocasse o prompt tá então eu vou colocar aqui a o prompt E aí dentro desse prompt a gente tem o template que então vai ser responda as perguntas do

usuário ou responda a pergunta né Então responda a pergunta do usuário e aí eu vou colocar aqui a entre Chaves esse a pergunta do usuário tá question quando eu coloco desse jeito aqui ele já entende que esse cara vai ter uma variável e o que eu vou fazer é ligar esse essa essa saída aqui do input desse do chat input pro prompt uma vez que eu tenho o meu prompt pronto a próxima coisa é a gente eh submeter isso pro modelo nesse caso aqui eu vou usar o da Open ai tá vocês podem usar tem

uma série de outros aqui que vocês podem usar Ah então beleza vou ter ele aqui aqui eu posso escolher qual é o modelo vou usar o o qu turbo e o input do modelo vai ser o resultado do prompt então eu arrasto aqui e beleza e aí beleza depois que o que a Open ai ah gerar a saída eu vou jogar aqui no chat output toda a saída da da Open eu vou jogar aqui ponto importante né as chaves né as chaves de acesso nesse caso aqui é ipiq nesse caso aqui eu posso ter eu

posso ter isso posso colocar em texto lógico mas o ideal é a gente colocar uma variável Global E aí aqui dentro do próprio fluxo a gente consegue criar variáveis globais e se lá é uma chave de texto normal ou se é uma credencial em quais tipos de campo eu vou usar então por isso que quando Eu arrastei aqui a o componente da Open a ele já trouxe a chave porque eu já vinculei que essa variável ela sempre vai ser aplicada para quando eu tiver um componente que tem o open ai api aqui tá então beleza

fiz aqui e aí eu vou rodar e eu quero que ele Gere uma resposta então ele já tinha aqui a pergunta né que eu coloquei nesse caso nesse caso aqui ah ele já tá rodando lá tá mandando para para Open ai para poder gerar uma resposta tá minha internet aqui deve estar um pouco lenta porque eu tô fazendo esse streaming e Beleza então ele gerou aqui uma resposta vamos dar uma olhada aqui no que sai beleza Ele respondeu uma série de coisas mas ele eu perguntei quais são os seguros né então ele não sabe contexto

ele não sabe qual é o meu o meu cenário né então por isso que a gente precisa combinar os modelos com os dados tá e o l Flow ele facilita demais essa essa essa história e aí que entra um conceito bem importante que a gente chama de rag ou rag o retrieval augmented Generation tá vamos falar um pouquinho mais do rag aqui agora Ah então beleza o que que é o rag né o rag a a ideia dele é que a gente vai colocar dentro do prompt Ah um contexto que seja relevante para responder a

pergunta do usuário tá então se eu tô fazendo a pergunta sobre Seguros eu preciso que dentro do daquele promt eu tenho as informações que falem sobre seguro os textos que são relativos a seguros para finan para um financiamento imobiliário tá como é que a gente faz isso a primeira parte é eu ter os documentos ou ter e identificar esses documentos ou ou mesmo os dados estruturados né identificar ess essas coisas e daí eu poder eh colocar tudo isso dentro ah do do do prompt para que aí sim a gente tenha uma resposta mais mais mais

relevante né uma resposta mais contextualizada ah pro pro usuário tá então Prim primeira coisa que a gente vai fazer aqui é carregar uns documentos Ah e depois a gente vai fazer a mesma pergunta ah para esse usuário aqui só antes da gente fazer a carga desses documentos tem um conceito importante que é o conceito de Vector search tá aí de in beds o que que são os im badings né o in beding é uma representação numérica de um conteúdo texto ou imagem mas aqui só para simplificar vamos pegar o conteúdo de texto Então eu tenho

esse texto e eu quero representar o significado desse texto eh de uma maneira numérica porque aí os computadores conseguem identificar essas informações né conseguem localizar e eles conseguem eh encontrar por por proximidade ou por similaridade tá então uma vez que eu tenho meus documentos ali eu vou dividir eles a gente já vai ver isso em detalhes eu vou dividir esses documentos em textos eu vou gerar um um eding para cada um desses trechos que a gente chama de chunks tá então vocês ouvirem falar em Chunk é uma parte de um documento eh a gente vai

colocar esses caras dentro ah do do converter eles no imbed armazenar esses caras dentro de um banco com suporte a Vector search e depois quando o usuário vai fazer uma pergunta a gente vai converter essa pergunta para esse mesmo eding né para um pro mesmo modelo né vai usar o mesmo modelo para gerar um eding E aí por similaridade a gente vai encontrar os documentos relevantes tá Então essa é uma parte que eh é importante entender como é que o modelo encontra Eh Ou melhor como que a gente encontra os contextos relevantes para quando o

usuário perguntar de seguros a gente colocar os os textos que são relacionados a seguras se ele perguntar tá de eh eh eh de amortização de como acontece a amortização que esses conteúdos sejam colocados dentro do Pr fazer essa essa esse enriquecimento essa ampliação do contexto de maneira dinâmica é que é o desafio tá E aí a gente então tem esses edens que são essa representação da dos textos ou das imagens como números e aí é um problema eh a gente transforma um problema de texto ou seja das palavras e um problema eh geométrico E aí

né os a é mais fácil da gente do computador lidar com números do que com textos e significados né então dentro de um espaço vetorial a gente quer encontrar a os conteúdos os textos ali que são mais relevantes paraa pergunta do usuário e aí a gente dentro desse espaço e Dimensional a gente vai ter essas retas aqui as são uma uma representação simples né do que a gente tá falando mas então o que tá mais perto né é o que é o conteúdo que vai ser relevante Da pergunta do usuário tá então aqui um exemplo

né se eu tenho uma pergunta se eu tenho esses documentos aqui que tão os esses vetores de documentos que eu carreguei e o usuário fez uma pergunta essa pergunta também vai gerar um vetor e aí eu vou encontrar o que que tá mais perto desse vetor E aí com isso Esses são os documentos que em tese são mais relevantes paraa pergunta do usuário tá aí tem as métricas de similaridades que são bem bem importantes Então a gente vai ter euclidiana cosseno e dot product Ah o cosseno vai ser mais baseado no na angulação e o

euclidiano vai ser mais baseado na distância Total desse desses vetores tá para não complicar muito comecem com cosseno e e se vocês tiverem a oportunidade e se o vetor for normalizado Ah o dot product vai ser mais performático tá então euclidiana vocês vão usar em casos específicos normalmente Ceno ou preferencialmente até dot product Então vamos lá vamos fazer isso na na prática tá E aí como Vector DB aqui eu vou usar o próprio Astra Tá então vamos pegar esse fluxo aqui que a gente fez eu vou começar a fazer aqui uma um outro fluxo que

eu vou pegar um do a E aí eu tenho aqui esse documento tá um documento da caixa que eu achei lá do site deles que tem uma série de informações sobre ah sobre financiamento imobiliário Tá então vamos fazer ele aqui na prática eu vou pegar aqui um arquivo eu vou escolher aqui o meu arquivo por que que ele não tá aparecendo só aqui beleza então beleza aqui ali o meu arquivo o que a gente vai fazer com ele e é aquilo que eu tava falando então esse documento aqui ele tem Eh sei lá 55 páginas

eu não posso gerar um eding de 55 páginas eu preciso pegar cada parte desse documento ou partes específicas desse documento e gerar o embed específico de cada uma dessas partes Ah então para fazer isso a gente faz o que a gente chama de ah gerar os chunks usando esses splitters aqui tá então vou arrastar esse recursive Car deixa eu aumentar o zoom mais fácil para vocês então beleza esse resultado aqui vai ser então o documento vai ser entada desse desse Splitter aqui tá então A ideia é que ele vai gerar chunks ah de 1000 de

1000 ah tokens ou de 1000 caracteres e ele vai ter uma uma uma um overlap né uma cobertura ali de 200 ou seja 200 caracteres vão estar eh eh compartilhados entre dois chunks tá e eu posso ter outras outras características aqui eu posso configurar mas só para pela simplicidade aqui vamos manter assim então vou pegar aquele documento vou separar em vários vários chunks e esses chunks a gente vai armazenar no Astra nesse caso aqui tá então beleza eu vou colocar aqui vou arrastrar esse cara vai ser o input Ah aqui eu já tenho a minha

variável o token do Astra o a o end Point e eu já mostro isso aqui onde que a gente pega lá essas informações e eu vou criar uma Collection aqui ah L Flow ah dois que eu não sei se já tem alguma aula e eu preciso definir também qual é o modelo que vai gerar o imbed tá então vou vir aqui ah vou pegar o embed vou pegar também da Open ai tá E aí aqui eu posso escolher o modelo então vou escolher aqui o text3 SM Ah ele já trouxe até a minha chave aqui

eu vou vir vou fazer aqui e Beleza então isso aqui vai me vai fazer eu carregar essa Collection vamos dar uma olhada no Astra então para quem nunca entrou no Astra essa aqui é a interface tá que vocês vão ter ali dentro do Astra então eu vou gravar nesse Astra Vector de B aqui eh e aqui eu vou ter algumas collections tá quando vocês entrarem vai est aqui em Def Space eu não tenho aqui nenhuma nenhuma Collection Beleza então o que a gente vai fazer aqui vou até voltar para L Flow normal só pra gente

ver eu vou clicar aqui e aí o que ele tá fazendo então ele tá lendo o documento gerou os chunks e agora ele tá criando essa Collection lá dentro do Astra e carregando esses esses documentos todos já com o o eding tá vamos voltar aqui e aí a gente ver o que que tá acontecendo beleza ele já criou aqui a Collection então e ele deve est gravando agora a já terminou já vamos ver então beleza isso aqui deixa eu fechar essa isso aqui então é o resultado desse processo de de carga aqui tá então para

cada parte ali do documento então isso aqui é o Chunk que ele gerou ali de acordo com aquela configuração e ele gerou esse Vector aqui tá E ele gerou também algumas coisas de metadados que você pode acrescentar no documento tá então esse primeiro passo que a gente fez foi e gerar um gerar pegar um documento e gerar os chunks dele usando aqui o l Flow tá então ah se a gente olhar aqui o desenho do do rag né esse cara aqui o que a gente tá fazendo aqui foi esse primeiro passo Então pegamos os documentos

geramos os embs armazenamos ah dentro do do asta tá eh Então beleza primeira parte aqui tá tá feita então agora o que que a gente precisa fazer é continuar el continuar o nosso nosso processo aqui para que quando eu faço essa pergunta sobre Seguros nesse caso ele Considere os seguros que estão mencionados aqui no documento e ele use isso para gerar uma uma resposta Tá então vamos fazer isso agora deixa eu arrastar isso aqui mais para baixo Beleza então só pra gente abrir um pouco mais de espaço aqui então eu vou continuar tendo o meu

input e meu input vai continuar indo lá pro prompt mas eu vou usar esse input né então a pergunta do usuário para poder fazer o Vector search encontrar dentro do as os documentos mais relevantes poder colocar esses caras dentro do do prompt E aí seguir ali com com o processo então primeira coisa que eu vou fazer arrastar o Astra aqui vou colocar aqui novamente o meu token meu endp e e minha Collection name nesse caso aqui é a Lang Flow né que a gente criou e o meu minha entrada aqui vai ser o próprio texto

tá vamos lá e aí aqui vejam também preciso de um embed Então vou trazer o mesmo eding que a gente usou lá né usei o small eu acho vou usar o small aqui também ele já trouxe a chave então eu vou conectar ele aqui beleza legal e aqui eu posso escolher qual é a métrica de o tipo de busca que eu vou fazer não a métrica de similaridade métrica de similaridade a gente definiu lá na hora de criar Collection eu posso escolher quais os documentos que eu vou retornar se eu vou retornar os mais similares

ou seja os n documentos mais parecidos com o da pergunta ou se eu quero por exemplo entre 10 documentos retornar aos cinco mais diferentes ou seja entre os 10 mais similares os cinco mais diferentes que é o é o mmr Né Max Marginal relevance Então você tem uma maneira de ter uma resposta um contexto um pouco mais diverso tá é mais ou menos isso mas aqui vamos manter similarity eu vou arrastar aqui um output vou colocar esse text output aqui só pra gente dar uma uma olhada nesse no que saiu né do do do Astra

E aí lá no meu prompt eu vou falar responder a pergunta do usuário de acordo com o contexto abaixo beleza e aqui eu vou colocar então uma outra variável que vai ser minha variável context e aqui a pergunta do usuário ou seja o que eu tô falando para ele via prompt é responda a pergunta de acordo com o que eu falar aqui aí ele Já identificou que ele vai ter duas variáveis a context e a question Tá beleza então vamos lá eh aqui então eu vou mapear a saída né do do Vector search pro prompt

E aí em tese se eu repetir a mesma pergunta o que ele vai fazer agora é Rodar esse cara aqui tá então vou perguntar quais os seguros Beleza o que ele tá fazendo agora eh rodando todo esse fluxo eh e vamos aguardar aqui ele tá rodando é que minha minha rede aqui hoje ela tá bem devagar beleza ele saiu então ó ele falou ó o Seguros São o morte por morte invalidez permanente e Danos físicos ao Imóveis ou seja são coisas que estão mencionadas ali dentro ah do documento e são E se a gente olhar

né A primeira primeira execução ali a resposta que ela tá mais contextualizada dentro da realidade dessa empresa né Então esse é justamente o que o rag faz é a capacidade de você acrescentar informações dentro ah do do contexto ali dentro do prompt de maneira dinâmica de acordo com a pergunta do usuário para que você tenha uma resposta melhor seu ponto de vista de uma resposta mais correta e evitando as alucinações né uma das grandes motivações do rag é evitar as alucinações então o o rag ele vai muito nesse nesse sentido tá então aqui é uma

uma uma demonstração bem simples né um rag bem bem simplificado aqui mas que a ideia aqui é a gente fazer tudo isso via L Flow e a gente fez isso em menos de de 15 minutos que se pegar o tempo que eu fiquei fazendo a gente conseguiu carregar isso ah criar esse fluxo todo carregar os documentos de maneira bem simples sem precisar escrever código Ah mas eu quero escrever código quero eh mexer aqui no L Flow quero criar outras coisas beleza você pode fazer isso por exemplo aqui dentro né do nessa parte aqui do do

L Flow é possível eh criar eh mexer nos nos componentes acrescentar opções mudar configurações Criar o seu próprio componente pro que você precisa ah e daí você daqui você ainda se você quiser criar código você tem como fazer isso aqui dentro do oneflow isso aqui você pode criar um componente eh que vai ser seu e você pode reusar esse componente depois em outros fluxos tá ou eu posso ter um fluxo e reusar o fluxo todo dentro de outro fluxo tá então tem a ideia desses mapeamentos de inputs de outputs que tá nessa versão um é

justamente simplificar essa integração de pequenas partes em soluções maiores tá então isso é é um ponto bem bem importante aqui do do L Flow ainda aqui tem algumas eh eh algumas coisas eh umas propriedades aqui avançadas né então vamos pegar o caso aqui do Vector search né se eu tô falando aqui do Vector search eu nesse caso aqui eu tô pegando quantos documentos vieram quatro documentos né então ah se eu quiser por exemplo que a minha que a minha meu Vector search minha busca semântica né retorne 10 documentos eu vou posso mudar aqui para 10

tá eu posso usar posso usar mais posso usar menos Aqui é onde você começa consegue customizar a sua busca també Ah quero fazer uma uma busca quero filtrar esses documentos usando alguma coisa do metadado por ex por exemplo pensea que naquele Chunk naqueles chunks eu tenho lá uma propriedade no metadado que diz qual é a área desse documento Então essa área de financiamento Então posso se eu tiver essa informação eu posso usar ela para filtrar ah os metadados relacionados somente a financiamento tá E então a ideia do L Flow é é simplificar tudo isso mas

ainda assim sendo uma ferramenta no code ou low code você consegue customizar as coisas paraas suas necessidades Tá bom vamos dar uma ol aqui ver se tem mais alguma coisa e aí eu já passo pra gente falar das perguntas tá então beleza A gente carregou os documentos gerou os edins mostrei já para vocês ali os edins E aí falar um pouco do Astra né E aí teve aqui a pergunta do Rafael né se o AST DB é pago Ah ele tem um free Tier e se você ganha $5 de crédito ali para poder desenvolver suas

aplicações tá então a tá começando a prototipar ou até às vezes as empresas estão Ah no começo ali dos projetos 2 é um volume bem bem relevante aí para vocês e poderem fazer toda essa partipação e até rodar em produção eventualmente tá se for se for um workload que não seja gigante então Ah vocês podem criar conta ganha esses 25 por mês tá então todo mês Ali vai ter esses $5 a mais ali de crédito vocês podem usar isso para criar as aplicações que vocês ah quiserem tá o Astra ele é baseado no Cassandra tá

então a dat STX é uma empresa que foi criada lá em 2010 ela é a empresa que mais contribui com o Cassandra Cassandra para quem não conhece é uma solução no Cico focada em em resiliência e em performance tá então ele a ideia do cassander é que você nunca vai ter uma disponibilidade né o ambiente vai estar sempre no ar e que as respostas dele né pras queries usuário tanto de escrita quanto de leitura vão ser muito rápidas tá e se a gente pensar Com e generativa né Toda aplicação de generativa que vai estar em

contato com usuários ela precisa justamente disso de performance e de resiliência então a gente junta tudo isso aí Vocês conseguem ter isso dentro do Asa tá então o as a gente gerencia vocês criam os bancos e saem usando vocês podem criar em qualquer uma das das três nuvens aí tá então quando vocês estiverem criando o banco ali Ah vocês podem escolher qual é a nuvem que vocês vão usar você se é É gcp ou aws qual é a região E aí desse jeito Vocês conseguem Criar prototipar e levar até produção então vocês não vão ter

um problema de escala quando chegar em produção tá no final das contas essa é a ideia tá o Astra ele tem o Cassandra ali né ele o núcleo dele é o Cassandra ele tem uma série de outros componentes em volta dele a parte de apis parte de streaming e toda a operação ele é baseado em kubernetes isso não é relevante para quem tá usando mas só para vocês entenderem que n o ambiente ele é de fato escalável ele vai escalar de acordo com as necessidades vocês não pagam por provisionamento de ambiente tá então se eu

tiver um banco lá e eu não usar o banco eu só vou pagar pelo armazenamento daquele mês por exemplo tá então ele é uma solução de fato server l tá então vocês criam o banco e usam conforme vocês usarem vocês pagam pelo que vocês usarem no final das contas né Ah aqui uma coisa que às vezes é importante é essa busca vetorial né fazer essa busca por similaridade ela ela é um processo computacionalmente caro um processo que que demanda muito muito processamento Ah então eh tem alguns algoritmos que são usados para fazer essa essas coisas

Ah uma delas é é o hnsw que algumas soluções de Vector search usa a gente até começou usando o hnsw mas depois a gente mudou Pro J Vector que é uma implementação de um outro algoritmo que chama Disk Inn que dá a melhor performance tá então se a gente compara a performance de queries aqui do hnsw né que é esse lucine versus o que a gente tem no j vctor a gente consegue ter uma performance muito melhor E aí pensando né que o Cassandra e o as Ele sempre vai estar nessas aplicações que são muito

críticas performance pra gente é muito importante então por isso que a gente fez essa mudança de ipj Vector e esse aqui é um indicativo da da performance que a gente tem tá beleza fal já falamos então de hag né de como a gente gera os documentos e como esse processo todo ele acontece ali né como que a pergunta de usuário é convertida no im beding como que a gente enriquece o contexto e gera uma uma resposta tá deployment como é que a gente roda isso tá eh tem algum algumas maneiras a a mais simples delas

é a a gente usar aqui dentro aqui do do eu não sei se vocês vão conseguir ver porque talvez meu streaming aqui ele cubra Mas enfim aqui embaixo tem uma um botão de api Deixa eu ver se eu consigo mover um pouco a tela Deixa eu ver se eu consigo diminuir é não vou conseguir deixa eu mudar aqui o meu layout só para vocês poderem ver sim talvez Ô perdão eu fiquei sem áudio né Eh bom então a parte de ap deixa só falar refal rapidamente sobre a parte de de APS tá porque acho que

vocês não me ouviram eh dentro aqui nessa na nesse botão vai ter tem as apis e vocês podem mudar aqui algumas das configurações podem rodar via Python via HTML e aí desse jeito Vocês conseguem ah interagir com usar esse esse fluxo em produção tá como que vocês vão fazer o deployment disso ou se vocês tiverem numa máquina Vocês conseguem rodar mas o mais e correto digamos o mais escalável vocês usarem a docker né ter uma imagem docker com l Flow e colocar esses fluxos lá e aí essa esse docker vai estar disponível para vocês usarem

ali e rodar as aplicações com esse com esse contexto tá executar esses fluxos em produção uma outra coisa legal aqui é a parte de Store então Eh aqui tem vários fluxos que foram criados por diversas pessoas aí Ah que tão rodando aí o o l Flow no mundo então eu vou ter fluxos vou ter componentes componentes eu posso usar dentro de fluxos e esses fluxos Você pode levar para você como se você estivesse fazendo uma cópia E aí você pode eh mudar o seu o seu processo ali Criar o seu fluxo alterar ele para para

atender a sua necessidade tá e uma coisa que eu acabei não falando é que aqui dentro do Astra eh então aqui eu tenho toda a parte do do banco né onde a gente pega a api né então a api tá nesse lugar aqui ah se eu clicar aqui eu copio api aqui eu consigo pegar o token eh Então tudo isso dá para para vocês eh utilizarem daqui daqui que vocês con se conectam com o asta Mas se vocês quiserem não instalar o l flone na máquina aqui dentro do asta tem essa opção aqui então de

mudar pro long Flow vamos dar uma entrada aqui rapidamente e ver um diferen uma coisa que é que é diferente aqui tá dentro do do as Então beleza eu vou criar um fluxo eh vazio aqui só pra gente ver algumas diferenças que existem entre o o l Flow rodando local e o asta tá então uma das coisas que é que é bem legal aqui eu vou arrastar um um chat input aqui e aí eu vou é arrastar aqui o Vector Ah o asta como Vector search tá então vou usar esse input aqui do Astra Ah

vou arrastar ele aqui como input E aí vejam que algumas coisas aqui eu não preciso mais preencher Então o meu token ele já tá ele já gerou o token automaticamente lá no Astra aqui eu posso escolher o banco que eu vou usar né dentro do Astra a gente pode criar diversos bancos tá então eu posso ter bancos por exemplo para cada usuário para cada para cada área de negócio enfim Depende de como você quer organizar os dados mas você tem esses bancos de dados que são serveras que você você não paga para ter um banco

você paga pela utilização do banco Você pode ter mais do que um e qual é a Collection né Se eu pegar aqui ele vai ter aquela Collection que eu acabei de criar E aí eu não preciso escrever tudo isso na mão ou gerar os tokens ou ou pegar o URL do banco de dados desse jeito aqui a gente consegue fazer tudo de uma maneira mais simples ainda então uma diferença de rodar ele aqui ele vai rodar do mesmo jeito tá então que tá o deployment que tá rolando aqui dentro do asta é a versão ah

1.0 aqui do do L Flow tá E aí aqui a gente vai ter diversas coisas aqui no futuro então toda evolução que tá que tá rolando no L Flow Claro ela vai continuar sendo open source mas ela também vai tá aqui dentro ah do do do Astra do do L Flow rodando dentro do Astra então tem muita coisa para acontecer aqui e tá sendo bem bem legal ah vamos ver o que mais só para ver se eu não esqueci de nada la Store falei então acho que já tá indo aqui pro final deixa eu dar

uma olhada no no chat para ver se tem alguma aluma pergunta deixa eu dar uma passada os Boa Tardes qualidade a minha internet não tá boa consigo instalar ele numa vpc VPS ou vpc Guilherme Manda aí Eu não você vai conseguir instalar o jeito ideal de rodar ele né vai ser via você rodando dentro de um docker E aí rodando num Eks em algum desses serviços de de kubernetes ou que rodam imagens que rodam contêiners né Acho que esse é o jeito mais produtivo de rodar Mas você pode rodar numa máquina se você se for

se for preciso tá Rafael perguntando se tá sendo gravado assim vai essa Live vai ficar aqui no YouTube no no Linkedin não deu certo então não vai tá vai tá só aqui eh deixa eu ver a pergunta do peso aqui facilidade ah trazer uma aplicação que já existe pro pro L do do L ch pro L Flow ah aí eu acho que você precisaria atualmente você precisaria refazer se é simples vai depender de quão quão complexo são as coisas que você tá fazendo no L chain se for um fluxo que usa as Chains e usa

algumas coisas de Agents é tranquilo de migrar né de converter uma coisa para outra se for alguma coisa que você codificou muito que você mexeu e tem até gente que que faz o fork do L chain para criar seus componentes ali para criar suas aplicações aí é um pouco mais o buraco é um pouco mais embaixo né então mas eu acho que sim vale Vale a pena porque você vai ter uma maneira de evoluir A solução então o l FL evolu evoluindo você evolui com essas com essas soluções tá acho que essa ideia o é

pago sim mas vocês T de crédito para poder utilizar deixa eu ver aqui pergunta do Rafael usar ensinar modelo se você para você ensinar um modelo Você vai precisar fazer o que a gente chama de f n ele é difícil de fazer porque você precisa de muito Exemplo né muito dado de exemplo do Como você quer que ele se comporte né então ah fazer o fitan é um processo um pouco mais complicado O que é mais simples de se fazer é o rag por isso que eu começaria com o rag se ele funcionar e e

aqui assim é uma técnica bem simples o que eu mostrei mas tem outras coisas que dá para vocês fazerem com rag que permitem resultados melhores tá então tem algumas que chamam react flare tem uma série de outras técnicas que vocês podem usar de prompt e de de hug para ter resultados melhores ainda do que o que a gente viu aqui tá ah é desculpa teve aquela hora que eu fiquei sem áudio né Desculpa aí pessoal os dados funciona em tempo real sim porque a ideia e é justamente essa a ideia aqui eu usei um documento

de texto né mas Suponha que H que eu precisasse usar aqui o score de crédito de um cliente por exemplo então eu vou ter algum momento ali da sessão desse usuário e aí entra o conceito de memória né Entra o conceito da da gestão da sessão de conversação então se eu tiver ali Qual é o código do cliente por exemplo cpf dele eu posso sempre ir ali no meu no meu banco no as a gente tem as apis ali que permitem você se se os dados estão em uma tabela ou em uma Collection vocês acrescentarem

Esse dado dentro do contexto então Ó o score de crédito do cliente é x e aí você precisa só que você também precisa dizer pro modelo como ele precisa reagir aquela aquela informação de contexto um exemplo simples é Ah imagina que eu essa aplicação ela atende todo todos os usuários de qualquer país e eu vou colocar no contexto Qual é o idioma que eu quero que o que a resposta seja gerada então eu trabalho com tudo em inglês documentos em inglês ah todo todo prompt em inglês mas mas eu coloco lá que eu quero que

ele Gere a resposta em português Então essa é uma informação que você tá personalizando de uma maneira bem simplista a resposta do do usuário tá a resposta para esse usuário e aí pode ser em tempo real sim Porque você vai estar consumindo ela em via apis eventualmente ou até Via queres né dadas precisam estar estruturados ou em tabelas quando a gente fala de beding e a gente tá falando de dados não estruturados Então vão ser ah textos imagens esse tipo de conteúdo a gente aqui não tá falando tanto do dado que tá estruturado normalmente o

dado que tá estruturado você vai ter uma o que a gente chama de to ou função aí já um conceito mais de Agentes que vai falar assim bom Se eu precisar para um determinado caso de uso ah trazer o por exemplo ã Qual o saldo do cliente vai vamos pensar que eu quero eu preciso para gerar uma resposta o saldo bancário ah de um cliente eh então eu posso buscar essa informação via api e daí eh você você poder eh usar essa informação para gerar uma resposta tá então ah você vai ter uma T que

explica como buscar para que que serve aquele dado e essa t vai retornar o dado pro pro pro prompt para você enriquecer o prompt E aí o modelo vai usar essa informação para gerar quando ele entender que precisa tá Depois a gente pode até fazer uma live falando sobre agentes que aí já tem essa utilização de funções é um caso de uso que sim Vocês conseguem pegar os dados em tempo real tá L Flow permite lidar com com histórico de mensagem sim um dos componentes aqui ah eu não preparei aqui nesse nesse exemplo mas dá

pra gente a gente T mostrando aqui para vocês ele tá ainda em experimental Mas ele tem aqui algumas coisas de memória então eu posso salvar aqui As Memórias a conversação dentro do Astra e também buscar essas conversas quando for necessário aí você pode buscar as últimas cinco as últimas 10 ou até alguma coisa Ah focada ali no na relevância paraa pergunta do usuário né Então pensa no histórico de mensagens que você já teve com cliente eventualmente você pode pegar as conversas que foram mais relevantes mais relacionad a pergunta atual do usuário que você já respondeu

no passado tá então é é algo que dá para fazer mas sim tem componentes aqui para vocês poderem interagir com as com a memória tá Pergunta do Guilherme $5 é cumulativo são 2 todo mês então se você não usar no mês que vem começa e de novo tá então todo mês você vai ter ele não vai acumular tipo não usei e digamos eu tenha 25 usei 10 sobrou 15 no que vem eu tenho 40 não isso não vai acontecer ele vai sempre ficar no no ali tá Ah pergunta do Mateus aqui possível criar uma interface

com frameworks com stream leit Sim a gente tem uma demo que usa que eu crio esse fluxo aqui né Desse jeito e aí eu interajo com ele através do stream leit tá eu não tenho ela aqui na mão agora mas dá assim a do L Flow chamando stream lit eu acho que não tá porque o l Flow ele ele vai ser uma ferramenta para você criar o fluxo né o strit ele vai ser mais uma ferramenta para você fazer uma ui tá então aqui dentro a gente não não tem mas dentro do streit você consegue

chamar um fluxo do L Flow tá eles estão em partes diferentes ali do do processo tá então atualmente o que a gente vai ter vai ser essa essa essa integração através do dos fluxos do strit usando um fluxo que tá no no L Flow tá Então beleza pessoal acho que tem se tiver mais alguma pergunta Manda aí só Relembrando aqui para para quem tá aqui ainda competição do Lang Flow R 50.000 em dinheiro baita prêmio aqui eh pena que eu não posso participar mas eh eh se empenha aí porque acho que é é um prêmio

legal é uma oportunidade de portfólio bem legal também né então para para quem tiver procurando eh eventualmente mostrar para para dentro da empresa ou mesmo fora da empresa eh É bem interessante e o time do L Flow também tá olhando aí pros pros talentos né então é uma oportunidade aí que vai saber de entrar no time tá então caprichem aí é uma premiação legal acho que motivação para participar que não falta né é um prio bem legal e e é o assunto do momento assim né se a gente pegar sobre a generativa esse aqui de

fato é um é algo que que que é é importante pra carreira de todo mundo né então é é uma maneira de de aprender de praticar e de eventualmente até ganhar um prêmio bem legal aí tá bom Aqui estão meus contatos meu e-mail na dat Tex meu LinkedIn e acho que a maior parte aqui veio do LinkedIn né então provavelmente Vocês já estão conectados comigo lá esse conteúdo vai ficar aqui no Ah no YouTube eh e quem tiver alguma quiser bater Algum papo depois aí Me manda mensagem no Linkedin ou por e-mail e a gente

combina uma conversa aí tá bom pessoal Valeu obrigado para quem para quem resistiu Desculpem os problemas técnicos e a gente se vê eh nas próximas semanas aí a gente vai ter mais coisa tá bom valeu pessoal