Review plataforma de I.A open source - Dify

fala Turma Mateus aqui vamos começando mais um vídeo esse vídeo a gente vai falar sobre Defy tá turma o Defy ele é uma ferramenta que permite você criar agentes de A tá chatbots inteligentes aí com inteligência artificial também e o workflows tá E assim como várias outras plataformas que a gente tem no mercado Flow Type bot ele tem a mesma o mesmo conceito tá a gente vai est abordando aqui nessa aula que não é uma aula completa sobre a ferramenta não é um tutorial de como usar de ponta a ponta é mais um review aqui porque a gente tem comentado muito sobre ela lá no grupo tá e alguns inscritos falaram para eu trazer um vídeo aqui e aqui tô trazendo conteúdo para vocês beleza antes de mais nada já se inscreve no canal se não tá inscrito Deixa aquele like tá para não esquecer e fortalece no comentário com o que você achou aqui do vídeo beleza pessoal vamos voltando com força total aqui no YouTube e a gente precisa de cada vez mais seu apoio no like e no comentário dos vídeos beleza vamos lá turma o Defy ele é uma ferramenta open source tá o que significa isso que ele é de código aberto pessoal código dessa aplicação tá disponível para qualquer pessoa ao redor do mundo que acesse ali o github baixar e subir num servidor que é o que a gente fez aqui tá colocar no nosso servidor ali a plataforma do pra utilização Beleza então você pode pegar ela e utilizar como bem entender tá colocar no seu servidor ali e fazer a utilização diariamente disso em nuvem ok a gente tem toda uma documentação sobre a ferramenta do Defy e os recursos que ela possui e como usar tem recursos de hag vai sair um vídeo completo sobre hag aqui no canal Essa semana tá então fiquem ligados mas o objetivo hoje você mostrar a plataforma para vocês e fazer um review Então vamos lá pessoal aqui no Defy eu já instalei ela no meu servidor eu já loguei tá eh a plataforma aqui então você tem um login senia com ela eh já instalei no servidor certinho e ele você vai cair nessa nessa interface aqui tá assim que você loga da plataforma aqui que que ele vai apresentar para você essas quatro sessões aqui explore Studio knowledge e Tools tá que são as ferramentas e essas quatro seções aqui ó All chat Agent e workflow certo então aqui que que a gente vai fazer navegando aqui em chat ele vai dizer para você ó aqui é para você criar os chats de A tá que você vai utilizar aqui dentro da plataforma para você se consultar perguntar coisas Treinar esse agente com dados então você pode fazer bastante coisa certo aqui você tem a parte dos agentes que inclusive eu já Criei um aqui certo então você pode clicando aqui criar um novo agente tá atribuir as ferramentas a ele aquilo que ele vai fazer né como ele deve se comportar você vai ter a visualização dos agentes aqui nessa sessão e agora mais recentemente você tem a parte de workflow tá que é uma parte relativamente nova aqui dentro do Defy que permite que você tenha fluxos de trabalho tá como o próprio nome já disse para integrar automações ali naquele modelo arrasta solta que a gente tem no automa no flow em várias outras ferramentas tá E aqui no All é todas as integrações juntas tá todos os cards que você criou nas outras sessões tudo aparecendo aqui tá para você conseguir visualizar de um jeito mais amplo tá você pode criar ess tags também tá E aqui tem All tags a gente não criou nenhum ainda por isso que ele aparece aqui mais mas não tem ainda uma tag Mas vamos lá aqui em Explorer é como se fosse uma loja tá para você visualizar os templates que o pessoal coloca aqui do Defy tá é como se fosse uma loja onde tem vários templates prontos que a comunidade criou e integrou aqui aif então você tem agentes de chatbot interpretador de código Python agentes que geram artigos tá então bastante funci analidade aqui pronta já bastante automações prontas Então a gente tem as categorias tá você tem os assistentes que são os chatbots Você tem os agentes tá que eles leva aqui a categoria de agente ó e então a gente pode escolher por exemplo um consultor de viagem né Travel consultant um analista de canais do YouTube então se você clica aqui ó por exemplo ele vai adicionar tá ele vai fazer uma cópia você clica aqui em create vai fazer uma cópia desse agente na sua área de trabalho tá então perceba se a gente clicou igual fizemos ali ó ele vai trazer aqui pra gente ó eh Job description ou seja descrição do trabalho YouTube channel data analytical Pilot ou seja um analisador é o que ele vai ser seria equivalente ao parâmetro rool tá do do Crew ai o objetivo do do agente o que é que ele vai fazer né O que é que ele vai ser aqui a gente já percebe que ele usa uma regra para colocar e o hashtag aqui na frente e através desse hashtag os dois pontos você tá indicando aqui uma uma regra né uma especificação para ele uma restrição Então temos o job description caráter tá que é esse aqui que ele vai mostrar pra gente as características desse agente tá as Skills dele tá então você já percebem isso de forma forma muito clara tá workflow então sempre colocando os hashtags você vai instruir aqui o seu agente essa parte de struct Beleza então puxando aqui um pouco para baixo a gente pode setar variáveis que que são essas variáveis são input de dados que você vai usar aqui no chat se vocês perceberem ó aqui ao lado a gente tem um chat a tela é muito clara então quase não dá para ver esse chat aqui mas temos um chat aqui ao lado certo V até se eu consigo D pro tema escuro aqui tá Vai facilitar pra gente a visualização não ele não mostra no tema escuro tá não achei Talvez seja no painel Inicial ali mas enfim pessoal ele vai mostrar alguns inputs aqui dentro pra gente então se eu clicar aqui em verbos tá Vou colocar aqui por exemplo a short text tá e eu vou colocar o nome da variável como o sei lá eh entrada de dados certo coloquei aqui a nossa variável vou clicar em ativar ela perceba que ele já apareceu aqui ó input entrada de dados um campo para você injetar informações fixas tá que vão ter aqui dentro do seu chat tá então isso seria a parte de variables variáveis né aí você pode criar Quantas você precisar aqui aqui no contexto você pode puxar dados que você tenha de um arquivo TXT um PDF e puxar aqui da sua base de conhecimento tá Essa parte a gente já entra no conceito de hag E aí eu teria que explicar mais a fundo o que é que é o conceito de hag para vocês tá basicamente é você pegar um texto deixar ele numa base é onde você pode armazenar esse texto e deixar ele salvo ali e aí você usa ele sempre que você quiser e para o seu tá então esse é o conceito de ha a recuperação de dados tá aqui eu vou deixar em branco por padrão isso não é obrigatório tá mas você poderia treinar o seu agente com informações e aqui por padrão como ele é um analisador do YouTube ele tá usando aqui uma Tool né que é as ferramentas que ele tem acesso igualmente o que tem que eu já expliquei para vocês aí nas aulas anteriores ele tem um gráfico de barras tá ele pode pesquisar no Wikipedia e pode eh ver a data e hora atual tá aqui a gente poderia adicionar uma ferramenta para integração de api com o sistema externo onde a gente eh pudesse puxar ali né a transcrição de vídeos do YouTube ou então a gente se integrar com a própria api do YouTube tá que você vai pegar sua credencial ali no na Google e colocar a chave aqui dentro certo então você vai colar sua chave aqui dentro tá você clica aqui em true autorize vai colocar sua chave e ele vai est integrado api do YouTube ele vai poder puar estatísticas de vídeos Ali na internet Beleza você também pode integrar com api aqui tá de forma personalizada então você vem aqui em Custom Create Tool tá dá um nome para essa sua ferramenta E cria um esquema aqui tá E aí você vai poder fazer um at personalizado beleza que ainda não existe Tranquilo então aqui pessoal a gente adiciona as ferramentas que a gente quer que o nosso agente possa utilizar aqui a gente tem o chat enhance tá que é um é como se fosse uma template né do chat Inicial que ele vai ser inserido aqui ao lado para você tá então perceba que esse mesmo texto que tá aparecendo aqui é o que aparece aqui do lado tá então aqui ó com um analisador de dados do YouTube eh Providencie e dados compreensíveis tá de alguma coisa que ele tá pedindo aqui você pode colocar num tradutor caso você tenha dificuldade com o idioma inglês tá mas basicamente Ele tá dizendo aqui que ele vai ser um analisador de canais do YouTube e tá pedindo para analisar alguns dados que que ele vai solicitar aqui através do usuário Beleza então é um prompt fixo que a gente coloca no conversa conversation Open né que é essa opção aqui se você quiser você pode editar esses dados tá E aí você coloca aqui adicionar option você cria essas opções fixas que estão aqui tá que aí ele já encurta o o que você já não tem que digitar aqui nesse input alguma coisa paraar você já tem uma opção template pronto ali que você pode clicar por exemplo poderia providenciar uma análise do canal do mis Beast aí se você clica aqui el vai fazer a análise do canal do MrBeast beleza e aqui eu já tô conectado com a minha ap do GPT tá pode ver que ele tá puxando aqui ó a data e hora atual certo e aí ele vai fazendo algumas ações tá ele trouxe aqui um relatório ó como vocês podem ver tá tá usando a minha ap de GPT que eu conectei aqui dentro já para você fazer isso é só vir aqui ó em settings em AG tá na verdade e colocar a sua api do da Open tem aqui Um não é bem a parte de Agent né a parte de api você clica aqui e aí você vai escolher o modelo que você quer selecionar aqui tem o GPT e por padrão tá mas você pode selecionar o qualquer outro modelo que você queira diar tá e agregar aqui ao ao seu agente beleza mas ele já tem uma integração muito boa com o chat ept tá Nativa inclusive E aí ele traz aqui para mim ó a a solicitação que eu fiz tá que é o conteúdo do canal do MrBeast tudo em inglês tá eu falo eu vou perguntar poderia retornar em português a eh os dados do canal do MrBach é bom você ser específico tá pessoal não só colocar em português ele tem contexto Mas é bom você ser específico para ele saber o que você tá pedindo aqui com mais clareza então o que que eu quero em português os dados do canal do M bish ele traduz aqui a mesma informação que ele trouxe ali ó certo então aqui ele puxou do Wikipedia porque a gente só tem o Wikipedia Nessa versão aqui tá Que o usuário montou ali de template você poderia conectar com o Api do YouTube criar uma ferramenta personalizada para o YouTube tá de integração de api que puxa ali dados do YouTube eh para ele conseguir manusear essa ferramenta e trazer dados de um canal para você real não coisas que ele tá puxando Wikipedia porque o Wikipedia ele não é atualizado em tempo real e dessas informações aqui que ele sabe é o que tem na internet mesmo já antigo né informações antigas ali ele tem se você perguntar uma coisa específica ele não tem ferramentas ainda para buscar isso porque o Wikipedia não atualiza informações sobre um canal todos os dias isso acontece de tempos em tempos tá aqui a gente tem o follow tá que é três sugestões para a próxima pergunta tá que a que o o a ia faz aqui ó como vocês podem ver ó Qual o público do canal Quais são as tendências então após ele gerar sua resposta em cima da resposta aqui você pode fazer uma pergunta complementar tá então aqui você já tem aqui a a as perguntas aqui o followup que é o que ele mostra Beleza pode adicionar eh recursos aqui como Dex Speech tá para você falar e ele traduzir pode e colocar o o SPE to text né para para você falar ele traduzir o texto para fala também para ele narrar ali a O Retorno que ele trazer tá do do do que ele puxar do canal eh aqui a gente tem a tobox tá que é a moderação de conteúdo tá que ele coloca aqui o modelo seguro de saída para e eh conteúdos sensíveis né Word e conteúdos sensíveis a lista de palavras que você não quer que traga esses conteúdos aqui então se você ativar isso você pode colocar palavras aqui seria tipo um Stop Word tá eh palavras que você não quer você quer privar tá assuntos que tenham a ver com essas palavras e aí ele não vai trazer tá então bem interessante também citações e atribuições então aqui ele tem ó mostrar fonte do documento e atributo sessão de atributos né gerados no conteúdo então aqui seria para você puxar de onde que ele que ele trouxe aquela informação né queele tá te retornando ali ele pode fazer isso também se você deixar ativo ele traz essa recomendação para você se você deixar inativo ele não traz Beleza então aqui a gente tem bastante coisa tá pessoal annotation replay você pode manualmente adicionar alta qualidade de resposta para o Cash para priorizar o Mat né com eh questões similares do usuário tá então seria anotações aqui e enquanto o chat tá gerando ali as respostas Pelo que eu entendi tá pessoal beleza e podemos fechar aqui tá e dar um restart basicamente é isso tá pessoal você tem aqui as Tools esse aqui é o modelo de agente que você consegue criar dentro do Defy de forma muito intuitiva e puramente visual Então você consegue especializar um agente em conteúdo a gente tem aqui a parte de noled né né que é o conhecimento então você pode carregar aqui ó é conteúdos para cá pra sua base de conhecimento ele vai te pedir Ó você pode importar coisas do notion pode importar coisas de website isso aqui tá em Beta ainda por isso que ele colocou em com son então a gente pode puxar eh em breve coisas de um site aqui dentro do hfy eh você pode importar do seu computador um TXT um arquivo csv por exemplo vou pegar aqui ó um arquivo de transcrição do YouTube tá deixa eu só puxar aqui aqui para o lado para eu encontrar esse arquivo aqui ó tradução do evento que teve na Google que eu transcrevi ali o vídeo pra gente poder entender melhor os principais tópicos ali daquele vídeo de 2 horas publicaram no YouTube vou jogar a transcrição aqui clico em next tá ele já pega aqui a minha transcrição ó como vocês podem ver tá do vídeo lá do YouTube você vai dizer aqui se você quer ele disse aqui que tem 37. 000 tokens nesse texto tá E ele pergunta se você quer fazer o módulo de e inserção desses dados automático ou customizado E aí você vai mexer aqui nas questões de R tudo isso eu explico lá no no circuito criativo tá pessoal pra gente até não prolongar muito conteúdo Mas eu posso trazer aqui no canal também se caso vocês deixarem muito like aí então aqui a gente tem e o o index mode tá tá que seria o imbed das informações a inserção pode ver que ele quebrou aqui em vários blocos esse texto tá para fazer o imbed E aí você pode ou usar o modelo economical ou usar o modelo High Quality que é o que eu recomendo tá para ele fazer esse bed de informações ele fraciona todo o seu texto em pequenos pedaços ali e vai tá inserindo esses pequenos pedaços na sua base ali vetorial tá aqui ele vai te perguntar otimização de busca né a qualidade dessa a sua otimização de busca na hora que você tiver perguntando algo que for referente a dados que tem dentro desse arquivo de de texto aqui de transcrição tá SRT como que ele vai encontrar isso tá então e a gente pode mexer aqui no topk e no score Thrash Hold coisas que tem no ntlm ali também tá então eu falo isso de forma mais técnica também lá no circuito a gente pode trazer um vídeo completo aqui em breve tá E aqui o full t né a busca pelo texto completo e a gente pode colocar aqui o o modelo de ranqueamento né que ele vai eh rank Model né ranar o o modelo como ele próprio menciona aqui vocês podem dar uma olhada aqui ó e ele vai organizar melhor a busca semântica que ele faz dentro do seu conteúdo é isso que ele que ele traz aqui tá depois vocês podem dar uma olhada mais a fundo para entender melhor é isso aqui basicamente é uma otimização Zinha tá na busca aqui de tudo isso aqui são otimizações tanto na base vetorial quanto na consulta em si que ele vai fazer quando você perguntar por algo e ele for buscar por esse algo coisas que tem a ver com esse algo né dentro do seu texto beleza e aqui você pode optar por busca híbrida Então você tem essas três opções aqui que você pode selecionar tá eh para mexer na na parte de haag hag é um termo é muito técnico tá Pessoal vocês T que aprender eh as diferentes nuances em cada plataforma que você mexe seja no Defy seja no ntlm cada uma tem sua peculiaridade ali beleza e a gente pode salvar ISO aqui e salvando ISO ele vai pegar esse ele vai pegar esse texto e inserir aqui na sua base de conhecimento tá então assim eh eu vou salvar isso aqui tá ele tá pedindo aqui o modo de re Hunk né que é o que ele chama ali e deixa eu deixa eu só dar uma olhada nisso aqui não vale a pena a gente mexer nisso agora mas eu vou selecionar aqui um qualquer modelo esse modelo aqui inicial Tá que é o principal pode tá esse aqui do corrir aí você vai adicionar os modelos de a que você quer utilizar aqui dentro a partir daqui tá então até o momento a gente só tem o coriri o da NVidia e o Gina tá o corrir ele tem uma um site tá para você pegar as apis ali e colocar aqui para para testar isso então você pode vir aqui no correr. com.

br P com na verdade né e puxar sua chave abi tá eu tava fazendo esses testes aqui eu tenho uma continha no site do coriri E aí você coloca aqui no Defy tá e ele vai configurar sua base de conhecimento sua base de dados beleza mas como você pode usar outras fontes tá pessoal você não precisa ficar refém a base de dados que tem aqui no Defy não tá você pode usar outras tá via acesso por api ele te dá o acesso à sua base de dados aqui por api tá assim como outras soluções que a gente tem no mercado e e você pode agregar aqui tranquilamente ao bot então o bot ele não não vai ter só o conhecimento que que você jogou para cá para o Defy não você pode usar um ntlm você pode usar um chrom adb um Face tudo que a gente fala lá no no circuito criativo tá E e ensina inclusive como você faz essas integrações via api como aqui não é um tutorial sobre a ferramenta dei com propósito de alguma coisa é apenas um review eu não vou est entrando em detalhe disso aqui nesse vídeo Tá mas a gente pode trazer tudo vai depender do comentário de vocês e se vocês querem de fato essa aula beleza aqui na parte de TS tá pessoal a gente tem as ferramentas que estão disponíveis até o momento aqui no Defy Lembrando que você tem essas ferramentas que estão aqui mas o você tem a opção de criar uma ferramenta customizada Beleza então o Defy ele é uma ferramenta que usa Python na criação dele aqui tá E e te permite né você integrar com algumas apis tá então você tem aqui algumas APS que precisarem de autorização você pode colocar a chave aqui aqui você coloca por exemplo a importação da URL você consegue fazer um template em branco tem toda a documentação aqui da do Defy tá de eh de como mexer nessa nessas partes aqui do do Defy E aí você criar sua ferramenta personalizada para integrar com algum Api para gerar um texto um arquivo enfim e aí a gente poder ter uma opção de integrar com algo que não existe aqui ainda manipular uma ferramenta que não tem uma integração Nativa aqui ainda dentro do Defy beleza bem interessante também certo então aqui basicamente é isso tá a gente tem a parte de workflows também que é uma parte de fluxos de arrasta e solta onde você pode clicar aqui ó selecionar é novo ainda por isso que tá em Beta eu vou colocar aqui sei lá aula de F essa aula aqui vai ser bem aberta tá pessoal testando coisas como vocês podem ver eu não tô sendo muito técnico aqui tá não tô cortando muito eu tô puxando o conteúdo da plataforma também com vocês é algo que eu comecei a usar recentemente o Defy eh dei uma estudada nela para trazer ali o módulo completo do curso em tudo que tem nela e jamais tigar esse conteúdo para vocês Beleza então aqui a gente tem nessa parte de Beta eh o fluxo de arrast se solta como o automa por exemplo como flowise que vai te permitir trabalhar essas variáveis aqui no formato arrasta e solta então você pode puxar você pode trabalhar com eh a recuperação de um de um conhecimento que você tem aqui uma base vetorial né para fazer o rag você pode usar um modelo llm específico aí ele já vem por padrão GPT 4 mas você pode clicar aqui e procurar os modelos disponíveis tá até o momento ele tem uma integração Nativa com o GPT da turma mas Futuramente eu acredito que ele vá ter ali um um grock um Lhama da vida tá um Lhama 3 do Facebook com 70 bilhões de parâmetros E aí a gente vai poder ter muito mais opção até o momento ele tem aqui o chat PT pelo que eu percebi em todas as versões desde o 3. 5 até o for né que é a versão mais recente tá então a gente pode mexer nesses fluxos de arrasto e solta bem interessante e ele é bem prático de usar tá como vocês viram aí não tem muito segredo não só instalar ele no servidor ou você usar a plataforma paga do Defy porque eles também tem um um serviço paga tá você pode ir no site deles Defy e assinar ali caso você não queira ter que subir para o servidor a sua versão pode pagar uma taxa aqui no site tá que atualmente essa taxa está em 9 se for viável paraa sua empresa e você precisar disso aqui você pode est considerando aí tá entrar nesse plano aqui e fazer a dele Daí ele tem os recursos aqui só que eu acho que é muito mais interessante você colocar num servidor que aí a sua escala vai ser muito maior você vai poder fazer o que você quiser com a ferramenta e não ter e o custo fixo do site e sim o custo fixo de e manter ali um servidor tá então você tem mais escala nesses casos beleza aqui a gente também pode adicionar requisições ap personalizadas tá então aqui você coloca o link os cabeçalhos isso eu achei bem interessante porque tudo hoje na internet a gente conecta com apis né então por exemplo se eu quiser fazer uma requisição aqui ó vamos lá vou pegar esse site aqui de leilões tá que é o leilões nesic. com.