BotPress Make ChatGPT Whisper, criando um ChatBot que escuta audios e responde Dinamicamente

imagina só um chatbot capaz de escutar áudios isso não só é possível como é muito fácil de se fazer e eu vou te mostrar no vídeo de hoje de uma maneira totalmente prática com direito até mesmo a um template Zinho no final dessa aula se você se interessou por esse conteúdo fica aqui comigo que eu vou te mostrar como criar um sistema que filtra respondendo dinamicamente pro seu cliente tanto se for um texto áudio ou até mesmo uma imagem que que a pessoa mande ali pelo chat do WhatsApp eu sou Eduardo carz e você está no canal automatiza aí o seu canal especializado em automações com inteligência artificial e como já é de costume não vamos se prolongar muito Bora pro conteúdo que eu tenho para te mostrar aqui na prática vindo aqui pra tela do meu computador a gente tem aqui né esse modelinho que é o que eu vou estar enviando aí para vocês que o que que ele faz Eduardo basicamente aqui no nosso queridíssimo botpress a gente tem um bloquinho chama aqui ó wait for user input em alguns vídeos do canal aqui anteriormente eu tinha já falado do round input que é esse carinha aqui em cima porém ele acabou ficando obsoleto e agora a gente tá aqui nas nossas automações optando por utilizar este wait for user input como que ele funciona Eduardo vamos dar uma olhadinha mais de perto ó clicando aqui em cima dele ele né tem uma mensagenzinha aqui que ele mostra vamos deixar um pouquinho maior para vocês conseguirem ler é meio bugadinho mesmo aqui tá ele não ele não aumenta mas B Bic o que que ele tá falando né a gente pode acessar né o input do texto pela variável event. preview então ou seja se eu mandar alguma coisa aqui para ele eu vou poder acessar essa informação no event preview Inclusive essa informação a gente pode acessar até mesmo antes de iniciar conversa Como assim Eduardo Se liga só se eu ver aqui no meu texto jogar aqui um texto né No início de tudo ó vocês estão vendo que não tem nada aqui então no início de tudo colocar al event P preview Olha o que que ele vai me mandar se eu mandar um Olá O valor vai ser o Olá ó Olá me mande qualquer coisa ou seja a gente pode usar esse event preview para filtrar ali aquela mensagem Inicial essa videoaula aqui eu não vou abordar muito a fundo a questão de filtro é mais para mostrar a lógica aqui do nosso querido porteiro então o que que eu vou precisar fazer Eduardo bom se você ver aqui na documentação dele e ver aqui em messaging channels e vem aqui no WhatsApp app ó o que que ele vai retornar aqui pra gente lá emb Baixão ó se a gente ver aqui a gente vê aqui ó mídia é imagens áudio e documentos então a gente pode ó né Você pode checar se o event. Type é uma imagem um áudio ou um documento e é justamente isso né atrelado aquela Expression que a gente já viu mais ou menos como funciona que a gente vai verificar vindo aqui ó como é que acontece aqui a gente criou né a gente apelidou lá na na comunidade ele de porteiro esse porteiro aqui é um fluxo que literalmente ele só recebe a mensagem e vê qual que é o tipo da mensagem se event Type é um texto a gente né A gente só passa aqui ó a gente bota assim ó user P pergunta porque a gente salva né o valor em uma variável chamada user pergunta por que duard porque essa user pergunta ela é uma variável vamos falar assim Global então eu vou poder vi aqui depois que sair desse fluxo né verificar aqui ó nesse caso aqui está a transcrição que é só para testar mas eu posso colocar né e colocar assim ó ó Essa foi a última pergunta da da pessoa e daí a gente salva na variável user Pergunta a gente salva no user porque se fosse no workflow ele ia ficar limitado aqui ao workflow do porteiro Tá bom mas beleza vamos pro que importa né se a 20.

Type aqui ó é um áudio certo a gente vai criar um web Hook lá no make tá esse web Hook aqui vai ser web Hook seu que você criar aí passando duas na verdade três propriedades tá que é o file url que a gente pode acessar por event. payload audio URL Como assim Eduardo aqui ó na própria wik ele fala né para um áudio é o áudio URL então eu consigo vir aqui ó e acessar ó event. payload pimage URL no caso do áudio é audio URL por isso que a gente passou aqui ó tá vendo esse token ele tá nessa variável de ambiente né que é de environment que é de ambiente WhatsApp access token o que que é isso nada mais é do que eu vi aqui no meu chatbot e criar aqui ó user variables certo aí tem esse aqui ó WhatsApp access token ok que esse WhatsApp access token é esse token aqui que vocês podem ver porque não é permanente mesmo tá que ele nada mais é do que aquele tokinho que a gente tem lá no nosso developers do Facebook tá a gente vem aqui vem em WhatsApp configuração da api e ele já vai est aqui pra gente no caso de acesso temp horário você pode criar uma credencial permanente Tá mas esse aqui como é nosso caso de teste a gente vai usar esse temporário aqui então já vou substituir ele aqui ok e também Vale lembrar que você tem que substituir ele aqui no negócio do WhatsApp então você habilita a integração coloca aqui o access token novo volta aqui copia o número de telefone né cola aqui também certo esse aqui é o Tok de verificação aqui no meu já tá tudo certinho tá inclusive no momento que a gente tá gravando aqui já saiu o upgrade tá se eu vier aqui clicar ó ele já vai fazer o upgrade eu habilito e dou um save aqui para que esse upgrade Eduardo na maioria dos casos é só otimização mesmo para não bugar tá E vocês puderam ver que nem mudou nada aqui não não pediram mais nada para eu colocar Extra então provavelmente não mudou muitas coisas foi só otimização mesmo então beleza passei o token lá vou passar o token aqui também né Opa passei o token errado vamos passar o token aqui também certo fechando aqui por que que você fez isso T você não podia só chegar aqui e passar o token poderia porém meu amigo minha amiga a gente passando isso aí a gente ganha mais Vamos falar assim mais sigilo né a gente protege mais o código e blinda ele se alguém tentar de alguma maneira for mais que vai ser pelo WhatsApp que a gente vai utilizar para não ficar exposto aquela variável sensível dentro do chatbot ok e aqui ó a gente vai salvar esse file P Type né o file Type aqui como áudio porque lá no make a gente criou com uma única né uma única automação a gente filtra o file Type Então se se for áudio né ele vai e vai fazer a automação para escutar o áudio Se for imagem ele vai fazer uma outra automação para ler e transver imagens Ok bom então beleza vindo aqui pro se make O que que a gente tem aqui né a gente tem justamente aquela automação que eu criei né vocês podem ver aqui ó que ele já tá fazendo até o filtro se é imagem ou se é áudio Tá eu vou deixar o link desse template disponível aí para você também tá é um linkzinho Jon você vem aqui no seu meio Import Beleza então a gente tem o nosso web Hook aqui né só vamos confirmar se ele tá batendo aqui com o exemplo tá é justamente isso aqui mesmo então quando eu fizer esse disparo aqui o que que ele vai receber aqui ele vai receber essas três variáveis né que é a variável justamente aqui o file URL certo que é esse arquivo do Facebook a gente vai receber também o token de autenticação e o tipo do arquivo né que a gente passou lá como um áudio Beleza então aqui a gente já criou um filtrinho que é se o file Type é igual a áudio ele vem aqui para esse fluxo Então como o foco desse vídeo aqui a gente se especializar no fluxo de áudios eu vou só dar uma atenção para esse carinha daqui Beleza então vamos lá ó aqui o que que a gente tá fazendo a gente tá fazendo um request para poder baixar esse áudio Ô Eduard Por que que você não mandou o áudio direto lá do do próprio botpress porque no WhatsApp principalmente a gente tem algumas verificações que você precisa fazer para poder acar né porque senão a gente poderia acessar conversa de todo mundo né sem ter esse token de autenticação aqui então beleza entendido isso ó o que a gente tem aqui a gente tem a URL que a gente tá passando aqui vamos só agora botar no modo de edição então o que que a gente vai ter aqui a gente vai ter uma operação do tipo get tá então você vai pegar algum item certo no caso é o file URL igual tá aqui ó né que é o link lá do Facebook e aqui no headers a gente vai passar um item chamado autoriz certo que segue essa formatação que é barrier e você coloca o seu token da onde que eu tirei isso tá não foi do além aqui no próprio né na próprio exemplo do bot press ele tem aqui então você passa uma um Um item chamado autoriz e a o valor que você passa nele é barrier né esse barrier aqui espacinho e a o seu access token tá que é o que eu tô colocando aqui nele ó no make então barrier espaço e o token Beleza o tipo do esse Body Type né é o tipo do corpo n é requisição que você espera receber então aqui ele tem vários tipos no nosso caso esse Raw que é um é um tipo de corpo vamos falar cru né porque cru é tudo que é bruto né então você vai definir ele aqui o content Type ele tem vários Ó tem texto tem json tem XML mas a gente quer um customizado que é o quê áudio né aqui é o tipo Então não é uma aplicação não é um texto nem nada é um áudio barra ogg que é o formato que o WhatsApp manda lá pra gente tá isso aqui eu não tirei do botpress eu tirei do própria do WhatsApp tá mas beleza áudio barg e aqui a gente já dá um ok show agora o que que acontece quando a gente recebe essa quando a gente faz essa requisição a gente recebe um arquivo em dados né num negócio chamado data que é um código hexadecimal não vou me aprofundar muito aqui mas basicamente é um monte de número tá ó vocês podem ver aqui que a gente criou uma integração tá com a Open né com uma aqui ele tem vários módulos né então a gente tem analise analise images tem tem criar uma transcrição que é do Whisper então é justamente isso que a gente quer tá então a gente vem cria uma transcrição qual transcrição que é essa a gente coloca aqui o filename eu posso colocar qualquer coisa que eu quiser Mas eu deixei transcrição pon ogg isso aqui não muda tá Por que Ponto ogg porque é o valor que a gente vai passar aqui né o arquivo em dados ali então transcrição pagg e em fil datata a gente coloca Justamente a data né a informação que a gente recebeu ali do nosso http request certo certo que é isso aqui ó esses montes de numerozinho Belê e aqui você seleciona o modelo que você quer no caso só Whisper né Aqui você pode colocar um prompt né que você pode falar Ah filtre Só alguma coisa dessa mensagem como eu quero puxar a mensagem inteira que é o que eu recomendo que você faça deixa ele sem prompt tá é só opcional isso aqui ele tá até falando ó opcional text para e texto opcional para guiar o modelo tal e formato de resposta você pode passar como Jon como text né como s que é um formato de legendas né e um verbal Jason que é um Jason mais comentado aqui a gente passa em Jon e Por que Eduardo porque daí aqui a gente só vem e pega né Ó o aqui é aquele tá dando o último exemplo que que ele recebeu né E você só pega o texto que você vai receber ali dá um ok né que a gente no caso é um web Hook response que você fez primeiro o post lá PR fez todo esse processo e vai receber uma resposta agora beleza e vamos testar na prática esse negócio aqui agora né então só recapitulando para não ficar muito confuso esse fluxo aqui fez isso tá bom então a gente tem aqui ó ele vai fazer o que depois ele vai pegar a transcrição do áudio né que é a resposta que é essa variável que a gente criou aqui fazendo o post né fazendo a requisição ali ponto data porque se você já viu alguns vídeos antigos aí esse ponto data é um formato global de lê a informação que você tá recebendo tá bom e a gente vai salvar justamente o user.

pergunta como transcrição do áudio eu poderia também fazer isso aqui tá ó aqui eu só deixei mais eh um pouquinho maior ali para ficar mais visível ali de vocês entenderem então show fechamos aqui depois que ele faz isso ele simplesmente sai do fluxo e prossegue tá como vocês podem ver aqui então a gente tem essas aqui com mais etapas né que é primeiro ele manda um texto espera por uma pergunta passa por Pro porteiro e vai aqui pra próxima etapa né nesse caso também você pode utilizar dessa maneira aqui ó tá que é o jeito o melhor jeito possível você vai botar o texto da sua pergunta esperar pelo input do usuário e jogar ele ali pro porteiro beleza bom agora sem mais delongas vamos publicar o nosso amigo aqui e ir pro WhatsApp para ver se ele tá realmente escutando áudios Então beleza ó já mandei aqui o hello world ali né que é sempre bom você enviar para testar aqui na configuração da api certo e agora vou mandar um ozinho aqui para ele vamos ver se ele tá pegando Olha só já ficou azulzinho ali né Então mande qualquer coisa Bom agora vamos testar se a transcrição de áudio tá dando certo olha só que maravilha ele me retornou aqui né Tex Bom agora vamos testar se as transcrição de áudio está dando certo né Por qu porque lembra que eu pedi aqui para ele me mandar um Jon correto então eu posso vir aqui também posso tanto alterar aqui né dentro do bot press ou alterar aqui pelo make então response Format posso colocar texto vamos salvar dar um save ali ele já vai testar então vamos fazer um próximo post bem agora vamos ver se tá transcrevendo já jogando o texto bruto pra gente ó já deu o tiquezinho azul Agora sim ó agora vamos se já está transcrevendo e jogando o texto bruto pra gente agora me conta aí o quanto isso não agrega de valor na sua automação principalmente para alguns casos específicos como por exemplo clínicas que a maior parte ali do público alvo geralmente são pessoas mais idosas imagina a viabilidade que o seu cliente né ou como gosto de falar o cliente do seu cliente vai ter de poder mandar um áudio para automação como essa que junto com a inteligência artificial já interpreta tudo o que ele quer e transcreve o áudio para você isso é justamente sobre gerar valor poder fazer dinheiro ajudando empresas e pessoas a automatizar os seus processos reduzindo custos e aumentando o faturamento que a gente tá lançando o desafio 5k com onde eu vou te ensinar a prospectar seu primeiro cliente fechar seu primeiro contrato e é claro que a gente não pode deixar de te ensinar a fazer sua primeira automação para poder fazer essa entrega de qualidade e já faturar seus primeiros R 5.