Unknown

estamos online no YouTube acho que estamos hein verá Boa noite galera tudo certo aí Que foi galera aí Oi ó vou aceitar a galera aqui no Zoom Boa noite galera tudo certo como vocês estão aí mais uma quinta-feira mais uma live Boa noite beleza galera boa noite boa noite boa noite noite Fala pessoal boa noite tá aqui a galera tem a galera Boa noite pessoal boa noite boa noite aí pra galera do YouTube pra galera do zoom boite lá deixa eu ver aqui o chat Boa noite Boa noite galera boa noite galera show galera a

entrando só dá mais um minutinho aqui at a essa do pessoal entrar andar nos outros grupos aqui hum show galera conversar um pouco com vocês aqui da onde vocês são qual cidade Qual estado deixa o link aí para deixa o link não coloca no chat para mim ver Brasília Ô tava vendo aqui tem uma galera forte de Brasília de a Fortaleza São Paulo Joinville Ó tem gente do Japão Angola galera da Angola aí Guarapari Taubaté ó Taubaté Gonçalves MG Florianópolis Guarulhos ó então a galera de Portugal Espanha show Maceió bacana bacana deixa eu dar uma

olhada aqui no YouTube Daiatuba Guarulhos top galera para mim saber aqui como que tá o nível de vocês Qual é a profissão de vocês Coloca aí com que que vocês trabalham para me entender um pouco melhor fotógrafo gerente de marketing dentista bacana consultor advogado médico programador bacana hein comercial de agência bacana show de bola gestor de tráfego Ô cara todas as profissão que eu li aqui vocês mandaram dá para implementar e e dá para ter excelentes resultados mesmo que seja um pouco conhecimento um pouca aplicabilidade ó se Google ADS principal show vamos começar lá então

Gabriel tá aí Gabriel deou te dar o co-host aqui para já ficar também você liberar o microfone tá aí desmonta aí para ver se se foi show funcionando tão me ouvindo funcionando galera tá te ouvindo aí vamos lá beleza ótima noite a todos galera para prazer estar aqui com vocês mais uma semana tá hoje estamos aqui com um convidado ilustre Gabriel Marcondes e Engenheiro cientista de dados né Gabriel da academia de lendários até para apresentar para vocês e hoje a gente vai falar de um tema muito importante muito não é em si uma ferramenta como

as outras lives tá que é make Defy manychat CRM etc a gente vai trazer um assunto que muita gente tá pedindo que tem dificuldade que é etl em tratar dados Gabriel se apresenta aí pra galera fala um pouco mais de você antes da gente começar aqui Claro Boa noite pessoal tudo bem eh meu nome é Gabriel Marcondes vocês podem estar me chamando de Marcondes hoje eu sou cientista de dados sor aqui da academia lendária da nossa parte de TEC também e ten bastante experiência já na área de dados já atuei como cientista como analista de

dados engenheiro de dados too tudo que envolve dados já já consegui trabal tralhando e hoje eu venho ter essa oportunidade de trazer para vocês o esse processo que é um dos processos mais importantes não o mais importante que nós temos na área de dados que é o etl que hoje tanto paraa área de dados quanto para ia né a gente acaba utilizando bastante e ter esses conceitos bem Claros Vai facilitar demais tanto no processo da empresa de vocês na visualização de dados geração de de insites eh tratamento em cima do dos modelos que vocês estão

fazendo de a os agentes e tudo mais eu acredito vai ser uma live muito bacana eu vou conseguir apresentar bastante conteúdo show e de sempre pessoal a gente vai abrir para vocês no final para vocês tirarem dúvida ligarem o microfone então toda dúvida que tiver eh pode anotar aí e deixar pro final que a gente vai responder todas tá eh Se quiser mandar no chat aí também pode ficar à vontade mas a gente vai deixar pro final Beleza então antes do Gabriel seguir aqui eu quero falar para vocês que tô tô muito feliz né em

tá participando aqui de mais uma live Tem uma galera que tá acompanhando aí direto deixa no chat aí quem é a primeira Live que tá aqui coloca um quem é a segunda coloca dois quem é a terceira coloca três só para mim ver aqui o nível da galera Ó o nível tá alto aqui 3 3 2 TR é Tem uma galera aqui que tá participando de todas fico fico muito feliz recebe muito feedback então a galera que me chama no Instagram Então vamos lá para mais uma excelente no de muito conhecimento e muita prática também

fechou vamos lá Gabriel bacana pessoal vamos lá começando pelo conceito deixa eu apresentar minha tela apresentação tá tudo certo Tudo certo eu tô vendo aqui beleza pessoal vamos começar do básico né lembrando essa uma uma live a gente tá trazendo pessoal de Fora topo de funil Então essa essa ideia Nossa é realmente todo mundo a gente conseguir trazer todo mundo a quem não tem essa familiaridade com dado ainda a gente conseguir passar essa ideia da importância que a gente tem nesse processo e como a gente pode agregar sua operação com isso então vamos fazer primeiro

a definição e objetivos do etl então o etl ele vem né do de uma sigla de stract Transform in load então ele é um processo de três etapas que nós temos a primeira que é a extração né a gente vai extrair estes dados de alguma fonte essa fonte ela pode ser de repente o RP da sua empresa ela pode ser o CRM que você tenha na sua empresa Marketplace essa extração ela tem diversos métodos né a gente pode estar extraindo via api a gente pode extrair ela por um web scrapping por exemplo ou um Export

Então o a primeiro momento nós vamos extrair esses dados e ter aquela base bruta dos dados que nós vamos trabalhar a segunda etapa seria o Transform que é o momento onde a gente vai deixar esses dados no modelo Onde eu posso utilizar aonde eu vou aplicar os meus filtros eu vou trazer os dados de repente Olha eu quero fazer uma análise de um período específico Então vou filtrar esses dados por esse período específico ou de repente de uma região dos meus clientes ou quem comprou um produto específico e até mesmo que é uma das partes

mais importantes que a gente tem dentro do Transform mu das bases que nós trazemos principalmente Por trazer de múltiplas Fontes elas podem ter inconsistências nos dados então a gente precisa remover duplicatas a gente precisa alterar tipos né de repente a sua data que é o time stamp ela não tá no formato certo os seus valores Eles não estão como valor eles estão como um texto eente parado por ponto em vez de vírgula e o seu Excel o seu esql não vai est entendendo né esse processo Então ela é uma etapas das mais importantes sen não

a mais importante dentro do etl que é quando eu vou tratar esse dado para ele ser hábil para uma análise posteriormente e por último a gente tem a a etapa de load que seria a nossa etapa de carga a carga a gente vai tá subindo essa base já tratada para um repositório um banco de dados a onde eu vou conseguir distribuir isso seja para minha empresa para minha operação ou onde eu vá criar um dashboard eu vá colocar no data Warehouse para eu conseguir fazer minhas análises então é é simplesmente a etapa onde eu vou

escolher o repositório aonde eu vou colocar esses dados já tratados pensando nessa análise Então vamos passar um pouquinho por cada uma dessas etapas como eu expliquei etapa de extração a gente tem diversas Fontes Então a gente tem sistema internos sistemas externos planilhas que é o que acontece muito dentro das empresas né Cada setor ele consegue desenvolver uma uma planilha diferente então o financeiro ele trata muita coisa al dentro de uma de uma planilha você tem sua Controladoria com outra planilha o pessoal de vendas Então você tem dados dessas Fontes você tem Fontes consolidadas Tais quais

Como eu disse um RP um CRM o seu Marketplace E você tem esses bancos de dados externos mídias sociais né hoje até mesmo aqui no nosso na nossa Live eu vou est apresentando também a gente extrair dados de redes sociais que é muito comum hoje as métricas das nossas operações estarem dentro de redes sociais também e com isso a gente identificar as informações relevantes você pensar Olha eu vou criar uma análise e para essa análise eu preciso de quais dados Olha eu vou criar uma análise que eu que eu preciso ter uma uma gestão de

transporte do meu produto Então eu tenho que trazer daquela fonte aonde a gente tem endereço transportadora e todos os dados referentes a isso então a gente mapeia isso primeiramente e extrai os dados devidos de cada fonte um exemplo é uma empresa de e-commerce ela pode extrair seus dados de vendas do seu sistema de gestão né ele tem um sistema ali de gestão ou até mesmo se ele usa um uma ferramenta tipo um shopify algo do tipo vai tá ali né Essa gestão de vendas ou se ele faz o o o site dele de repente no

WordPress ele vai ter uma ferramenta terceirizada para ter essa gestão de venda então dali a gente já tem uma informação a gente já tem ali o que seria a nossa tabela de vendas e aí a gente tem o nosso estoque vindo do rp né lá no RP ele vai ter toda a minha movimentação de estoque de repente alguma parte de produção endereço né todo todo esse pedaço vai tá dentro do meu RP a gente tem dados de tráfego que pode estar vindo do Google Analytics pode estar vindo do do meu meta ads né e comentários

de clientes de redes sociais então perceba que a gente tem múltiplas Fontes todas elas podem me gerar insites poem podem gerar eh tomad de decisões na minha empresa que podem acarretar o meu faturamento e a gente pode tá entrelaçando né essas informações tá criando uma base consolidada de uma fonte única então é sempre importante né a gente ter esse conhecimento dos dados que a gente tem da da nossa empresa e fazer essa extração de múltiplas Fontes as fontes comuns que nós temos como eu disse são sistemas internos né Nós temos os os rps né que

são sistemas empresariais a a gente tem o SAP tem o totes eh Bing om né Temos vários exemplos cada empresa usa uma temos crms né paraa parte de de gestão do usuário em si parte de gestão financeira ferramentas de fluxos de dados né quando a gente trabalha com múltiplos bancos geralmente a gente utiliza temos fontes de dados externos que é muito comum que são relatórios né planilhas dentro do sheets dentro do Excel que você pode tá tá tendo dentro da sua empresa temos também essas planilhas é aqui tá repetido as planilhas e arquivos e sensores

de IOT que seria quando você tem uma produção e de repente essa produção lá gera os logs que a gente chama eles geram ações vindo de de máquinas vindo de ferramentas que você tem partindo pra transformação de dados né Depois da extração a gente vem com a transformação que seria essa parte de limpeza né onde a gente vai est removendo essas duplicatas onde a gente vai est tirando dados antes a padronização que é quando a gente mantém tudo dentro de um mesmo tipo né os dados dentro do mesmo tipo Olha o meu por exemplo eu

tenho uma base de dados que o de telefone e eu posso decidir se eu quero manter o DDD junto ou não então eu posso estar separando eles então eu tenho que escolher uma das duas eu tenho que padronizar aquele dado de repente eu quero que os meus meus skus da minha empresa né meus itens da minha empresa estejam todos em maiúsculo Então a gente tem que criar esse padrão dentro desse processo para que a nossa base siga isso enriquecimento de dados então enriquecimento e integração de informações é quando a gente traz tabelas adicionais para poder

enriquecer aquele dado então como eu disse de repente no CRM a gente vai ter informações do nosso cliente de maneira que eu tenho o nome do cliente eu tenho o telefone dele o e-mail dele então eu tenho aquele Lead completo mas lá na minha ferramenta de gestão de vendas Eu tenho esse cliente novamente né eu tenho eu posso estar usando um ID para poder juntar essas duas informações o que a gente chama de chave primária que pode ser de repente o CPF né que ele vai ser único para esse cliente ele vai estar duas vezes

nessa base e ele aparecendo múltiplas vezes a gente precisa realmente ter um ID dentro da base criado pelo sistema e com isso eu posso agregar informações dessa segunda base a primeira então aonde eu tinha só os dados do meu cliente eu posso estar agregando os itens que ele comprou valor que ele comprou quanto que ele pagou de juros de repente qual que foi o tipo de pagamento então a gente pode enriquecer esses dados para ter uma base única mais robusta trazendo de dessas diversas Fontes então um exemplo uma empresa de varejo né ela pode receber

dados de diferentes formatos de data moedas e unidades de medida então durante a transformações a gente padronizar esses dados né então a gente tem datas diferentes né os time stamps ele tem tem o modelo americano aonde a gente tem os meses primeiros os dias depois ela pode estar vindo com data e hora e de repente Essa hora não é tão interessante para você eh moedas né onde a gente pode pode ter questão da própria moeda em si ela pode estar numa moeda errada ou até mesmo casos decimais que não tem necessidade Olha tem cinco casos

DCI mais não tem tanta necessidade para mim dependendo da base nem duas assim porque eu não quero ver centavos porque um produto de Ticket muito alto não visa essa necessidade e as questões de unidades de medidas onde de repente eu quero separar por milhares quero separar por metros de repente se o meu produto tem esse tipo de metrificação depois disso eh a gente tem informações adicionais como localização de loja o perfil do cliente que poderiam ser adicionados para enriquecer os dados né tal qual o exemplo que eu dei anteriormente a gente buscar de outras fontes

para poder criar uma base mais robusta onde eu tente concentrar todos os dados que eu tenho daquele cliente ou daquele meu item em uma base só de maneira que eu tenho uma visão mais sólida e na hora de eu gerar um Insight de eu gerar uma tomada de decisões dentro da minha empresa eu consiga ter essa visão mais Ampla do que eu tenho sobre aquele produto Ou aquele Lead então aqui eu já dei né os os exemplos né de limpeza onde a gente vai remover essas inconsistências temos as padronizações onde a gente vai uniformizar esses

formatos e informações enriquecimento trazendo os as bases adicionais em cima disso e integrações quando a gente combina esses dados de múltiplas fontes e por último nós temos a etapa de carga né que é quando a gente vai utilizar de um repositório né de um banco de dados A grande maioria das vezes pra gente poder armazenar o dado que foi extraído e tratado a gente tem exemplos como os data warehouses e os data lakes sendo os data warehouses os mais comuns utilizados principalmente nessa questão de geração de insite nessa questão de criar um uma visão de

de Business intelligence né de inteligência de mercado porque ela funciona de maneira mais rápida um pouco mais leve tem algumas limitações de tamanho tem algumas limitações de tipos de dados mas numa empresa onde por exemplo os nossos dados são todos tabulados né a gente tem dados que seriam comport dados no Excel a gente costuma utilizar o data Warehouse para ter essas análises mais rápida e ter um um bom armazenamento de maneira volátil e a gente tem também os data lakes os data lakes Eles são muito utilizados quando a gente tem vários tipos de dados Então

imagina uma aplicação em uma empresa que seria por exemplo um banco um banco ele além dos seus dados né escritos e tabulados que ele tem que que guardar ele tem que guardar de repente a sua foto né aquela foto de quando a gente usa o reconhecimento facial para poder tá tá validando alguma coisa grava áudios porque você fez algumas ligações pro banco então é tudo protocolado tem que estar gravando aquele áudio eh grava arquivos também porque por exemplo seu boleto que ele é gerado em PDF ele pode ser guardado dessa forma hoje em dia já

existem outras formas de você gerar ele na hora e não necessariamente ter que guardar assim mas a ideia é essa né você ter algo um pouco menos estruturado no sentido de consulta mas que comporta vários tipos de dados né Então essa essa etapa ela define muito bem essa estratégia de carregamento Então a gente tem três tipos de de carregamento vamos ver aqui eh aqui eu tenho um exemplo voltando aos tipos de carregamento nós temos a carga completa onde nós pegamos geralmente a gente utiliza a carga completa quando nós nós temos um um banco a primeira

vez que nós vamos subir um banco que é quando todos os meus dados que foram extraídos eu vou subir ele pro repositório aonde eu vou colocá-lo por exemplo date Warehouse então eu extraí todas essas informações dessas ferramentas que eu tenho da minha empresa e vou criar esse repositório a primeira vez eu vou fazer uma carga completa porque ela vai garantir a fidelidade dos dados já que não vai vir eu não vou ter problemas de dados faltantes já que eu tô colocando tudo e Porém ela tem um custo computacional muito alto já que eu tô né

subindo todos os dados que eu tenho dentro da empresa então ela não ela não costuma ser muito utilizada com recorrência e ela também tem um fator de substituição Então imagina que assim ó todo dia eu tenho que atualizar uma uma base de clientes que eu tenha dentro da minha empresa não é ábio que eu extraia todos os dados que eu tenho de hoje para trás e crio aquela base gigantesca e amanhã eu extraio todos esses dados de amanhã para trás e substitua essa base né é um processo com um custo computacional muito alto então para

isso a gente tem a carga incremental a carga incremental ela vem de maneira com que eu consiga definir que a partir por exemplo de uma data eu vá colocar então eu vou fazer uma carga incremental quinzenal da minha tabela de clientes então eu consigo programar para que ela pegue aquela data a partir da última atualização e coloque os 15 dias após e faça essa carga o ela tem algumas desvantagens né onde eu pode ter dados faltantes eu tenho que setar muito bem essa esse ponto de onde eu fiz a última carga e onde ela vai

ser feita agora né pra gente não ter nenhum tipo de problema porém ela é bem mais rápido Ela é bem mais volátil e a gente consegue tá tá utilizando e nós temos a carga em tempo real também né que a carga em tempo real Como o próprio nome já diz ela à medida que os dados são inseridos dentro da base ou dentro da ferramenta a gente vai conseguir estar atualizando ela dentro do sistema então que a gente tem um exemplo então uma empresa de serviços financeiros ela pode carregar diariamente os dados de transações bancárias em

seu dat House de modo a manter um histórico atualizado das atividades dos clientes essa abordagem permite a geração de relatórios análise em tempo reais apon a tomag de decisões então aqui foi um exemplo da carga em tempo real então se eu tenho essa necessidade onde eu vou fazer uma análise de bi que é muito utilizado eh apesar do bi também trabalhar muito com d-1 né Eu sempre olhar pro dia anterior Porque eu já tenho uma informação consolidada para uma tomada de decisão mas trabalhando em cima de um dado crítico aonde realmente uma gestão ela tem

de tomar uma decisão mais rápida a partir daquele dado é sempre interessante a gente utilizar a carga em tempo real então é aqui eu já tinha montado né e com todos os pontos vantagens e desvantagens já que eu já tinha apresentado certo Então ess esse foi o nosso conceito de etl acredito que de maneira bem simplista a gente consegue est entendendo e como ele funciona e agora a gente pode est seguindo né pras práticas quer adicionar algum ponto Pedro Ah tá me ouvindo aí tô T ouvindo show tinha tinha caído aqui a a Live travou

aqui mas pode seguindo aí Gabriel Beleza então a partir disso vamos paraa nossa primeira prática né uma prática bem simples pra gente entender primeiro o conceito de extração eh dentro do conceito de extração eu gosto de de entender assim as facilidades que a gente tem em cima disso nós temos as extrações via api né as api que são nada mais do que uma maneira Onde eu consigo comunicar eh Ambientes diferentes ferramentas diferentes Então ela é dada por end points que seria um tipo de URL você vai olhar ele é como se fosse um RL mesmo

de um site e lá dentro é como se fosse um contrato de como eu consigo extrair esses dados dentro da plataforma as epis elas eh você tem epis públicas tá o qual api do do do IBGE Você tem uma API por exemplo do Via CP que eu vou estar utilizando como um exemplo para ser o nosso primeiro exemplo nosso exemplo mais leve aqui pra gente entender e nós temos as apis que são ticadas como é a da a da openen por exemplo se a gente for criar um código né fazer uma criação de agente a

gente tem que passar a nossa chave de repente tá passando o nosso usuário com autenticação de usuário e senha e mas para esse exemplo de hoje principalmente pensando de uma maneira mais simples da gente entender como funciona essa requisição Vamos partir de uma pi pública Então deixa eu separar aqui o código nós temos hoje uma API pública que é bem utilizada principalmente na hora da gente entender né como é que ela funciona que ela chamada de vip se vocês procurarem por via CP né no Google vocês vão encontrar ele eu acho que a a maneira

mais simples da gente ter esse entendimento de como que funciona essas requisições E como que esses dados são retornados nós temos também do I bge né que ela também é super interessante onde a gente consegue né trazer dados de cidades trazer dados demográficos né que a gente tem em cima daquilo mas hoje eu optei por essa acessando via CP né Principalmente pra gente começar a entender como funciona essas documentações né da das apis hoje as ferramentas igual a gente teve oy semana passada com Vine lá dentro tem uma documentação super bacana de como que funciona

a api deles a própria openen tem uma API que funciona super legal então a gente precisa primeiro entender como que funciona essas documentações porque é é o ponto chave para vocês trocarem de ferramentas porque não tem a gente não tem vamos dizer assim un uma diversidade muito grande de como é feit essas requisições então a gente entendendo como uma funciona você consegue né fazer a aplicação na que você tiver vontade então aqui a gente acessando o via CP ele vai tá passando pra gente né A questão do Web service e vai te dar um exemplo

de como funciona essa pi que aqui ele passa ó exemplo de consulta de CP reparem que ele é um bom URL normal né esse é nosso endp onde ele dá o via CEP bar WS e ali dentro ele coloca um CP de exemplo e ali depois do Barra ele te entrega um json que é o o formato no qual a gente vai fazer essa requisição aqui e a essa api ela oferece pra gente três formatos que o Jon json NP e o XML né no caso a gente vai est utilizando o Jon puro e aqui

deixa eu dar um zoom para ficar mais fácil da gente poder enxergar ele já vai me dar um esboço do que seria retornado caso eu fizesse essa requisição para essa pi então eu fornecendo o CEP ele vai retornar para mim o logradouro o complemento bairro localidade o nosso FF o código do IBGE guia DDD e o siaf então eu fornecendo essa informação essa pi ela tem que me retornar toda todos esses dados E aí eu vou est apresentando um código para vocês esse código Eu já escrevi previamente já passei no llm para ele tá bem

comentad pra gente conseguir ir bem devagar e eu tá explicando ele passo a passo que é eu acho que é de mais fácil abstração do que necessariamente eu vim escrevendo com vocês e falando aqui cada ponto porque eu sei que muita gente não tem esse Tato ainda com a programação e hoje com a com as llms a gente consegue né passar por cima disso então o mais importante eu acho que é vocês entenderem o conceito do código e depois Vocês conseguem estar trabalhando em cima do da necessidade de vocês então aqui eu tô com esse

Exemplo né de código deixa eu dar um um zoom onde a gente começa né com Import request a gente sempre vai usar ele para poder fazer requisições http né que você que é o protocolo que a gente utiliza dentro dessa URL então a gente começa fazendo esse essa importação da biblioteca em seguida eu vou criar uma lista e nessa lista eu vou dar o CPS de exemplo previamente antes da aula eu peguei alguns ceps de de locais principais de cidades né e coloquei aqui dentro este estes ceps exemplos são três ceps exemplos e posteriormente nós

vamos criar uma lista pra gente armazenar os endereços né onde a gente vai armazenar os dados que vão ser consultados em seguida a gente vai criar uma estrutura de repetição por quando eu quando eu forneço mais de um dado a ser consultado eu preciso criar uma estrutura de repetição onde ele consulte esse dado retorne o que é necessário armazene e volte para consultar o dado posterior então aqui a gente cria um for CP né estou dando um nome para isso na minha lista de seps aqui eu vou passar o meu a nossa api repare que

ela é a mesma api que nós temos aqui dentro né É como se eu tivesse copiado daqui Só adicionei protocolo que é o meu https e aqui aonde ficaria o meu CP né aonde eu tenho já esse exemplo do 0100100 que tá ali eu coloco a nossa variável de CP que tá dentro do for que esse c eu vou olhar em lista seps então eu vou substituir por esse conteúdo aqui e fazer a nossa requisição dentro da api Seguindo aqui eu coloco um timeout né esse timeout ele é feito para pra gente dar um tempo

entre as requisições Para não acontecer nenhum tipo de problema algumas apis elas TM algum limite de falar Olha você só consegue fazer tantas requisições por minutos ou tantas requisições por segundos então é sempre interessante a gente colocar esse timeout aqui a gente vai fazer uma conversão da resposta Jason e em seguida eu vou tá selecionando quais visões eu quero ter lá dentro aqui eu estou separando de todas as visões que eu tenho onde viria CP logrador complemento né todas essas informações só que de repente eu não quero ver esse d DVD eu não quero ver

esse CF então eu consigo tá passando pro código o que que eu quero dali de dentro Então eu deixei Olha eu quero só o CP eu quero o logrador eu quero o complemento o bairro localidade e o FF tudo bem e por último eu venho fazer um fó para printar né pra gente poder tá exibindo essas informações Então se a gente rodar esse código ele vai trazer para mim olha que no nesse CP de 01 310 100 eu ele é da Avenida Paulista aqui vai ser o nosso complemento então ele tá dando Qual que é

a o número né das ruas ele mostra para mim qual é o bairro localidade e o f Então esse aqui é um dos exemplos simples que a gente tem de requisição de api eh quem tiver ficando aí até o final da Live a gente consegue estar disponibilizando esse código é um codozinho bem simples eu acredito também que vocês conseguem estar desenvolvendo em casa mas eu acho ele é bem importante pra gente ter esse primeiro entendimento de como que funciona essa requisição tudo bem agora só um minuto travou aqui show enquanto isso eu vou fazer uma

pergunta aqui pra galera galera quem já utiliza o etl na operação só para só para poder recapitular pra galera o etl é um processo né Gabriel então ele não é uma ferramenta em S um processo que é o stract Transform e o load que é extração transformação e o carregamento então a gente consegue adaptar até isso pra galera o etl é um processo mais de dados que a galera de programa usa a galera de ti porém no nicho de ia a gente usa muito o etl para poder criar a base de dados da nossa ia

Então até na Live passada o o Vinícius né na Live deif dele ele falou assim uma boa ia ela precisa de um bom prompt e uma boa base de dados então se você tem um bom prompt uma boa base de dados a sua ia ela é top então o etl ele serve para poder a gente criar uma boa base de dados que é todo esse processo entendeu então quem quem quiser criar Clones agentes cara se você não tem uma boa base de dados seja for de uma de uma pessoa da das coisas que ela teve

na vida ou de uma empresa com as informações que que tem dentro dela você não vai conseguir criar uma I boa entendeu então todo esse processo de gtl pessoal ele veio em si de programação né que a galera de dados usa muito só que a gente adapta ele pro nosso mercado que é di então isso correlaciona muito bem com o que o Vinícius falou uma boa ia precisa de um bom promt e uma boa base de dados tá então eu vejo muita gente com dificuldade Principalmente quando cria chatbot agente para vender que aí a lucina

ela tem problema uma pessoa pergunta uma coisa ela não consegue responder então Eh provavelmente acho que 80% das vezes é porque a base de dados tá com algum problema entendeu Tá incompleta tá com algum erro até o que você fala aí extração é uma coisa tem gente que só extrai e carrega né mas pul a etapa que é do T do transforming que é você limpar a base de dados deixar ISO correta tirar os vieses dela os caracteres que ficam errado etc e é isso que o Gabriel tá tá trazendo aqui pra gente pessoal como

que a gente pode inserir isso eh para ter uma uma aplicabilidade né no nicho de A tá pode seguir aí Gabriel Beleza vou est compartilhando a tela aqui de novo aí que o zoom tá bem travado cara não tranquilo de boa tô Ó tem uma galera perguntando aqui até onde Vamos galera a gente vai deixar no final aí a gente vai disponibilizar para vocês alguns prontos para quem é aluno até no final vou falar mais um pouco mas essa Live não vai ficar gravada tá estão perguntando que não ficar gravada Ô Pedro aproveitar que Vocês

perguntaram né avisar para vocês que o Alan vai fazer uma participação especial aqui lá por volta das 8:08 ali PR volta lá pro finalzinho acabando a aula de etl Gabriel al vai dar uma Aparecida para dar um aviso especial de uma coisa que a gente tá preparando então importante vocês estarem final para tirarem as dúvidas e aprenderem com a dúvida dos colegas mas o Ala vai trazer um recado muito importante também que eu acho que vocês vão querer saber então já fica aí a curiosidade é e no final tem gente perguntando tá e aplicabilidade a

gente também Vai disponibilizar um seria um presente né no final para quem quiser já aplicar isso de uma forma mais direta tá então pode falar aí Gabriel vamos lá eu tô só tentando compartilhar agora eu já vou trazer um hum o nosso bônus deixa eu ver cara deixa eu só reiniciar o zoom aqui tá ó vou responder uma dúvida da galera aqui eles estão perguntando qual que é o conceito de stract de load de Transform galera é o seguinte o etl ele tem três etapas extração transformação e carregamento Então vamos usar um exemplo aqui que

você quer construir uma I pode ser um agente de a Qual que é a primeira etapa é você extrair os dados que você quer usar vou dar um exemplo aqui de você criar um clone você quer criar o clone do naval rcam primeira coisa é você extrair as informações que você tem dele então você pode pegar dos livros dos tweets que ele fez dos podcasts do YouTube que você pode ir lá transcrever e jogar daí essa é a primeira etapa extração a segunda etapa é a transformação que é o t transformação é você pegar esses

dados e saber eles de uma forma certa então você limpar eles transformar tem alguns modelos de prompt que mais paraa frente o Gabriel vai falar que você transforma eles em q& Então você joga para Maia todos esses dados dele é na etapa de transformação e você joga um pron nessa e fala ó Trata esses dados para mim transforma ele e a ia vai pegar isso ela vai criar perguntas com tags né então perguntas que é question questions semelhantes perguntas semelhantes e uma resposta aí você transformou essas sua base de dados Existem várias formas entendeu dei

esse exemplo que é você pegar aqueles dados tudo aquela montoeira e deixar eles tudo certinho daí você fez a transformação o a terceira etapa Eu já falei da extração da transformação agora a gente tá no load que é o carregamento o load é você pegar esses dados que você transformou limpou trabalhou em cima deles deixaram eles bons eliminou os vieses e você carrega na sua ia a partir do momento que você carrega na sua I você já pode começar n processo entendeu Você já pode fazer fine tunning pode tratar esses dados eh de uma forma

melhor eh treinando a ia por exemplo chave g pt5 a galera inseriu os dados lá tá carregaram só que também tem um outro processo de afinamento que eles fazem depois que os dados foram inseridos no carregamento então na etapa de carregamento no load você só insere os dados e você já consegue trabalhar com eles lá dentro entendeu eh aap tem mais nicho de a só que é muito mais profundo que isso a pode seguir aí Gabriel exato exato É porque a gente tem que entender que é um processo que ele parte de dados então se

você entender ele de maneira Rasa simplesmente para você fazer o tratamento do seu modelo de repente você vai bater em diversas Barreiras quando você for fazer isso então você tem que entender o primeiro o conceito que a gente tem em cima disso igual eu mostrei uma API uma requisição de uma API de maneira simples mas naquele mesmo modelo onde a gente faz essa requisição é o modelo onde a gente consegue fazer uma requisição de uma API do fy por exemplo Então eu só tentei trazer de um modelo mais simples pra gente entender como que funciona

para depois você ter aplicabilidade no né no na ferramenta usual sua do dia a-dia agora a gente vai pro pro segundo código que ele é um código que vai ser um bônus nosso para quem tiver adquirindo a comunidade que ele é um código para a gente fazer a etapa do Transform ele é um código que ele pega uma base no caso aqui eu moldei esse código para ler uma base xlsx que seria no Excel você pode simplesmente estar trocando ele para ler uma base de dados aonde ele vai remover os espaços ele vai padronizar os

seus textos ele vai fazer uma conversão dos seus tipos de dados que estiverem errados ele converte o seu formato de data adiciona contagem de dias diferente de dias substitui valores nulos então aqui ele é um código muito bacana para você tá padronizando esses dados que de repente estão sujos ali e você tá tendo um trabalho manual de poder estar tratando em cima desses dados e a gente pode estar utilizando esse código então aqui ele vai vir toda a amostra né ele onde a gente vai fazer a importação primeiro do do da biblioteca que vai abrir

o nosso xlsx e aqui a gente tem cada uma das etapas desse código né onde ele remove ele faz a limpeza das Strings ele remove os espaços ele padroniza aonde tem que ser maiúsculo aonde tem que ser minúsculo eh e a gente vai fazer as conversões de tipos faz a transformações de tipo de data coloca esses cálculos de datas eh remove os valores nulos Tudo bem então esse aqui ele é um bônus ele é ele é super simples não tem a necessidade de eu passar tanto aqui nesse código mas ele é de um valor extremo

onde a gente consegue est limpando né Essas bases de dados nossas então aqui já vem mostrando né onde você vai ter que trocar aqui no código para poder ter uma aplicabilidade no seu projeto e tá passando né esse caminho do arquivo aonde aonde tá o seu arquivo que que a gente vai fazer o Transform então seguindo Vamos pro deixa eu abrir aqui do lado vamos pro web scrap Então vamos agora para uma etapa da do que a gente chama aqui no no Brasil de raspagem de dados o que seria raspagem né é quando eu vou

extrair dados de um site né de de um de uma plataforma web no web scrapping hoje a gente tem diversas formas de fazer ele eu vou est apresentando o modelo clássico onde a gente utiliza de código para fazer isso né Eh eu quero estar trazendo também posteriormente num outro momento eh como que a gente pode estar utilizando as ferramentas do Defy a ferramenta do n8n também hoje já faz um web scrap bem bacana mas eu acho que principalmente para quem ainda não tem familiaridade quer testar né não não quer de repente tá pagando um plano

dessas ferramentas e você já quer extrair dados de um site para poder est adicionando dentro do seu do seu modelo de dados né para criar um knowledge dentro do seu do seu agente eu acho que seria muito bacana a gente começar fazendo isso por dados e via código né então aqui a gente tem um código padrão de web scrapping eu quis trazer um exemplo de Marketplace que eu acho bem interessante eh o Marketplace como a gente tem essa base né Nós temos hoje Amazon temos orx Mercado Livre Lojas Americanas nós temos vários marketplaces e lá

é um é um mar de possibilidades Onde você consegue fazer essa extração de dados devido a ter diversas informações e comparações Principalmente quando a gente fala por exemplo do Mercado Livre Amazon e marketplaces assim que a gente consegue realmente comparar preços é muito bem-vindo a gente tá fazendo essa extração pra gente criar uma base sólida e fazer essa análise então aqui eu tô trazendo esse código onde a gente começa fazendo a importação né da das bibliotecas eh a gente utiliza o beautiful sup o beautiful sup ele é a biblioteca responsável por est entrando nessa página

web e extraindo então reparem que eu tô dando um exemplo de Marketplace mas aqui a gente pode extrair de qualquer site então de repente eu quero criar um contexto de um fórum né Eu tenho um fórum e dentro desse fórum tá tendo discussões e eu quero trazer essas informações do fórum para unlog do meu agente então você pode usar essa mesma base de código para poder tá trazendo esse tipo de informação então aqui eu passo né eu eu defino primeiro né a a a minha função passo a RL no caso que eu quero utilizar no

caso aqui eu vou dar um exemplo do Mercado Livre certo eh depois aqui da Barra eu coloco a nossa Instância de query que é a onde Onde eu consigo mudar depois no código para eu não ter a necessidade de ficar trazendo toda vez essa URL né que com o produto que eu vou buscar eu consigo colocar uma variável aqui que vai fazer essa alteração aqui a gente precisa colocar o nosso Agente né nosso user Agent o que que é isso é a maneira com que a gente passa pro beof sup Qual é a nossa máquina

Qual é o nosso navegador pra gente não ter nenhum tipo de bloqueio de servidor de tá usando uma espécie de navegador Inicial então pra gente descobrir esse user Agent né vocês podem vir aqui no Google escreve user Agent vocês podem estar entrando aqui nesse site ó Qual é o meu agente de usuário e ele vai est trazendo para vocês né Cada cada computador vai vai ter um agente diferente e vocês podem estar utilizando isso daqui para ele est usando do seu próprio navegador quando eu vou fazer esse scrapping quando eu vou entrar nesse site para

fazer essa raspagem ele mostra que o seu comput realmente não ten nenhum problema de bloqueio em seguida eu vou fazer as requisições né de get onde eu vou est trazendo os headers eu vou est buscando lá dentro do HTML Eu passo pro meu birp ele parci essa resposta né ele puxar essa resposta via do HTML eu faço uma busca dentro do script lá dentro do Jon isso aqui é bem interessante toda essa parte onde eu verifico a tag que os nossos os marketplaces Eles seguem um padrão então aqui ele consegue buscar por padrão sem necessariamente

eu ter que utilizar a ferramenta do inspecionar mas na grande maioria das vezes nós teremos que vir na ferramenta do inspecionar então de repente eu vou tá clicando com o botão direito ou aperto f12 venho inspecionar e eu vou tá buscando a informação que eu quero então de repente eu quero extrair essa informação eu clicando nela eu vou encontrar a classe que eu eu tenho aqui dentro e eu posso estar copiando ela como expf eu posso estar copiando ela como alter HTML e assim tá passando pro nosso bfs fazer essa extração nesse exemplo ele já

consegue est encontrando dentro do site aonde tá eh estes dados devido a se um Marketplace então aqui eu vou passar o que que eu quero extrair então no caso eu tô querendo extrair o nosso produto né eu vou trazer o nosso produto eu vou trazer o nome dele o preço dele e o link então eu vou buscar por essas informações aqui eu só adiciono um dicionário para ele usar o append né ele ele definir essa variável e aqui na nossa query eu vou est passando qual é o produto que eu quero buscar lá dentro então

no caso eu coloquei aqui um exemplo de um Macbook embaixo a gente chama essa função e aqui eu faço aquele for para printar tal qual eu f fiz no no último código única diferença é que nessa parte por último eu coloco algumas linhas pra gente poder est fazendo essa separação quando eu rodar esse código ele vai tá ele entrou lá dentro desse site certo ele trouxe para mim o link Ele trouxe para mim o título e o valor então a gente consegue tá tendo essa análise rápida do título que eu quero né do do prodo

que eu quero e como a gente pode estar extraindo desse desse site então é um exemplo prático bem bem fácil de web scrapping a gente precisa entender que a grande maioria dos Sites nós conseguimos fazer isso hoje já existem sites que tem bloqueios né a gente lida às vezes de repente uma documentação de ferramenta costuma ter mas a grande maioria dos Sites a gente consegue extrair então com esse tipo de de de código e você consegue criar um muito grande de repente pro seu agente onde você não depende necessariamente de um PDF Você tá buscando

de um lugar que é um pouco mais volátil como eu dei o exemplo de um fórum como a gente tem um exemplo de uma rede social né Eh hoje o Twitter ele já não aceita tão bem o Web scrapping né ele funciona melhor via api você pega api do Twitter mas você poderia usar olha Quais são os tweets desse assunto eu quero tá extraindo eles diariamente e adicionando nonó do meu do meu agente então isso pode ir enriquecendo né esse agente seu baseado em dados que não necessariamente estão em pdfs fechados estão ali de maneira

de fácil acesso tudo bem show muito bom e aí galera que vocês acharam do Web scrap aí tem uma galera aí que conhece alguns estão um pouco meio perdidos né Gabriel porque em sim é uma coisa muito avançada tá Então eu queria falar pra galera Como que a galera consegue aplicar isso de uma forma mais como que eu posso dizer uma galera que é leiga em programação não tem tanto conhecimento em código tal como que eles aplicam isso para poder fazer essa extração então Eh vocês vocês têm que fazer essa verificação né primeiro Se o

se o site comporta não necessariamente mostra Então acho que assim na dúvida você vai lá e tenta fazer e ver se se esse se o site vai aceitar né e utilizando na base desse código vocês podem estar adaptando para url que vocês querem e ali Vocês conseguem definir os parâmetros de onde vocês querem extrair né no caso eu quis extrair o nome o link e o preço dentro de um fórum eu traria por exemplo o content que tá dentro daquele da da parte de conversa e isso seria armazenado posteriormente né né Vocês podem estar adicionando

um pedaço ali pra gente estar armazenando ele em um xlsx né no csv dentro de um Excel ou eu posso estar armazenando ele direto num banco de dados E aí a partir disso Vocês conseguem tratar né vem aí esse tratamento de dados de repente você quer remover ali eh algumas informações para a partir disso vocês adicionarem como conhecimento do seu do seu Agente né de repente se você tá usando dy ele funci bastante com isso você colocar lá dentro do knowledge eh com essas informações o defile ele aceita tabulação Então você consegue subir uma tabela

ali que já teria essas informações então a maior aplicabilidade é isso você você entender que você a partir disso você consegue extrair dados de praticamente qualquer site Independente se ele tá no modelo exportável né eu consigo extrair diretamente ali do site e depois você tem esse trabalho de filtro para poder tá criando conhecimento do dos seus agentes show ó bacana O Alan tá aí tá aí Alan para dar um oi pra galera aqui deixa eu ver ah ele aí pode desmontar aí e aí como que tá aí galera beleza E esse cenário aí igual o

meu pô tá até mesmo cenário E aí dá um oi pra galera aí como tá que que Oz com vocês acabou com a cabeça de vocês de uma galera no YouTube tem ó tem 88 pessoas no YouTube agora cara Parece brincadeira ó o nosso número Caraca velho 88 viewers aí ó legal só acho que é o momento que você entrou entendeu bacana mas espero que você tenha assim a importância a acredito que ficou bem clara para vocês mas só para reforçar um pouquinho a importância basicamente de ter bons serviços utilizando e é engenheria de Prom

é uma boa plt e também ter bons dados e ter dados de uma maneira que a ia consiga fazer a recuperação de maneira inteligente e para que a ia possa fazer a recuperação dessa de maneira inteligente dessa informação que em inglês se chama o reg retrieval o reg seria retrieval agation Generation a a gente vai ter a gente precisa trabalhar esse dado esse dado precisa estar bem trabalhado então o dado bem trabalhado com um B Boom Eng de p você vai ter o melhor dos dois mundos o que acontece que a galera fala muito assim

nossa mas eu faço perguntas ela não sabe responder com base naquele documento que eu mandei para ela muitas vezes é porque você não tratou essa informação Então o que vocês viram aqui é digamos o refinamento do refinamento para conseguir entregar trabalhos que você vai poder cobrar cinco vezes mais simplesmente porque você ter um conhecimento que é um conhecimento mais eu não diria nem avançado porque ele pode ser um pode ser considerado um conhecimento mais avançado mas eu diria refinado um conhecimento refinado de como trabalhar com ias a galera fica perdida lá muitas vezes né não

conseguindo as eh extrair o melhor das llms e muitas vezes a llm ela vai precisar ainda mais se você for criar esse trabalho para algum cliente ou para você com base em documentos informações seja vídeos etc é fundamental fazer esse processo por exemplo saber como extrair os dados de um vídeo saber como extrair os dados de um como eu vou tratar um livro Como é que eu quero fazer dier queem eu já fiz várias ias aqui que eram ias baseadas em livros como é que eu vou fazer uma Iá baseada em livro Como é que

eu vou tratar esse dado do livro para ela realmente conseguir me responder Com base no conhecimento que existe nesse livro Como é que eu pego esse conhecimento e eu consigo condensar ele de uma maneira que a Iá vai conseguir compreender a pergunta que eu fiz extrair as informações e me responder de uma maneira incrível e quem é que testou alexmos que eu disponibilizei por um período de tempo lá no meu Instagram só responde aqui para eu saber o Alex hormos cara quem testou viu que ficou bem legal né ó testei testei testei eu quero até

liberar pr pra galera no Instagram lá daqui uma duas semanas de novo a a galera que tem o leb ai pode usar até hoje e por por que que ele ficou bom por conta muito disso de conseguir fazer ess esse tratamento de D dados o dba inclusive ele não tem esses dados ele tem uma bo de prompt mas ele não tem todos os dados que tem lá quando a gente trabalha com o local onde armazen as informações né que no caso ali vai ser um banco de dados ent uma tabela sabe a gente não entrar

muito denso assim porque eu não quero expir não quero deixar vocês mais confusos ainda porque eu sei que a gente entrou em assuntos um pouquinho mais profundos aqui hoje mas pensa assim essas informações tu quebra e tu joga no lugar esse lugar vai ficar lá armazenado como se fosse lá teu teu guarda-roupa lá e essa aí consegue ir lá e buscar as informações quando a gente tá falando de banco de dados de a é um banco de dados diferente que o banco de dados normal não é uma planilha é um banco vetorial mas isso a

gente deixa para outro dia conversar sobre isso que é um assunto um pouquinho mais dso e vocês não tem necessidade agora poder criar você não precisa uma coisa que eu gosto de fazer analogia é você não precisa ser um mecânico para conseguir dirigir o carro concorda comigo você não precisa ser um mecânico para dirigir um carro mesma coisa você não não precisa ser um cientista de dados para fazer um bom uso das Iá não precisa porque elas foram criadas para que as pessoas usassem elas foram criadas para que elas foram criadas com base em linguagem

natural para que fossem úteis a nós então a gente chou vive num momento de interseção Entre Asas estão ficando cada vez mais acessíveis e cada vez com uma interface melhor e também existe aquela parte como vocês viram agora agora códigos essa dificuldade só que é nessa dificuldade entre aspas nesse nesse GAP que existe por enquanto que existe essa oportunidade gigantesca de mercado Porque no momento que for simplesmente pegar o celular e falar qualquer coisa e fizer tudo e a gente vai chegar lá eventualmente quem trabalha com o i vai ter que se rentar de novo

vai ter que encontrar outros meios de entregar os serviços Só que até isso chegar as as empresas precisam de soluções já e não tem pessoas para entregar e é aqui que tem é o GAP onde você pode ganhar bastante dinheiro e conseguir construir sua liberdade Financeira ou simplesmente comprar aquilo que você quer ou Trabalhar em algo que seja divertido e nesse GAP Onde existe uma tecnologia que ainda está sendo descoberta que ainda está evoluindo e que não chegou em todo mundo são pouquíssimas pessoas hoje que falam sobre a que entendem um pouquinho mais profundo de

A então quando tu chega para qualquer empresa e e e presta algum tipo de serviço para elas qualquer coisa que você fizer é algo já incrível por exemplo teve um escritório de advogado H que me atende quando a primeira vez que eu fui ter contato com eles e falar sobre a eu mostrei uma coisa bem simples que eu mostrei ontem no meu canal lá do YouTube que é o cust instructions instruções personalizadas dentro do chat BD Plus eu mostrei aquilo os cara piraram porque com eu botei algumas Hot kyss alguns atalhos ali que eles digitavam

assim c dois ponto botava o documento botava t para traduzir descas aumentar a produtividade em muito tem uma estatística que eu vi ontem numa palestra aqui da Microsoft ontem eu tava em dois eventos de ia e conhecida aí o o o r account lá da da dei da Microsoft aqui no Brasil conheci o r dei do Google foi muito legal conheci muita gente e o que a a a Microsoft apresentou dados incríveis ali e Ela mostrou que nos Estados Unidos sees fizer uma uma uma pesquisa recente e as empresas que utilizam elas aumentam a produtividade

em 54% imagina 54% de mais produtividade significa que uma empresa que fatura 1 milhão ela pode faturar 1 milhão e me porque produtividade é mais criação então Eh você simplesmente chegar numa empresa e e ensinar alguma coisa que vai aumentar a produtividade dela já é muito poderoso e e uma coisa que tá surgindo muito aqui nos meus alunos e a gente resolveu inclusive criar um curso lá para dentro da formação é a necessidade das pessoas elas estão vendo de ter assim como existem agências de marketing vai começar a assistir cada vez mais já existem algumas

assim aparecendo mas vai começar a ter muita muita muita agência de I A então se você quer aproveitar um GAP de mercado e até me perguntar ali Quanto tempo você acha que tem esse GAP de mercado se você for uma for alguém que vai estar no local que você pode se atualizar constantemente ou você ter essa habilidade já de saber os lugares certos para se atualizar é um GAP de mercado que eu diria assim de no mínimo 5 anos no mínimo 5 anos provavelmente mais porque as pess o que acontece a tecnologia está rapidamente evoluindo

talvez a gente chegue Emi daqui a 2 anos 3 anos talvez antes mas quando a tecnologia ela é criada ela demora para chegar na sociedade demora para chegar em todo mundo perceber tipo assim tem tem pessoas que não tem Instagram tem Tem empresas que não tem site e quanto tempo existe site 20 30 anos mesma coisa vai ser com eá vai ter empresas que não vão agora essa empresa que não tem site que não tem uma presença digital Tu acha que ela vende menos ou mais do que as que tem menos com certeza menos então

ainda vai existir algumas empresas pequenas em alguns lugares que não vão não vai chegar a nelas mas nas grandes empresas vai chegar rapidamente então ah tem grandes empresas hoje que me buscam já para fazer consultoria e tudo mais faculdades que tem profissionais de e a lá dentro profissionais só que a galera foi tanto pro lado técnico que ess por exemplo os programadores eles não entendem da parte de negócio então não necessariamente que ah e é para para desenvolvedores Claro que um desenvolvedor pode ter alguns benefícios quando se trata de ar porque por exemplo Ah vou

fazer um kpt p coisa tal coisa mas tem muita gente que ganha muito dinheiro comar que não sabe nada de programação porque o o cara entende de negócios ou ele simplesmente é um bom comunicador e sabe identificar a dor dos outros eu conheci um cara inclusive tá na formação agora conheci ontem entrou com uma aluna na formação que é o André lá do ajud RS inclusive ele pestou comigo ontem Ele é um cara que não não sabe program programar só que ele tá vendendo soluções a R R 10.000 soluções que ele faz em meia hora

porque ele é um cara metido Ele sabe a dor ele sabe se vender bem e ele chega e faz então por exemplo teve um cliente dele que tava com problema de marcar reuniões em Falou cara os caras não marcam reunião do meu atendimento e tal Porque um bom vendedor ele tá na correria ele não quer parar para ficar preenchendo CRM que que ele fez aí você mandar um um áudio WhatsApp para um número E daí e daí tudo que ele falar naquele áudio carregar no CRM funciona para ti ele falou sim funciona ele foi lá

pegou uma tecnologia chamada Evolution que é de graça tu pode instalar um servidor instalar por 8 instalou outra tecnologia no servidor que custa 16 que é o n8n e daí fez uma opção ali com a planilha do Google para integrou lá na no CRM do cara ele ele falou que fez isso em Du TR horas se não me engando Ele cobrou R 15.000 para isso não lembro agora do valor que Ele cobrou mas tipo assim imagina fez de duas horas isso eu não tô dizendo que você vai ganhar R 15000 em Du horas você souber

as coisas esse cara ele tem comunicação Ele tem acesso aos clientes certos e ele tem uma experiência ele é empresário tem experiência de saber aonde encontrar uma solução o que eu tô mostrando para vocês é que existe aqui essa n cidade eu um dos eventos de ar que eu fui era um evento de grandes agências de marketing eu não tô falando agências de marketing digital eu tô falando de agências que atendem Bradesco agências que atendem a Volkswagen e que aplicaram já em algumas etapas mas o conhecimento de aplicação deles é extremamente extremamente limitado e por

quê porque realmente não é porque eles são ruins os caras são os melhores os caras têm várias premiações é porque é uma coisa realmente muito nova eh e muda muito rápido Iá Então se tu não tiver se atualizando constantemente se tu não tiver conversando com as pessoas certas no bemde as pessoas estão trocando ideia é muito fácil ficar atualizado então é tem esse lado digamos como todo negócio que tá surgindo existe algumas etapas existe a etapa De euforia que foi uma etapa que já passou a gente já passou da Euforia Euforia eu achei que ia

durar mais tempo Euforia foi ano passado onde todo mundo só falava de i a onde todo mundo eh você via assim todo mundo queria est nessa área só o que aconteceu a ia realmente não tava entregando que todo mundo achava que ela poderia entregar E aí foi foi desacelerando a galera foi foi esquecendo Ah não nem nem é tudo isso porque a galera não entendeu que a gente não tá em ai tem narrow ai a gente tá em a Estreita e a específica Ou seja a i eles chamam Tecnicamente até de ya fraca que que

essa I fraca é uma I que tu precisa especificar muito bem as coisas para fazer ela não tem uma capacidade de generalização como nós humanos temos a gente tá caminhando para isso mas a gente não chegou lá ainda então por isso tu tem que ter ias específicas por isso que quando cria vários agentes cada agente tem um pr específico para executar uma função extremamente específica e a galera não entendeu isso a galera tava querendo fazer o que eles viam nos filmes que é aquela I generalista que consegue fazer tudo h e muitos filmes na verdade

representam uma coisa que nem é Edi muitos filmes representam uma coisa que chama aci aci e daí seria uma inteligência que é um processo que nem sei se a gente vai chegar um dia mas se a gente chegar tá mais longe então o que que Ah então o que tu quer dizer eu quero dizer que se você souber como utilizar EA Ah se você souber aquela Como utilizar essas I específicas saber utilizar esses modelos porque cada Modelo ele é bom em uma coisa e é caro para outra tu vai conseguir entregar soluções para os clientes

que são extraordinárias que nem grandes agências estão entregando ainda de uma maneira Espetacular por isso que o curso que a gente vai começar a gravar agora pra formação lá vai ser o curso de agência ia para que a gente tenha mais essa galera consiga dar vazão né porque eu tenho uma agência e inclusive tenho uma reunião com o pessoal daqui a pouco da minha agência e eles não a gente não tá dando conta de tanto cliente tá chegando para nós a tá passando para alunos né Eh muitos dos clientes porque é uma necessidade gigantesca a

gente tá falando agora com com um dos meus colaboradores aqui que que que estuda na em Londres tem uma empresa de Dubai que tá precisando de automações Talvez a gente vai pegar eles como cliente né imagina né é uma conta bem grande e os caras são em Dubai Dubai Tem dinheiro tem tecnologia e eles não contaram profissional para fazer isso então então tem muito mercado aí galera muito mercado Inclusive eu acho que hoje sai um vídeo que eu vou falar sobre vou começar a fazer uma série de vídeo lá para falar sobre negócios que podem

ser construídos com lá no YouTube daí vocês vão poder ver vai ser cinco dias que eu vou fazer só só vídeos sobre negócios que podem ser construídos com o ia é é isso Pedro I e a gente vai ter um um zoom semana que vem como é que vai ser nem sei você ficam botando nessas coisas aí eu nem sei o que tá acontecendo Eu sou o que Men sei cois a empresa tá tão rápido que eu sou o que menos sei eu só criando as coisas aqui pra galera show galera O Alan falou muito

aí Sobre agência né prestação de serviço até uma galera que tá perguntando aqui quais serviços sua agência oferece então o cara fazer uma pergunta para vocês Vocês sabem o que é uma agência de a ou o que uma agência de a faz pode colocar aí no chat galera do YouTube do zoom ver como que tá o nível quem aí sabe o que uma agência de a vende Cadê vamos ver se a galera coloca Clones e a boa faz gestão de serviço de a v solução Soluções em a boa soluções Ó teve uma galera que acertou

sim automações também entra que uma agência de a vende galera tem muita galera muita muitas pessoas que tem agência de marketing aquela vela e urgência né alguém ali começa adicionar um pouco mais de marketing quer prestar serviço cria essa agência de marketing no caso tráfego copyright design então uma agência de a é uma empresa que não tem no mercado hoje até fáil esse desafio para para vocês depois pesquisarem no Google agência de a ou pesquisar gestor de a vocês não vão achar galera não existe isso entendeu isso é uma um mercado muito novo que tá

vindo aí que o que que uma agência de a pressa serviços de a vende soluções e a então tudo que envolve a ou seja vender serviços de a a pessoa pode contratar o meu serviço por exemplo a minha e a vender para ela isso é um vender uma solução em a ou eu posso implementar uma solução em a dentro da empresa dela então entra desenvolver agentes desenvolver chatbots desenvolver Clones eh automações também entra tá que uma agência de a pode vender Então ela vende esses tipos de serviços e semana que vem até deixa eu ver

aqui qual mundou ã pode falar aí ó tirei Eu até vou te botar como cohost aí então o que que que que a gente vai fazer semana que vem galera g a gente vai trazer para vocês um conteúdo específico para empresas que já são agências de marketing ou pessoas que ainda não empreendem como criar uma agência de A tá então a gente vai realmente abrir esse mercado que é um oceano azul que não existe hoje agências de a gestores de a e a gente vai ensinar vocês a como fazer isso então ainda não tá preparado

algumas coisas a gente vai trazer isso para vocês então eu peço que vocês fiquem de olho no Instagram da academia lendária e no YouTube tá até o que o Alan fou faça esse convite para vocês todo dia o Alon tá postando conteúdo novo no YouTube Então você aí que é aluno ou não é aluno peço até que vocês acompanhem por lá Porque a gente vai trazer mais novidades do que vai lançar semana que vem para vocês esses canais tá Ah se quiser falar alguma coisa aí eu acho que consegui trazer são até até mesmo nesses

vídeos do YouTube Eu também vou falar sobre isso vai ser na hoje é sexta hoje eu vou falar lá no YouTube sobre é hoje é para mim é o melhor lugar a melhor forma de como começar tá gente como começar a ganhar dinheiro com iar para mim é a melhor forma mais fácil para vocês é com consultoria depois como freelancer de Esses são os dois mais fáceis vou explicar daí amanhã eu vou explicar sobre frância na daí no domingo não amanhã é sexta amanhã sábado eu vou explicar sobre sobre daí a parte de Educação de

a que é basicamente é o que eu faço também aqui como como você pode por exemplo como a gente tem são cinco mercados que a gente tem de que eu vejo muito bons aqui no Brasil de a é consultoria muito bom que é muito é muito útil pra galera porque basicamente o pessoal por exemplo eu tava cobrando basicamente r$ 8000 pra galera vir ficar três dias comigo para ter consultoria de a que é o quê eu mostrava para eles todas as possibilidades veí vários empresários COB pagaram R 18.000 para ficar comigo três dias ah eram

20 né eu fiz três três três três encontros desses só para Porque eu tive filho e daí eu não queria mais ficar tempo fora e é basicamente consultoria porque a galera não sabe o que é possível fazer vocês mesmo a maioria que tá aqui não sabe tudo que é possível fazer imagina Tu paga para alguém e essa pessoa você não precisa você não precisam cobrar r$ 8000 uma pessoa fazer isso podem cobrar 2.000 né 5.000 depende o teu Network a tua capacid de venda Ah tu chegar e mostrar para pessoal Olha é possível deixa eu

ver o que tua empresa faz ah é possível fazer isso isso isso isso isso isso isso isso aqui comhar só isso tu vai fazer vai mostrar pro cara as possibilidades e vai dizer para ele mais ou menos que quanto custa cada coisa você não precisa nem entregar no consultório você vai at mais detalhes lá no YouTube você pode pegar alguém que desenvolve e daí a pessoa entrega solução depois ser freelancer que é entregar solução mas tu não vende tu não precisa não gosto de conversar com as pessoas eu não gosto de vender eu não sei

vender tudo bem pega um aluno que sabe vender e tu vai ser o freelancer tu vai fazer o trabalho que ele vai vender a consultoria e vai pegar os clientes depois Ah eu gosto de falar sobre as coisas gosto de ensinar tudo bem tem você pode ser um educador de a a gente tá precisando de mais pessoas para falarem de a Você pode abrir o Instagram começar a falar depois vender curso e tudo mais mas aqui já é mais difícil depois tem outro que é difícil também que é um pouco mais difícil que é agência

e El eu vou explicar vai ser a segunda no domingo que eu vou explicar Sobre agência Depois eu explico sobre como criar uma empresa de tecnologia com ia ou seja um sç um serviço eu também vou falar sobre isso porque muitos dos meus alunos na formação estão criando esse tipo de serviço na comunidade Lá eu também quero trazer esse conteúdo de agência sen não vou me aprofundar tanto na comunidade a comunidade vai ser mais uma introdução a ideia da comunidade é realmente trazer uma visão geral para vocês vocês conseguirem ter já iniciar né então a

parte de consultoria Principalmente eu quero trazer pra comunidade principalmente Ah consultoria ali eu Ger mais a consultoria mesmo consultoria pra comunidade para vocês pelo menos conseguirem fazer porque a consultoria Senor consegue fazer uma uma boa grana com consultoria Ah como é que eu ganho dinheiro rápido comhar não ganha simples assim não ganha mas dinheiro rápido com nada gente tipo assim todo dinheiro rápido Eh esses atalhos são só para vocês perderem dinheiro então quanto mais rápido tu quiser ir mais devagar Tu vai ir então assim tu tem que entender que ah mas eu não posso ganhar

dinheiro Meus Primeiros Dias pode tem gente tem tem tem aluno meu que entra e se paga um dia a formação ou a comunidade para eles mas são são as exceções não é não é assim ah vou aprender EA hoje em um dia vou ganhar dinheiro amanhã não não é você você tem que isso tira da mente porque por quê é possível é só que quem entra com essa mentalidade dificilmente faz dinheiro por qualquer coisa Seja cop seja copy seja desenvolvimento software seja ia seja tráfego seja qualquer coisa vai ter uma janela de aprendizado vocês vão

ter que se comprometer aqui não é um lugar de promessas vazias aqui é conteúdo conteúdo denso nem vocês viram aqui conteúdo a gente é sério tem cientista de dados tem desenvolvedor eu estudo para caramba H trago testo muita coisa então assim a gente estuda muito e traz ferramentas para vocês funcionais mas tudo que a gente faz aqui envolve dedicação não tem como fazer nada sem dedicação vai ter que estudar vai ter que se aplicar Ah vou ter que estudar o dia inteiro não se tu estudar sim uma hora duas horas por dia e botar em

prática já o suficiente para gente aprendendo aos poucos isso vai depender cara por isso cada um vai ter seu momento cada um vai ter o seu tempo mas nada de a por mais que tenha pessoas que ganham dinheiro muito rápido ghar eu considero que é dinheiro rápido e tudo que é dinheiro rápido também vai rápido daí assim é São pessoas que aqui no Brasil né que estão estão perdendo tudo com apostas que tão fazendo várias coisas que simplesmente eu compro um curso milagroso então eu já já fico aviso para vocês porque eu recebi duas perguntas

hoje eu nem consigo mais ver tanto eu tô com recebendo umas 3 4000 mensagens por dia no no meu inbox não consigo mais ver as mensagens mas algumas que eu consegui ler hoje tinha duas mensagens que tava assim ah como é que eu ganho dinheiro rápido eu sou professora da Universidade da da escola pública eu tô precisando ganhar dinheiro rápido já respondi para ela não existe isso aqui não cai na no conto dos outros entendeu n então não existe gente não existe vai ter que ter dedicação vai ter que ter vai ter que se aplicar

mas é a melhor profissão que eu vejo eu sou um cara que já consigo pegar várias ondas né E essa não é uma onda isso que eu tô vou falar agora é o que o o o se do Google falou isso não é uma onda isso é um tsunami então se vocês querem surfar nesse tsunami é bom se preparar beleza pessoal espero que eu tenha contribuído um pouquinho com vocês aí nesse breve momento que eu entrei galera eu quero contribui com que o Alan disse e você sabe muito bem Eu tô na na ponta aqui

ouvindo o pessoal que que quer entrar pra formação e eles falaram algo muito relacionado a que o Alan falou aqui no final da da onda né a gente conversa com pessoas o dia inteiro que perderam ondas do passado do início do marketing digital do início das agências de marketing digital tráfego pago dropshipping e agora a gente tá vindo para uma nova onda que mais do que uma onda como Alan mesmo disse é um tsunami então eu quero reforçar o que ele disse eu quero muito primeiro parabenizar vocês que estão hoje nessa Live aqui que é

um conteúdo mais técnico Então mostra que vocês não estão querendo atalho e a formação Traz esse conteúdo Claro de forma didática mas que também é mais denso e é fundamental para você ir pro próxima etapa E eu quero deixar o convite para que vocês estejam na Live da semana que vem que vai ser uma live que a gente vai falar justamente de agência eii e essa é a próxima onda mais do que uma onda ela é um tsunami a gente vai garantir para vocês a semana como um todo tanto no Instagram da academia quanto no

Instagram do Ala quanto para vocês que estão se comunicando com o nosso time via WhatsApp a gente tá com essa chamada voltada para essa Live da semana que vem da agência reai que vai ser assim uma quebra de paradigmas Então vai ter muito conteúdo primeira coisa que a gente garante para vocês é conteúdo de qualidade nessa Live e mais do que isso a gente também vai trazer uma oferta Espetacular fora da curva para que vocês não percam essa onda Não percam mais uma mais uma vez né para quem já viu algumas ondas passar vocês hoje

são beneficiados de estarem bebendo na fonte da escola que tem o melhor conteúdo diário do Brasil hoje de Business ai então estejam na Live da semana que vem quinta-feira que vem já coloquem na agenda de vocês 19 horas que a gente tem uma mega Live Sobre agência Ei e a gente vai trazer lá uma oferta muito especial para que todos vocês estejam na formação tá Não percam essa oportunidade não só de aprendizado como também surpresas que a gente vai guardar para lá o Alan colocou um monte de Alan delivery para surpresa que a gente vai

ter lá então quero contar com vocês lá Pedro fechou show então é isso galera quinta-feira que vem já coloquem na agenda de vocês aí às 19 horas dia 30 né pra galera aí é que a galera tá falando aqui i é um tsunami sim está no começo mas o pessoal Parou de ficar falando pouca gente acreditando que i vai bombar em pouco tempo é e a é um tema como qualquer outro que sempre vai mas sempre tem tem a questão né Tá como que eu monetiz como que eu surfo isso e até como falou em

vez de ser mais uma onda para você surfar tá sendo um tsunami Então realmente quem tiver preparado entrar no começo se é um dos primeiros desbravando o mercado sempre vai estar no topo da onda né ô Pedro quero só complementar porque mais do que um tsunami é o meteor que tá vindo e vai deixar muita gente em extinção e tá muito alinhado com o que o Alan fala no sentido de que quem não tiver preparado vai perder emprego mesmo a nova era da que tá vindo é para mudar todos os parâmetros que a gente tem

então tudo que a gente faz aqui tem um propósito a gente quer preparar vocês para que vocês não sejam extintos Então esse é o tema da nossa Live da semana que vem que mais que Sobre agência ai a gente vai explicar esse meteoro que tá vindo e vai extinguir igual extinguir os dinossauros passados vai extinguir várias das profissões que a gente tem hoje e muitas das profissões de muitas das pessoas que estão aqui que são profissional do marketing digital agência ai é um tipo de solução com en chame de Agentes que fazem toda a estrutura

da agência cop tráfego estratégia de lançamento e esse é um conteúdo exclusivo que a gente vai trazer na Live de vocês e a gente Sinceramente não quer que vocês sejam extintos então esteja com a gente na próxima Live reforça esse convite para que esse meteoro não atinja vocês show bacana beleza e aí Gabriel tá aí então o convite pra galera que bacana essa presença aí pro do Ala muito grato Alan muito bom cara falando al velho ó falando um pouco do Alan queria trazer um Case muito interessante que teve não sei se você tava ainda

o Gabriel já era aluno da academia mas o uma vez ele fez um campeonato de Clones de a para ver quem fazia o melhor Clone dele alguém chegou a acompanhar galera esse campeonato coloca no chat a quem chegou a acompanhar esse campeonato de Clones que o al postou alguém viu Ó a Cláudia viu viu pom muito bacana velho eu vi Foi emocionante É realmente fez ali um uma final de libertadores entendeu e teve um Case muito interessante galera porque a gente teve um aluno tá é o noron n tá na qual aí ver se ele

tá aqui Norton n levanta a mão aí Norton Tom aí Norton estão aí tô boa ó O Norton galera até desmontar ele aqui para apresentar o Norton foi o vencedor Salv então o Norton até se quiser se apresentar hein Norton você ganhou o Campeonato do Alan que teve E hoje você tá dentro da equipe como que foi esse processo é justamente isso aí gan o campeonato a depois a gente trocou troi uma ideia lá com Alan e a gente acabou trabalhando junto e estamos aí firme forte na academia lendária bacana eort Como que você usou

etl Eu lembro que você foi o primeiro que falou disso para mim né então você falou ah tem que usar etl na extração de a quando a gente foi dar uma Otim lá no Alan a no começo que agora lendária você que me passou esse esse processo se você puder explicar pra galera um pouco sobre a prática do etl na criação de banhar Ah pra galera poder entender como que faz esse passo a passo sim com certeza é bem simples eu vou até pegar o Alan ya do Guerra dos Clones eu vou compartilhar ele aqui

compartilhar a estrutura de dentro dele né o que que tá por trás do Alan a que tem a ver com etl E por que que isso é tão importante eh Pedro você puder liberar para mim compartilhar a tela rapidinho aqui por favor tá te coloquei detic host aí pode ir tá pronto agora foi deixa eu abrir [Música] o como é que vai fazer o para xar a tela toda enfim vai que depois eu troco se for necessário vamos lá vocês estão vendo Aí sim tá então basicamente aqui a gente tem o Alan a do Guerra

dos Clones né Essa aqui é a parte da aplicabilidade mais simples do etl né E por que que ele é tão importante então aqui a gente vê Ahã por trás das câmeras né o o Alan ya construído no chat GPT ã Aqui tá o prompt dele e aqui embaixo a gente entra nos documentos que compõe o conhecimento compõe a a base de dados do Alan que é da onde ele traz essas informações que é aquilo que o Marc Estava explicando né Agora eu vou só mostrar uns outros arquivos aqui eu não consegui compartilhar a tela

inteira mas eu vou compartilhar pelo menos um deles é o Vocês estão vendo esse bloco de notas aqui s tá vendo aí Pedro tá então o que que é aí aqui tem tudo que o Marcones Estava explicando de forma bem simples pra gente alimentar o Alan a realmente muito simples isso pra gente alimentar o Alan a a gente precisa ter conteúdos que que ten relação com o Alan justamente para fazer o Alan na versão de Inteligência Artificial onde a gente da onde a gente extrai esses conteúdos dos artigos dele de vídeos de podcasts enfim de

um monte de fontes e uma das fontes que a gente extrai aqui que eu trouxe como exemplo é através H dos podcasts né então o que que acontece aqui qual que foi o etl que a gente fez aqui eh a gente basicamente pegou todos os episódios que tem do Alan tá lá do do vida lendária a gente transformou tudo em texto e depois pediu para I transformar esse conteúdo porque se eu se eu pego extraio ele deixo ele só em texto eu tenho só o conteúdo corrido em texto Eu não tratei ele eu só extrai

depois Eu transformo que que é essa transformação eu coloquei ele aqui num formato ó através daquele prompt Acho que até o Marcon não sei se ele vai liberar esse prompt depois pra galera ou o Alan depois enfim mas é um prompt que a gente coloca no Cloud ou no chat GPT que ele trata os dados vocês podem ver que no episódio um do vida lendária ele colocou uma pergunta variações dessa pergunta e uma resposta e tags Ou seja a gente deixou tratad Dinho pra Inteligência Artificial entender quando eu perguntar alguma coisa pro alanar aonde que

ela vai buscar isso aqui facilita o processo de uma forma que vocês não tem noção e aumenta muito a qualidade das respostas tá então se a gente desce um pouquinho ó vamos lá embaixo aí no anort mas que meu Deus se escreveu esse Testamento aí não isso aqui Quem fez foi ia eu só fiquei dando os comandos ali esperando a ia fazer depois eu compilei esse documento e subi lá no no na base de dados do Alan aí deixa vamos voltar aqui pra gente entender Qual que é a diferença né de quando a gente tem

esse conteúdo subido e de quando a gente não tem esse conteúdo a diferença que eh eh que que acontece nas respostas tá então a gente fez o processo de extração que o Marcondes ensinou a gente fez o processo de transformação de dados que a gente transformou esses dados de uma forma de perguntas e respostas que é o que mais faz sentido pra gente nesse cenário aqui que a gente criou um clone do Alan e depois a gente fez a etapa de load seria a última etapa que seria subir esses arquivos dentro do GPT então vocês

podem ver que é algo bem simples porém muito eficiente Norton me prova que isso é eficiente me prova que isso traz respostas do Alan Qual que é a diferença que que como que isso funciona na prática bem simples quando a gente faz uma pergunta por exemplo Alan Qual a diferença entre ordem e caos isso aqui eu fiz uma pergunta pro GPT do Alan ele depois já está alimentado com vários conteúdos por exemplo conteúdo da vida pessoal dele eh as fontes e referências que ele usa conteúdos da comunidade lendária um documento que fala sobre a essência

dele tá boa parte desses documentos aqui eu acho que fo foi um ou dois que ele não disponibilizou mas todos eles disponibilizou para as pessoas usarem no no desafio e por isso que eu tive acesso a esses documentos né Então aqui tem todo Como se eu tivesse a cabeça do Alan aqui dentro tratada em perguntas e respostas para sempre que eu for perguntar pro meu GPT ele vai me dar uma resposta então se eu pergunto para ele Qual a diferença entre orda e causo ele vai trazer uma resposta parecida com a do Alan um exemplo

que que o Alan falou aqui agora mais cedo de ganhar dinheiro rápido esse desespero por ganhar dinheiro Olha aqui eu pergunto pro pro Clone ala como ganhar dinheiro rápido a primeira coisa que ele fala ganhar dinheiro rápido pode ser atraente mas geralmente envolve riscos maiores da onde ele tá tirando essas informações de um etl bem feito que eh que a gente fez aqui para subir lá na base de conhecimento e para responder o mais próximo possível do Alan é aqui que a mágica acontece é o prompt e o um tratamento de dados muito bem feito

cara dá para fazer um milhão de coisas e coisas de muito valor tá de para e dizer uma verdade contraintuitiva uma verdade contraintuitiva é que falhar pode ser uma das melhores coisas que podem acontecer pois através dos erros que mais aprendemos e crescemos muitas vezes o medo de errar impede o progresso Mas cada falha traz lições valiosas que nos aproximam do sucesso né então aqui a gente começa a pensar fala assim cara às vezes não tá exatamente nas palavras que o Alan fala mas cara parece que tá bem parecido com o jeito dele de falar

tá bem parecido com o jeito dele no podcast tá trazendo a visão dele então isso aqui quanto mais a gente refina a questão do prompt a questão também do etl mais próximo vai chegando da da pessoa que você quer clonar tá E só pra gente ver qual que é a discrepância a diferença de uma resposta de um clone que ele tá o máximo ele ele tá configurado para ser o máximo fiel possível PR respostas daquela pessoa versus uma resposta genérica do chat IPT Vamos só pegar de exemplo essa aqui como ganhar dinheiro rápido eu abri

simplesmente o chat GPT sem nenhum prompt sem nenhum C instructions sem nada e se a gente vai aqui ó ver o que que ele ganhar dinheiro rápido é uma objetivo comum mas olha aqui ele entra em listas gente primeiramente o Alan raramente ele entraria nessas listas né ele não trocaria uma ideia com você falando ó tem isso tem aquilo tem aquil colocar 1 milhão de coisas di para você fazer tá outra coisa Day trading criptomoedas não sei mas Day trading Eu acho que o Alan nunca recomendaria o a questão do do Day trading tá E

e ele não falaria dessa forma de artigo tá vendo tá aparecendo um artigo quando a gente se a gente pergun perguntasse uma outra coisa para ele por exemplo que significa queimar navios e por fazer isso ele até poderia sim explicar o motivo mas ele não entraria contando uma origem histórica né do nada assim e trazer uma lista de significado e motivos entendem então é essa diferença na prática quando você traz esses dados do etl o o etl é o que faz a mágica junto com o prompt mas principalmente o etl é o que faz a

mágica de trazer a resposta certa a resposta fiel que aquela pessoa daria de fato Se você perguntasse algo para ela né e aqui a gente tá trazendo em um cenário de clone mas pode ser feito para chat B para enfim para personalizar o atendimento de empresas dá para ser feito em um monte um monte um monte de cenário Só se a gente pensar da gente pensar em Clone imagina só o tanto de expert hoje de vários nichos Expert de seis 7 oito dígitos quantos experts hoje do mercado digital não gostariam de dis disponibilizar um clone

deles eh em uma mentoria disponibilizar um clone deles dentro de uma comunidade como um upsell como um bônus de acesso pros alunos deles né então quando a gente começa a pensar nas possibilidades que o que principalmente o etl traz pra gente que ele permite a gente construir cara são oportunidades infinitas pra gente construir e ganhar dinheiro com inteligência artificial é isso show de bola bom ô Norton top demais e não foi à toa pessoal que o Norton ganhou o desafio tá fez um clone ali cara quase que perfeito Tem muita muita gente ali que às

vezes manda mensagem pro Alan no grupo no Direct e Cara às vezes você tá sendo respondido para uma Iá que você nem sabe entendeu aquele famoso teste de tur né que o pessoal comentou você não sabe distinguir se aquela ia é uma pessoa ou não então é por isso galera que é esse processo de etl extração transformação e carregamento se você só extra e carrega pode dar esse problema que o Norton mostrou aí e falar de Day trade falar de alguma coisa e Cara isso pode dar um problema muito sério entendeu caso você venda um

clone um agente ou é sua empresa Teve até um um Case muito interessante não sei se vocês viram Mas se eu não me engano foi a Chevrolet ela vendeu o carro por ó vocês chegaram a ver essa notícia sei se foi a chevrolé ou foi a Box porém o que que aconteceu Daí pode ter sido um erro na base de dados entendeu foi Não teve um processo bem estruturado na base de dados ou o cara hackeou então o processo de transformação entra tudo isso né Norton você saber limpar os dados deixar ele coerente com a

pessoa com a empresa e saber proteger ele tá aí falou foi haqueado é exato e você comentou do teste de de turing no teve um lançamento que o Alan fez aquele lançamento que a gente substituiu 12 pessoas com Maia no início que a gente não tava com o etl muito bem refinado o nosso etl não tava bom porque tava no início da ia nas primeiras horas que a gente tava construindo as primeiras perguntas e respostas daquela I Ficava muito visível que era uma inteligência artificial Ou pelo menos era um bote respondendo só que com o

passar do tempo eu lembro que já no segundo dia quando a i já tava comunicando direto com as pessoas que estavam fazendo perguntas nos grupos o etl ficou tão refinado Olha o poder do etl eu acho isso muito louco ficou tão refinado que as pessoas já não sabiam se elas estavam conversando com humano que era alguém ali no suporte Ou se era com uma ia E aí cara tipo as pessoas perguntando não isso só pode ser I Para de falar isso aí o outro não é humano que tá se passando por Iá aí o outro

gente eles não ia subir uma Iá tão rápido assim claro que é um humano que tá conversando a galera Pou né que que tá por trás disso é um prompt ali muito bem organizado muito bem feito mas principalmente um etl de alta qualidade que a gente foi refinando com e com eh com tudo aqui que que o Marcones passou né seguindo todo esses princípios a gente foi refinando e chegou em um estágio onde as pessoas não sabiam se era ia Ou se era um humano Esse é o poder do etl show bacana top demais e

esse Prom a Norton que você mostrou você tinha falado no começo um pouco dele você acha que tem uma galera que tá pedindo ele aqui hein Você já chegou a disponibilizar ele pra galera como como que tá sendo aí cara aí a gente tem que perguntar o Alan lá né Vamos perguntar vamos perguntar o al lá o Alan deixando a gente disponibiliza ele sim ele tá um pouco desatualizado Mas a partir dele dá para fazer muita mudança dá para tirar muitas ideias show mas esse Prom tá na comunidade né isso ele tá disponível É acho

que ele tá lá na comunidade já foi já foi disponibilizado lá tem quase certeza então bacana tá tá sim até que teve lá o do do picinini com al né fizeram uma alteração tá já tá no La ele tá aberto Ah se ele tá aberto lá então aí pronto aí já tá lá no LB tá então aproveitar e perguntar para você eh hoje quanto que um engenheiro de prompt tá ganhando no mercado cara pelas minhas Fontes dependendo do nível dele ele vale de 5 a 20.000 E se a gente falando no mercado brasileiro ainda né

se a gente levar pro cara que fala inglês pro mercado internacional é explodido de ganhar dinheiro sim acho que lá nos Estados Unidos eu tava vendo uma notícia Acho que até hoje mais cedo acho que era 8.000 por mês tinha uma outra notícia que falava de 330.000 por ano era algo mais ou menos por aí tá carente de mão de obra tá muito carente de mão deobra sim a gente mesmo aqui precisa e tem dificuldade de encontrar esse profissional Grandes Empresas Grandes corporações que pagam altíssimos salários aqui no Brasil e fora também tem muita dificuldade

de encontrar esse profissional não tem uma formação específica para esse profissional então a gente acaba que a formação lendária Supre um pouco disso né da das capacitações técnicas para poder ser um bom engenheiro de promp né porque o Alan sempre frisou muito que não são as ferramentas e sem a base e a base que você precisa ter é essa que a gente tem aqui disponível dentro das nossas soluções N é isso é isso aqui é o ecossistema perfeito e e tanto que as pessoas que a gente traz pro time São pessoas que são alunos daqui

né então eu não sei assim se a gente conseguiria achar eh pessoas com e eh assim com já tão Preparadas fora do ecossistema né Eu sou suspeito para falar mas assim aqui no ecossistema a gente consegue trazer pessoas e muito qualificadas e Graças né ao conteúdo a toda né ess Essa essa egrégora tudo isso que a gente tá construindo junto aqui na na academia lendária do nessa parte do setor de educação interessante o que a Cláudia falou ali na Irlanda eles estão procurando e preferem os brasileiros Então tá uma Uma demanda muito forte aí de

busca de engenheiro de prompt no caso que seria um prompt pra galera que não sabe não tá familiarizado um prompt ele é uma instrução Então quando você dá um prompt no ma você tá instruindo ela para ela fazer algo que você quer é praticamente você fazer uma pergunta então tem aquilo cara você tem que saber fazer a pergunta certa para ter o resultado certo então muitas pessoas naa não adianta você tá de frente com o gênio o willon musk mas você não saber fazer a pergunta certa para ele então o engenheiro de prompt é um

cara que facilita todo esse processo entendeu Faz as instruções os prompts que a empresa deve usar para poder aumentar produtividade e eficiência nos processos e projetos de uma empresa tá Pedro só falei muito já aqui várias vezes mas eu quero aproveitar a pergunta do João Pedro ali perguntando o valor da comunidade e da formação vamos fazer o seguinte só deixar o o Gabriel ele vai passar um útimo o conteúdo dele a gente segue Ah tá não ten P desculpa fechou pode falar aí Gabriel beleza vamos lá pessoal juntando assim foi foi bem bacana o not

antepassado aqui o Alan antepassado aqui que acaba dando contexto dessa última prática que eu vou estar trazendo para vocês um conteúdo de bastante valor que é reparem que o o Alan disse né ele tá recebendo cerca de 3.000 Direct dia você não consegue né tá ele não consegue tá trabalhando em cima disso responder todo mundo e é aí que vem muito do que a gente ensina dentro da formação muito do que a gente ensina na comunidade que são por exemplo os chatbots onde a gente pode utilizar da i a gente pode utilizar de Agentes para

poder fazer essas respostas e neles colocar um conhecimento né para responder tal qual aquele criador de conteúdo ou atendente da empresa Faria então nisso o al um tempo atrás me pediu para conseguir extrair os dados de mensagens do Direct dele do insta E aí eu vou estar passando para vocês esse conteúdo de como a gente consegue extrair essas mensagens e principalmente como a gente consegue converter elas numa base sólida para que vocês possam depois tratar e utilizar ela como conhecimento para poder estar criando o agente de vocês o o o chatbot de vocês tudo bem

deixa eu compartilhar minha tela então a primeiro momento o que que a gente vai estar fazendo vocês vão estar entrando ou no no no site do insta de vocês ou num aplicativo do insta de vocês no computador no caso aqui eu tô com aplicativo aberto certo vocês vê aqui nessa Guia Mais e depois vocês V sua atividade bem funciona também pelo celular mas como a gente vai codar pelo computador conselho vocês fazerem isso pelo computador em seguida aqui embaixo vocês essa opção baixar suas informações clicando aqui você consegue continuar e aqui vai tá abrindo a

sua Central da Meta ó abrindo a nossa central da Meta ele vai te dar essa opção de baixar ou transferir as informações então a gente segue aqui eu escolho se eu quero Facebook ou quero Insta né então se a gente faz faz algum trabalho né você faz um trabalho do Facebook onde você roda uma campanha você tá querendo ex trir os comentários dessa campanha numa base sólida você pode estar trazendo o Facebook também então aqui por opção a gente vai no no Insta eu posso selecionar todas as informações disponíveis ou eu posso trazer apenas algumas

informações selecionadas para esse exemplo eu vou est vindo em algumas das informações e aqui ele abre um menu gigantesco com todas as opções né aqui vocês já conseguem ver a a a imensidão de dados que a gente consegue trazer daqui então a finalização de comentários né então se eu tenho uma página minha eu consigo extrair todos aqueles comentários vai me mostrar o usuário e quem comentou quando comentou eventos campanhas presentes os likes lives trazendo meu conteúdo que tá dentro da Live conteúdo as mensagens meta Spark monetização denúncia salvos então aqui a gente tem tudo basicamente

de dados que tá ali dentro do nosso Insta para esse exemplo a gente vai tá utilizando a mensagens vou vi aqui você vem em avançar baixar no dispositivo avançar e aqui você consegue colocar um intervalo então de repente eh quando eu fiz esse trabalho pro Alan ele me pediu um intervalo por exemplo porque era o espaço aonde ele respondia mais as pessoas e e tava mais consolidado onde teria realmente né Essa essa identidade dele de quando ele tava respondendo de maneira maior de repente então Vocês conseguem colocar esse intervalo de datas notificação vai est o

e-mail de vocês o formato nós vamos estar trocando para Jon pra gente tá extraindo de um json e aqui que tá o detalhe do código que eu vou estar passando para vocês né que se fosse vamos dizer só vir aqui exportar E e ter essas mensagens a gente não teria tanto trabalho mas a gente seleciona o Jon qualidade de mídia no caso aqui eu tô trazendo dados né então meio que tanto faz porque como ele vai vir num num formato de t a qualidade da mídia não interfere se nós tivéssemos selecionado qualquer tipo de mídia

que poderia ser por exemplo uma imagem poderia ser um vídeo aí sim essa qualidade de mídia faria diferença e aí a gente vem aqui em criar arquivos ele vai demorar um pouquinho né ele fica com esse bloco ele vai trazendo essas informações e depois ele vai aparecer o bloquinho aqui na opção escrito em baixar baixando eu vou est mostrando para vocês o exemplo aqui da da base do Ala que eu que eu tirei ele vai vir da seguinte forma ele vem uma pasta assim sua atividade no Insta vocês podem estar abrindo essa pasta mensagens vem

inbox e aqui vai ter uma lista de mensagens de vocês e aí vocês vão olhar e falar nossa mas tem muita pasta aqui dentro por exemplo no período que o Alan tinha me pedido tinha 10.000 inbox Diferentes né aqui é para cada uma das pessoas pessoas que foram chamadas então assim eu tive que pegar 10.000 pastas que quando a gente entra tem um arquivo Jon seja são 10.000 Passas com 10.000 arquivos Jon que eu preciso extrair essa informação daqui de dentro quando eu abro esse arquivo por exemplo ele vai est mostrando aqui ó quem que

chamou ele foi essa pessoa ele chamou o Alan e aí vai ter o conteúdo O que foi enviado e depois Qual é a resposta do Alan o Alan envia ess outr resposta então tudo isso daqui foi o que o Alan mandou depois Essa é a resposta da pessoa e assim a gente consegue ter essa dinâmica porém perceba que isso tá num arquivo Jon então eu não consigo tá utilizando essas informações colocando numa base consolidada então é daí que vem esse código onde a gente vai conseguir fazer essa esse tratamento certo então aqui a gente tem

o nosso código propriamente dito aqui eu tô usando a ideia vs code eu tô abrindo ele no meu computador porque quando eu vou trabalhar com pastas que estão dentro do meu computador prefiro estar utilizando ele do que o colab né que a gente utilizou anteriormente aqui nesse código eh a gente vai começar importando né todas as bibliotecas que nós vamos estar utilizando os Jon para poder reconhecer o tipo de arquivo e a biblioteca pandas depois a gente vai dar uma função para carregar a o arquivo Jon então load Jon file PF e depois eu abro

esse esse arquivo já com um encode isso aqui é muito importante pessoal toda vez que a gente for trabalhar com dados que são exportados de na grande maioria das vezes de ferramentas internacionais ele não vem com um encode certo então a gente pode ele não vai identificar uma cedilha não vai identificar um assento Agudo coisas do tipo então a gente precisa est setando esse encode a gente retorna né aqui a gente verifica se o arquivo está vazio em seg em seg eu tô fazendo os meus accepts que são para poder fazer retornar erros para mim

para se caso acontecer um erro né a gente faz isso dentro do código para eu se eu não fizer isso quando eu rodar o código e esse código der o erro ele só vai falar que não funcionou e não necessariamente eu consigo tá descobrindo aonde ele tá claro que hoje com a ajuda das llms eu posso estar pedindo para um para um para um GPT pro Cloud tá me ajudando Aonde tá o erro mas é ideal que dentro do nosso código a gente cria essas mensagens de erro para ajudar a identificar então aqui a gente

vai lá e e sentencia né o nosso encode com o tipo de linguagem e depois a gente cria uma função para processar todos esses dados então aqui reparem que eu coloquei o meu time stamp ou seja a minha data dentro do próprio código porque eu quis extrair toda a base do Alen e depois tá trabalhando com com uma filtragem dentro do próprio código então Eh eu venho criando toda a estrutura de repetição que ele vai tá entrando dentro da da pasta ele vai est lendo o arquivo Jon e em seguida eu venho aqui e crio

dentro de um arquivo xlsx ou seja um arquivo Excel pegando aqueles dados então lembra que lá no Jon eh Cadê Deixa eu encontrar ele aqui a Ele é separado por sendername ou seja Quem enviou a mensagem time stamp é a data só que ela tá num formato diferente então a gente precisa converter o conteúdo que é a mensagem necessariamente e e o a gente tem essa esse bloqueio geolocalização que vem por padrão né no caso é quase que uma informação irrelevante aqui nesse nesse tipo de análise Então eu só vou dar os nomes desse dessas

variáveis para minha pro meu arquivo Excel Então olha meu sendername é o nome meu time stamp é uma data meu conteúdo é a conversa e eu chamei o bloqueio de gel e após criar isso né a gente criou o nosso arquivo Excel eu vou estar salvando né depois ele rodar esse for ou seja ele vai entrar dentro da pasta ele vai copiar o arquivo ele vai buscar a informação que eu quero e colocar dentro do Excel e ele vai fazendo isso repetidas vezes e aí depois eu vou simplesmente selecionar aqui dentro do meu código onde

está a pasta então o que que eu passei aqui eu passei a pasta inbox então é aqui ó anterior é onde está todas as minhas pastas eu vou vir aqui em cima e vou est passando para ele o meu diretório Onde está no meu computador todas todas essas pastas em seguida eu dou uma pasta para ele salvar o arquivo Excel E aí quando a gente rodar ó eu vou colocar esse código para rodar perceba que ele vai criar um loop ó ele vai entrando em todas as pastas entra nas pastas e vai armazenando entra nas

pastas pego as informações que eu quero coloco no Excel entra na pasta pega informação que eu quero coloca no Excel então ele vai criar esse looping aqui a base está reduzida né não deixei as 10.000 senão a gente ia perder um bom tempo aqui rodando todas essas informações mas aqui ele já fez isso ele entrou em todos aqueles arquivos Jon e colocou eles dentro de um arquivo Excel E aí agora se eu ir na pasta né que eu dei de diretório para que salvar esse arquivo Excel vindo aqui ó All data ele acabou de salvar

para mim no meu computador a gente pode ver ó dia 23/05 às 8:50 eu entro nesse arquivo e aqui já vai tá todo formatado com Quem enviou a mensagem data da mensagem e o conteúdo dessa mensagem certo e aí a partir disso você consegue criar diversas análises usando isso daqui de de conteúdo para poder montar né o seu agente para poder est montando o seu chatbot e como eu mostrei lá na nossa extração da meta a gente pode estar fazendo isso para comentários a gente pode estar fazendo isso para lives então aqui você tem uma

infinidade de possibilidade de est trazendo essas inform ações que você já tem Da sua rede social tal qual como encontrar perguntas padrões que fazem para você para você já identificar o que que é mais perguntado e até mesmo baseado nas suas respostas se durante um tempo você respondeu né você mesmo isso daí você encontrar aquele padrão e criar o knowledge da do da sua do seu clone GPT de você mesmo né que vai fazer esses atendimentos certo Então esse foi o nosso conteúdo e esse código vai ser um dos nossos bônus né o O Pedro

vai est passando pra gente agora espero que seja de muito aprendizado pessoal E aí galera que que acharam da Live do conteúdo do Gabriel sobre etl mostrou aí um web scrap uns proms alguns códigos que que vocês acharam coloca aqui no chat top Fantástico bravo demais essencial Caraca galera curtiu mesmo velho galera do zoom galera do YouTube que que vocês acharam galera col no chat lendária muito extraordinário esse final foi Caraca bom muito bom quero desenvolver lógica muito bom muito bom galera Isso é só a ponta do iceberg né Gabri se quiser apresentar pra galera

por vir aí já foi lançado né na formação quiser falar um pouco mais do curso Gabriel vamos vamos lá deixa eu mostar aqui para vocês separar aqui pessoal minha o curso que eu montei que já tá disponibilizado né tá sendo lançado agora ele é um curso denso de 40 aulas eu montei 40 aulas de etl pegando todos os módulos vamos vou est abrindo aqui mostrando esses módulos para vocês não E essas 40 aulas são só do iniciante intermediário como que é Gabriel vai sair mais aulas ainda isso esse esse é o meu curso de introdução

a etl Então é só do esberg Eu Tô Pegando de quem não sabe nada então vou pegar só você nunca mexeu com TL você não programa eu vou te ensinar tudo desde os conceitos desde de práticas diversas práticas que nós temos ó vamos lá visão Geral do curso nós temos sete módulos então eu vou partir da introdução deixa eu dar um zoom aqui se o pessoal tiver um pouco de dificuldade então toda essa apresentação conceito básico de etl um glossário né para poder estar mostrando todos os termos jargões que eu vou estar utilizando ao longo

do curso para ninguém ficar perdido em segundo nós vem para nós viamos para um modo teórico também de importância dos dados e lgpd então que é um ponto muito importante que nós temos né hoje na devido a termos uma lei né de proteção de dados é sempre importante você como empresa ou você como uma pessoa que tá fazendo o etl trazendo essas informações de outras ferramentas ter esse entendimento né temos multas muito severas hoje de de cerca de 10% dentro do faturamento então é é sempre interessante você estar alinhado com lgpd e entender como você

pode manter a sua empresa dentro dessas leis então eu abordo tudo isso dentro de um módulo nós temos um módulo de visão geral então aqui eu vou trazer passo a passo né de cada um dos processos tal qual eu dei uma leve introdução né aqui no nosso na nossa Live e depois eu venho para cada um dos módulos exct beleza vamos ter uma visão das fontes Gerais de dados vou est mostrando fonte a fonte para vocês como identificar Qual método de extração eu vou utilizar então consigo est explicando depois isso aqui são aulas todas práticas

né com os códigos eu vou eu forneço os códigos que eu que eu utilizo nas aulas Então como que a gente faz uma extração via Pi como que eu vou fazer uma extração utilizando web scrapping olha nenhuma dessas duas informações estão disponíveis Então a gente vai arrancar esse dado dali de alguma forma então eu explico para vocês como criar macros pra gente tá podendo fazer essas extrações como tá criando máquinas virtuais as famosas vms né que são eh ambientes a segundo plano né tal qual o seu computador você consegue colocar um um sistema operacional e

deixar ele rodando a segundo plano que combina muito bem com a aula de macro pra gente criar várias macros Olha eu preciso fazer uma extração ou automatizar um processo que ele é manual eu não consigo fazer ele via código Beleza a gente cria uma máquina cria uma máquina virtual e roda um monte de máquina virtual e deixa esse processo quebrando pau ali atrás eh é como acessar um banco de dados então eu mostro como a gente tá utilizando de exemplo eu uso super base que é um banco de dados bem covita vio para quem ainda

não não tá na área de dados transformação Então como que a gente faz filtragem e seleção né todos todas as aulas de Transformers eu tenho uma uma parte introdutória e uma parte mais intermediárias então filtragem de seleção eu vou te mostrar primeiro como fazer isso numa base no Excel e em seguida eu mostro como tá fazendo diretamente num banco de dados utilizando queries no SQL limpeza de dados normalização enriquecimento conversão de tipo tudo que a gente já conversou aqui só que todas essas aulas são práticas load Como fazer uma carga completa carga incremental carga em

tempo real introdução a bancos de dados relacionais pra gente entender melhor Como que o SQL funciona né esses bancos de dados que se relacionam uma prática com criando né dentro do superbase Já ensinei a criar contas a gente vai fazer uma carga completa e uma carga incremental no superbase e por fim eu trago um um bônus aí que seria o que que a gente faz aí após o ATL né Então mostra as importânci desses dados trago uma introdução análise de dados né como que funciona passo a Passos geração de insights que é algo um pouco

difícil de de se passar né adiante mas aqui eu tento trazer o meu processo de geração de insights como que é o meu passo a passo para eu olhar para os dados e conseguir visualizar uma tomada de decisão algo que pode est aí acarretando uma melhora no nosso faturamento ou de repente Tá economizando né em algum ponto nosso uma eficiência logística uma aula de visualização de dados Então vou est trazendo exemplos de ferramentas de visualizações de dados e comparando elas powerbi tablô clique e o da Google né o looker Studio uma introdução a data Warehouse

e governança de dados então Tô mostrando para vocês um curso bem completo de 40 aulas e ele é só introdução já a gente já vai estar trabalhando para eu poder estar desenvolvendo aí o nosso curso de etl avançado aonde a gente vai entrar muito mais nessa parte prática com bastante código e a implementação dela no com os nossos gpts Ô Gabriel pera aí eu vim roubar aqui com fome a gente tá esperando tudo todo mundo esperando só ele sair daqui da da C Beleza vai lá tá mostrando aqui já vai lá pessoal tá querendo acelerar

velho pode pode continuar é Não já tô no finalzinho Já tô no no no final aqui eh então nesse curso avançado eu vou est trazendo um conteúdo muito mais denso e principalmente aplicabilidade dele já diretamente na ia né como que a gente consegue utilizar junto com as nossas ferramentas oy n8n e e o reg também principalmente o conceito de de reg como que a ia vai interpretar esses nossos dados como que a gente pode montar eles da melhor forma para poder estar interpretando esses dados beleza show Gabriel você tinha falou um pouco mais sobre o

seu curso aí que que dá pra gente disponibilizar para essa galera aí que é da comunidade que é da formação só para já deixar avisado galera essa Live não vai ficar gravada para quem não é aluno da comunidade atualmente a gente só tem dois produtos a comunidade e a formação então só para quem é aluno vai ter acesso à gravação dessa Live tá foi um conteúdo assim muito denso Eu vi até um comentário aqui no YouTube Cara não sei se é aluno porque tá no YouTube mas ele falou que criou um GPT enquanto ele tava

assistindo a Live entendeu galera e depois Vocês conseguem ver chat é quer um GPT Ach do conteúdo do n não sei mas uma galera que já tá aplicando que não vai ficar gravada entendeu então o que vai acontecer isso você acha que dá para disponibilizar pra galera que é da comunidade Gabriel esse material seria bom da comunidade então o material acho que seria bacana eu consigo est disponibilizando os slides que eu tava utilizando com um bônus do slide de geração de Insight consigo tá dando esse bônus do do slide geração de Insight com meu passo

a passo de como que eu consigo est identificando em cima desses dados eh como que a gente pode tá tá gerando valor né tomada de decisões em cima dele nosso script de tratamento de dados aquele script que eu mostrei que que ele vai fazer toda a limpeza dos seus dados vai deixar ele no no ponto para vocês estarem subindo na sua no seu nó que mais você acha Pedro que dá pra gente fazer Ah cara já são dois slides que você tá dando né aula né e a aula vai ficar gravada pra comunidade então para

quem é da comunidade comunidade então é é isso Fechou então fechou Então vamos lá pra galera que é da que que dá para fazer a você já falou do seu curso que você mostrou aí então o seu curso vai ser lançado só para quem é da formação só da formação só o pessoal da formação vai ter acesso ao curso tanto esse quanto o curso avançado que vai est vindo aí no nas próximas semanas tá então esse curso é só uma introdução de 40 aulas que você mostrou vai ter mais o avançado introdução isso aí eu

já vou trazer o avançado junto com reg e todas essas aplicabilidades já direto com muito código lembrando quem faz parte da da formação eu dou a aula com o código O código tá ali disponível eu sempre vou deixar além de todo o conteúdo escrito que eu coloco na aula eu deixo os códigos disponibilizados Então já consegue est aplicando aí de maneira mais prática Então vamos lá para quem é da formação vai ter acesso a introdução de etl que é esse curso que você gravou de 40 aulas vai ter acesso aos outro curso de etl avançado

daí de bônus vai ter o web scrapping e o estração de dados que você mostrou na verdade já tá lá né Gabriel dados Exatamente isso tá lá tá lá então assim ó Vocês já vão ter os códigos que eu mostrei aqui por exemplo esse código de dados aqui do insta códigozinho bem trabalhoso para se montar já vai est ali disponível para vocês estarem utilizando e tudo que eu mostrei aqui na live já vai já vai ser disponibilizado show e temos ainda mais um último bônus né Pedro tem que E aí daqui 20 dias a gente

vai ter uma masterc pro pessoal da formação onde eu já vou passar um conteúdo avançado de etl né de uma maneira bem mais próxima aqui com com dúvidas e de uma maneira totalmente aplicada no na Inteligência Artificial como que a gente pode estar trabalhando do etl junto com os nossos agentes show Bacana Então é isso galera fica aí o convite para vocês Tá eu vou tá deixando o link aqui no vou mandar dois links vou mandar um aqui no Zoom tá e vou mandar um no YouTube para que que serve esse link você que tiver

interesse de conhecer a academia de fazer parte de algum dos nossos produtos clica nesse formulário que tá aí entra em contato com o nosso time tá nosso time vai saber responder as dúvidas de vocês e objeções o que que vocês precisam do curso vai falar sobre os outros cursos que tem dentro da formação e da comunidade também que se a gente for falar aqui o que tem dentro da formação da comunidade M lendário obsidian zona de genialidade vai ficar aqui até amanhã cara porque realmente é muito conteúdo e só conteúdo bom só o essencial o

8020 que você precisa para poder prosperar nessa era pós e né que a gente já tá vivendo aí então coloquei o link vou mandar aqui no exato mandar aqui pra galera do YouTube também tá ó coloquei no YouTube também tá então fechou galera faça esse convite aí para para vocês só clicar no link entrar em contato com o nosso time beleza show então vamos lá vamos abrir para dúvidas aí pra galera Gabriel para poder finalizar vamos bora lá show galera quem quiser fazer uma pergunta pode levantar a mão aqui quem tá no Zoom tá pode

colocar no chat também caso não queira falar ligar o microfone e também no YouTube eu vou estar respondendo aqui as dúvidas em texto Então pode deixar aqui que o Gabriel vai ajudar vocês agora tá show aí ó Bruno Freire vou liberar aqui para você Bruno pronto liberado boa noite boa noite e a minha pergunta é boa noite a a minha pergunta é sobre quão quão é grande precisa ser uma base de dados extraída aí por exemplo com we scraping ou coisa assim tratada para para que isso realmente tenha algum impacto no output do do do

modelo n GPT ti sido criado Clone a gente Enfim sei Seara é é porque assim vamos lá eu vou te responder depende muito de como que você espera a resposta desse modelo Principalmente quando você você tá querendo criar um GPT de um de uma pessoa específica tal qual o o Alan você criar um Alan ele é bem mais complicado do que você criar por exemplo um chatbot de atendimento que atenda como você certo então Eh você vai precisar de muito mais Base quando você precisa desse conhecimento de por exemplo fazer uma pergunta filosófica e ele

te entregar aquela resposta completa tal qual o do Alan faz a melhor maneira é você seguir as alucinações você extrai primeiro uma base mais robusta né que você acredita que que possa ter a quantidade de dados ali e você faz o primeiro teste você vê aonde ele tá alucinando porque de repente igual eu tô dando como exemplo para você criar um chatbot de atendimento de repente você colocar ali 100 200 conversas ele já vai conseguir entender um padrão e seguir porque é uma conversa um pouco mais engessada mas aí dependendo do modelo eh Imagino que

o Norton tenha seguido dessa forma quanto mais conteúdo você colocar mais completo ele vai ficar e aí você consegue corrigindo ele se norteando por por essas alucinações do modelo Ficou claro pode desmontar aí ô Bruno liberei mas se mutou de novo pode falar tá mutado Bruno mal e então é só para ver se eu entendi eu vou fazer essa essa integração dessas informações externas para combinar com com o GPT E aí eu vou ver se ele se ele tá alucinando e dependendo disso eu preciso extrair mais coisa eu preciso ajustar mais as instruções ou coisa

assim é isso isso é porque se eu falar com você assim olha se você colocar 5000 linhas de conteúdo ele vai funcionar pode você pode pegar um modelo mais simples igual eu tô usando um exemplo de um chatbot que às vezes com 200 linhas 300 linhas você já Faria ele funcionar ou você pegar Olha você tá tentando reproduzir um filósofo você tá pegando sei lá cant e você quer reproduzir ele ali dentro 5000 linhas você não consegue passar a linha de pensamento dele entende Ah então é você seguir nessa nessa nessa busca de onde ele

tá alucinando e fornecendo conteúdos em cima daquele daquele ponto daquele justo ponto onde ele l c ah entendi entendi e não acho que respondeu bem obrigado nou vamos lá vou abrir pro Caio aqui Caio único aqui e último pra galera poder gente já poder encerrar aqui tá pode falar aí Caio Caio tá ouvindo aí Oi tá ouvindo agora agora per tô tô ouvindo pode falar boa noite eu queria saber o link do curso aí do do Mar Show vou deixar aqui ó link do zoom no chat tá você pode clicar nele se cadastrar e entrar

em contato com o nosso time que o nosso time vai conseguir te explicar melhor vou até mandar aqui no YouTube também tem uma galera perguntando beleza mas só ressaltando também formação pode falar sim sim esse daí é o da academia lendária inteira que envolve os dois produtos comunidade de Formação então pera aí que eu mandei direto para você cai eu não mandei no no no grupo Deixa eu mandar aqui no Zoom de novo pera aí ã comentário aí mandei pra galera toda então só ressaltando galera quem é da comunidade vai ter acesso a aula gravada

aqui do Gabriel Marcones para poder rever já ir aplicando alguns conhecimentos vai ter acesso a uma material que ele disponibilizou e mostrou no começo que é explicando o etl e um segundo material que ele não mostrou que é o geração insides esse material de geração de insides vai mostrar toda a aplicabilidade prática do conteúdo que ele mostrou E como você aplica no seu negócio também Gabriel PR comunidade tem acesso à aquele prompt do Norton tá que o Norton mostrou de etl Então já tá disponível também eh mais um bônus pra galera que já tava na

comunidade finalizamos formação quem é da formação O que vai ter acesso vai ter acesso ao seu curso introdução etl tem 40 aulas que você já gravou e vai gravar o curso avançado que vai sair mais paraa frente né Será que semana que vem a gente pode sair soltando algumas aulas G pode soltando algumas isso a gente vai lançando gradativamente é a gente vai lançando toda vez que eu finalizar um módulo a gente já já vai lançando como esse foi sete a gente preferiu fazer o lançamento completo Mas a gente pode ir soltando os módulos esse

introdução já foi completo mas pra galera aí que já for crescendo já pode se soltando alguns módulos entendeu para quem é da formação repetindo vai ter acesso ao seu curso para quem é da formação vai ter acesso ao web scrap e o extração de dados da Meta que você já mostrou inclusive isso já tá no curso né Gabriel não seria um bônus pra galera é uma coisa que já tá no curso isso e é lá vai ter uma aula completa dessa aplicação e lá a gente já tem os códigos inseridos show e vai ter também

acesso a uma masterc com você que vai ser daqui 20 dias na quarta-feira que você vai fazer uma outra masterclass goess que a gente fez ao vivo só que só pra galera da formação respondendo dúvidas deles e trazendo um conteúdo bem mais avançado e aplicável também né fechou isso então é isso galera Faça o convite para vocês aí o link tá no chat tanto no YouTube quanto do zoom e nos vemos dentro da formação na próxima Live e na Live de semana que vem ressaltando até o que ol falou no começo semana que vem a

gente vai fazer essa Live no YouTube onde a gente vai focar em agência de a a até como O Alan falou não é só mais uma onda que tá vindo e sim um tsunami até mais do que isso um meteoro né que vai abrir um mercado novo no marketing digital nas indústrias que é o mercado de agência de a Como criar uma agência de a tanto com agentes que produzem serviços operacionais tanto como vender serviços de A então faço o convite também para vocês aqui finalizando fiquem de olho no conteúdo do Alan que ele posta

no YouTube no Instagram no YouTube da academia no YouTube né no Instagram da academia no YouTube da academia YouTube do Alan Instagram do Alan até nos canais que a gente vai abrir tá tem algum link aí para mandar pra galera se a galera já quiser entrar no canal temos lider a gente mudou na verdade vai ser o WhatsApp vai ser o grupo sim canal no WhatsApp Ah vai ser um grupo mesmo é mas eu tenho um canal aqui eu não não vejo problema do pessoal entr que a gente vai crescendo ele fechou já pode mandar

pra galera eu já mando aqui no YouTube e no chat do zoom pra galera que já querem entrar Beleza então é isso Galera podem Marcar na agenda quinta-feira que vem dia 30 7 horas vamos fazer uma live focado em agência de a onde vai ter muito muitos bônus muito conteúdo aplicável já para quem tá na Live aí ó o lder mandou vou mandar aqui pra galera do YouTube também entrem nesse grupo do WhatsApp que é um canal para vocês ficarem por dentro das novidades tá beleza só para dar uma frisada Ô Pedro pode falar por

Essa vai ser a maior Live de todos os tempos vai não perc essa oportunidade eu tô eu freei várias vezes aqui porque assim a gente tá preparando algo muito especial Então não é só oferta vai ter um conteúdo muito fora da curva um Alan delivery enorme de conteúdo voltado à agência ai e vocês também vão ter a oportunidade de poder surfar nesse tsunami que tá vindo não perder mais uma onda Igual eu falei eu e o meu time a gente tá lá na ponta ouvindo várias pessoas inteiro e a maioria fala já perdi ondas passado

e essa aqui tá a oportunidade de sufar Nessa onda tendo a melhor curadoria de conteúdo em português do Brasil português no geral né português todos os países lusofonos que é o conteúdo da academia lendária então quero reforçar esse convite pra Live da quinta-feira que vem não deixe de participar e já coloque na agenda de vocês save Day date e entrre no canal entrem no canal aí o queer postou para finalizar galera sigam aqui o Gabriel vou deixar o @ dele também postei no Zoom e no YouTube para quem quiser aprender um pouco mais O Gabriel

vai começar a criar conteúdo né Vamos apertar ele para isso e compareçam na próxima Live é isso galera agradeço a presença de todos vocês aí Espero que vocês tenham muito resultado com os conteúdos que vocês aplicarem A partir dessa Live que a gente fez desse conteúdo que a gente passou para vocês fico muito feliz temos aqui no final 76 pessoas no YouTube e 138 no Zoom Então é isso galera Muito obrigado pela oportunidade o tempo de vocês até mais tchau Tchau muito obrigado pessoal até mais