Webscraping sem bloqueios - Extraia dados de qualquer página web | Autotic

E aí automor tudo beleza Hugo aqui da aoti seja bem-vindo novamente ao canal da aoti um dos melhores canais para você aprender absolutamente tudo que envolve automação de marketing se você ainda não me conhece me chamo Hugo eu sou consultor em automação aqui pela aoti e estarei trazendo para você mais uma dica incrível né de automação que você pode fazer aqui pelo ntn tá se você não é inscrito no canal não deixa de se inscrever tá eu tenho percebido aí que muitas pessoas né têm acompanhado os nossos vídeos né TM gostado mas às vezes acaba

esquecendo ali né de clicar ali no botão se inscreva né não custa nada é só clicar ali e você já se inscreve no nosso canal E aí você já recebe logo em primeira mão assim que tiver um novo vídeo uma novidade você já é notificado tá bom E se possível deixa um like aí no vídeo porque quando você curte o vídeo né ou comenta o YouTube ele entende que o vídeo ali tem um conteúdo ali relevante e ele vai entregando ali para mais pessoas tá o objetivo é que a gente possa ajudar o maior número

possível de pessoas tá bom bom nesse vídeo aqui eu vou falar sobre o Web scrap né a gente já tem um vídeo de web scrap aqui no canal inclusive né tá fazendo aí um maior sucesso muitas pessoas assistindo mandando dúvidas pra gente aqui na no no atendimento da Auto mas eu queria falar de um outro tipo de web scrap né Inclusive eu até Acabei apelidando de web scrap no Block né que é uma forma de você fazer ali uma raspagem de dados independente do site Tá mesmo que se aquele site que tem ali um sistema

de bloqueio né que você não consiga fazer o Web scrap de forma Nativa no NN você vai conseguir fazer com auxílio ali De uma biblioteca tá e eu já vou falar para você e qual é essa biblioteca tá lembrando que essa esse web scrap no Block né que a gente acabou apelidando aqui já tem uma aula completa dele tá lá no nosso intensivão ntn que é o curso mais completo de movimento de workflow do ntn então se você quer dominar as automações aí no ntn se inscreva agora aí no intensivão e ntn o link vai

tá aí na na descrição do vídeo ou nos comentários fixados tá e você pode ter o acesso né mensalmente tá a partir de r$ 97 ou pode adquirir o acesso anual por R 579 já com 50% de desconto Tá bom então acessa o link aí e confira depois beleza então nesse aqui é claro né eu não vou aqui desenvolver a automação do zero também não vou conseguir explorar tudo até porque a gente já já tá detalhando o máximo nas aulas aqui do intensivão Tá mas sim eu consigo fazer aqui um overview um breve resumo do

que a gente fez aqui tentar pelo menos te passar a lógica e você tentar de certa forma implementar aí no seu ambiente Beleza então primeira coisa aqui a gente tem duas requisições http né para um site no caso aqui a gente escolheu o site do fiver tá o fiver aí é um dos grandes marketplaces eh de serviços né E por ser um site grande né bastante conhecido eles têm ali os sistemas de segurança né que vai impedir ali você talvez tentar fazer ali uma raspagem de dados tá Eh mas porque é interessante né fazer ali

determinadas raspagens de dados em determinado site principalmente em Marketplace porque ali você consegue automatizar né um um sistema de afiliado né Por exemplo vamos dizer que você é afiliado do fiver da mesma forma que você poderia ser afiliado por exemplo da Amazon ou qualquer outro Marketplace grandes aí né que tem e Imagine você ter uma automação que consegue varrer ali os produtos os serviços e você conseguir eh indicar para os seus clientes para os seus leads com o seu link de afiliado Imagine se você conseguisse montar um processo assim de forma automá né talvez você

faça hoje manual você vai lá copia a imagem copia o o o link do do serviço do produto e aí você vai ter que ir lá colocar né o seu ID de afiliado E aí tem que ficar divulgando manualmente Imagine você se você tendo uma automação que faça isso automaticamente que extraia esses produtos esses serviços con catene o seu link de afiliado e já dispare por exemplo pro WhatsApp por e-mail por SMS ou seja você consegue criar aqui um sistema mesmo de afiliação né para você poder aí ganhar dinheiro de forma passiva tá então a

ideia de da o propósito dessa automação é isso que você tenha essa essa possibilidade tá de automatizar Esse sistema de afiliação E aí o que que acontece ã aqui no node htp request né que faz ali por exemplo um GAT numa página se o site tiver esse sistema de bloqueio ele vai dar erro ele não vai conseguir tá por exemplo se você coloca qualquer site aqui que não tem bloqueio ele vai conseguir pegar as informações do site mas como o site tem um sistema de bloqueio você não vai conseguir então por exemplo se eu executar

aqui eh essa automação com o Web scrap né digamos assim normal nativo do ntn eu não consigo pelo menos para o site do fiver tá ó ele dá erro aqui tá vendo ó ele ele gera um erro aqui ou seja eu não consigo tá ó só para você ver que o a página existe tá deix chegar aqui ó vou acessar aqui acho que vai até Abrir já essa página aqui ó ó abriu tá então é um link válido é um link que existe porém ele tem esse bloqueio tá porém é como eu sempre falo pros

alunos né nada é impossível ao NN tá uma vez que você pode usar ali qualquer tipo de biblioteca né API enfim nada é impossível Né desde que tenha alguém que crie aquela solução e que disponibilize para você né seja de forma gratuita ou de forma paga Tá mas O legal é que essa solução você tem acesso a ela de forma gratuita e é uma biblioteca chamado scrap Ninja Tá Hugo onde eu tenho acesso a essa biblioteca scrap Ninja tá você tem acesso pelo site aqui do Rapid api tá inclusive é um Marketplace aqui de bibliotecas

né de apis bem interessante e que eu pretendo explorar um pouco mais tá futuramente né você pode ver aqui ó a gente tem apis para extrair dados da Amazon do Instagram tá vendo do site zillow ó tem do Twitter tem até do liquidinho também né você que quer fazer prospecção aí no liquidinho você pode fazer com auxílio de uma dessas apis aqui tá vendo ó que faz web scrap no no no no liquidinho tá então assim várias soluções aqui que você pode usar na na sua automação do NN e gerar aí um determinado valor tá

E aí o que que você vai ter que fazer você simplesmente vai vir aqui tá você vai eh digitar scrap Ninja ó scrap Ninja E aí você já vai acessar esse primeiro esse primeiro link aqui né que é o scrap Ninja nota 9.9 tá ao clicar aqui você já vai cair aqui pra página né de de documentação deles né com os exemplos aqui de de endp tá basicamente a gente vai usar esse endp aqui tá que é o scrap e a gente pode importar esse exemplo aqui de request né que seria eh requisição de uma

página Web né a gente pode simplesmente clicar aqui tá e importar aqui no no nosso http request tá inclusive nós temos vídeos sobre isso no canal de como você importar o request depois você pode dar uma uma conferida aí tá E aí importando você simplesmente vai eh colocar os devidos parâmetros aqui tá é claro que os parâmetros eu coloquei aqui no no set né mas depois que você coloca aqui você mapeia esses parâmetros você pode apontar aqui pro seu http request que vai fazer ali a requisição Tá Hugo Quais são esses parâmetros né e basicamente

são três aqui tá então você tem eh aliás Men são quatro né você tem aqui a URL né que seria o end Point tá você vai pegar essa daqui ó você tem o Rapid api host né que também é um valor fixo você vai informar isso aqui você tem aq tá que você pode obter ao assinar o plano gratuito mesmo do do do scrap Ninja tá Não precisa você pagar você pode já começar ali pelo plano eh plano gratuito e ter 500 requisições por mês tá se você quiser assinar né basta acessar aqui o site

do scrap Ninja e clicar aqui nesse botão que aí você já cai aqui ó pra página de planos e você pode criar um plano gratuito aqui com 500 requisições por mês beleza e aí além da P Key Você tem que informar também a URL né do site ou da página que você quer extrair as informações só Só isso tá fazendo isso você já vai conseguir extrair as informações do site isso aqui é incrível tá então por exemplo se eu botar aqui para rodar o workflow Olha o que que vai acontecer ó ele tá lá rodando

tá ó ele demora um pouquinho porque essa página aqui do F que eu coloquei tem bastante informações ali de serviços né mas ó rodou aqui tá tudo muito rápido e olha só que interessante né Por exemplo eu venho aqui na parte de extrair elementos né eh deixa eu clicar aqui show data é claro que ele acaba retornando né bastante informações aqui do bo né da página tá E aí com essas informações aqui eu consigo determinar quais itens eu quero extrair daquela automação tá lembrando que isso aqui eu já falo também no nosso outro vídeo aí

do canal sobre web scrap tá assista primeiro esse vídeo depois você pode eh assistir esse aqui que aí vai fazer mais sentido tá então aqui eu consigo extrair a imagem aqui do HTML consigo extrair título e consigo também extrair links tá porque a princípio são as três informações ali para eu criar ali um uma lista né de produtos ou lista de serviços para poder apresentar ali os meus contatos já com o meu link de afiliado tá E aí depois que eu extrao esses itens né eu vou gerar a lista deles né usando aqui o split

out tá E aí aqui entra O Pulo do Gato por qu porque aqui beleza você vai ter a lista ali de produtos e serviços né com com a imagem com o título e o link do do serviço ou do produto Porém não tem ainda o seu o seu ID ali de afiliado então você pode fazer uma espécie de concatenação tá então por exemplo eh essa concatenação você tem que colocar o a URL padrão né do do Marketplace ali que você é afiliado e em seguida você vai colocar o link que você extraiu porque geralmente numa

raspagem ali de dados né você pegar um link ali do de um elemento Geralmente só vem o pef dele não vem o link completo porque Ah o HTML já já entende que o domínio é o próprio site né então ele só mapeia ali o pef e ele mesmo ali já faz a concatenação E aí por isso que você acessa aquele link e já cai ali na página tudo direitinho mas a nível de automação a nível de raspagem de dados aqui você tem que concatenar com o domínio do site né então eu coloquei aqui o pef

que é extraído né que é basicamente ali o href do do do elemento link né do HTML e aí eu concatenou com o domínio do site beleza ó n toa que eu chegar aqui ó copiar isso aqui tudo ó se eu acessar aqui calma aí que eu acho que eu informei Errado deixa eu clicar de novo ó beleza repare que aqui ele já acessou a página do serviço tá pertence aqui ao fiz né Ele é um freelancer lel 2 ó classificação cinco de duas avaliações e tá aqui os detalhes do serviço dele tá sendo o

que aqui eu tô acessando pelo link padrão né o mesmo link que eu acessaria ao achar o serviço aqui e de forma orgânica no no no fiver tá mas aqui é onde entra O Pulo do Gato Ou seja você pode chegar aqui né e atribuir por exemplo o seu link de afiliado é claro eu não sei qual é a nomenclatura e da query né aqui do da afiliação do file mas por exemplo vamos dizer que seria ali ponto de interrogação Aí você coloca ali um exemplo eh por exemplo ID traço affiliate um exemplo vamos dizer

que esse é o nome tá Aí você coloca aqui igual e aí coloca o seu ID de afiliado que Claro pode ser um uma numeração né uma sequência aqui de números também pode ser um nickname né Por exemplo vamos dizer que o seu ID de afiliado é Hugo Perez tá Ou seja quando quando você for apresentar esse serviço para os seus contatos né por meio da automação os links já vão com o seu de afiliado então se a pessoa através aí do e-mail né vamos dizer que você notificou ela no e-mail por exemplo eh se

liga aí nos novos serviços disponíveis da Fiv os nossos os novos serviços de Inteligência Artificial Aí você faz tipo um newsletter né pros seus clientes eles vão olhar lá Caraca que serviço interessante E aí vai clicar ali né E vai vai clicar ali no no no link e aí já vai ser redirecionado lá pra página do serviço mas com seu ID de afiliado ali no cooks ou no no session ali né da da navegação e aí se a pessoa comprar o serviço você recebe a comissão ou seja de uma forma bem Sutil ali sorrateira né

sem perceber a pessoa né tá comprando serviço e você recebendo a comissão ali ou seja grana passiva né Ou seja você tá ali tomando um café tá jogando videogame tá vendo um filme Tá passeando tá viajando e caindo vendas ali para você de forma automática por conta dessa automação né Desse web scrap aqui sem bloqueios é sensacional né então eh você pode fazer isso tá associar o seu ID aqui de afiliado Beleza eu vou apagar aqui para a gente não mudar a estrutura original do template beleza e aí depois que você faz isso essa concatenação

de link você tem que gerar o HTML que vai ser enviado por e-mail ou por qualquer outro canal ali de marketing que ã interprete HTML tá E aí você pode eh fazer o seguinte você pode usar o Code tá o node code para gerar um HTML com base na lista de itens tá e em seguida você usar o node HTML para formatar essa lista de itens em HTML Hugo eu não poderia já gerar esse HTML com a lista diretamente do node HTML Olha pelo que eu testei eu não consegui tá parece que o node HTML

ali você não consegue fazer igual function né que é fazer uma espécie de loop ali um for ou seja para cada item Faça isso então eu não consegui gerar um HTML com todos os itens talvez você consegue gerar um HTML apenas com item ali tá mas eu tive que usar esse function né esse code para primeiro gerar essa lista em HTML e depois criar um template com essa lista tá então por exemplo quando eu abro aqui ó só para você entender ó ele gera aqui ó deixa eu jogar mais para cá ele gera aqui ó

tá vendo ó uma lista bem simples ó tá ó é mais para poder gerar a mesma lista né que seria a imagem com o título e o título clicável tá E aí é claro Quando você vai para o node HTML aí você já consegue por exemplo eh apontar esse essa lista aqui em HTML tá vendo ó Eu apontei a variável HTML que foi gerada aqui pelo meu code tá E aí eu apontei em uma página simples de html que tem aqui uma folha de estilo logo embaixo que aí você pode modificar né você pode escolher

o fundo do do da página aqui né eu deixei branco mas você pode colocar um vermelho um azul você pode também mudar a cor dos links você pode aumentar a fonte aqui do título aí você tem uma liberdade maior de customizar então é para isso que serve o generate HTML template aqui do node HTML tá é mais para poder e enfeitar o pavão ali tá mas para gerar lista mesmo em HTML você tem que gerar com o function tá lembrando que o Code snpt que faz isso ele vai estar sendo disponibilizado na verdade já tá

disponibilizado lá no nosso intensivão ntn para quem é aluno lá esse code niip né vai estar disponível lá nos anexos tá bom da aula e aí basicamente é isso E aí depois que você tem o html né que é basicamente isso aqui tá aí fica o seu critério né Você pode por exemplo eh enviar por e-mail né Você pode chegar aqui colocar um um send mail né E aí ó o send mail pro padrão ele já tem aqui o formato HTML ou seja o corpo do e-mail já já interpreta HTML então eu basicamente só pego

o HTML que foi gerado pelo node HTML aponto aqui e aí coloco ali né Por exemplo credenciais de smtp né eu posso colocar aqui meu e-mail de remetente posso colocar aqui o a lista de e-mails né do do destinatários né É claro que se for uma lista você tem que fazer ali numa estrutura de loop tá Aí você coloca o assunto por exemplo posso colocar aqui eh novos serviços de I no fiver tá que é pessoal já vai saber o que se trata vai abrir ali o e-mail e vai clicar em um dos serviços que

já vai tá com o seu link de afiliado E se ela comprar o serviço você ganha comissão tá E aí Claro você pode também divulgar isso aqui em outros canais aí de marketing que você tenha tá como por exemplo uma rede social né mas é claro o objetivo é que aceite ali HTML para aproveitar a formatação beleza bom então é isso eu espero que você tenha gostado aí dessa dessa dica tá e como eu falei né não esqueça aí de dar um like nesse vídeo se você gostou achou interessante essa proposta se ficou alguma dúvida

né algo que não ficou muito claro aqui nesse vídeo deixa aí nos comentários tá E lembrando também que você pode deixar nos comentários também sugestões de novos vídeos se tem alguma coisa que você quer ver aqui no canal e a gente ainda não abordou deixa aí nos comentários que a gente vai avaliar tá E podemos Talvez um dia criar um vídeo sobre isso tá bom então muito obrigado pela atenção um grande abraço e te vejo na próxima