ELASTIC SEARCH: fundamentos e aplicação prática de ANÁLISE DE DADOS

[Música] então hoje vai ser um bate-papo eu vou navegar mais pela ferramenta para vocês conhecerem também e de novo cai naquela praticidade né eu vou trazer para vocês um ambiente de até como vocês criarem uma conta para poder utilizar o serviço na nuvem mas porque utilizar o serviço na nuvem para a gente evitar o problema de instalar coisas na máquina né e a gente ter o problema natural que é do mundo real Dina minha máquina funciona e na sua não né Ai como que a gente faz por exemplo a Márcia tem um Windows 8 no

Windows 8 não funciona mas no 11 no 10 funciona aí quem tem Linux como que faz então a gente vai evitar um pouco isso para vocês terem um entendimento da ferramenta para vocês saírem hoje com o conhecimento de opa essa ferramenta existe ou naveguei um pouco por ela não é um grande conhecimento profundo mas dá esse nível de pelo menos eu sei o que quer eu dei uma navegadinha nela né Ou seja você vai conseguir dar uma voltinha no parquinho andando de Ferrari mas não significa que você pode ser um piloto de Ferrari né você

não pode pegar a Ferrari lá para Fórmula 1 você vai dar uma voltinha nela com alguém do lado andando é 30 km por hora mas você vai saber as sensação e conhecer o que é é isso de tá andando numa Ferrari a gente vai fazer um pouco isso hoje tá pessoal então eu vou abrir trazer um pouquinho breve teoria para você se situarem no tema aí a cada eu vou dar pequenos blocos de pergunta aí se vocês puderem Guarda um pouquinho a questão a dúvida que pode ser que eu respondo no meio do caminho ou

a cada pequeno tema eu dou uma pausinha e Vocês perguntam para ser mais interativo tá e a gente vai ter um pouco de prática também eu vou trazer prática na plataforma para vocês verem um ambiente que tá lá que tem gente que está lá nada e eu vou trazer uma prática usando o docker que vocês apanharam tanto que eu falei poxa deixa eu trazer uma prática de docker que vai ser até bom para vocês entenderem o conceito de docker alinhado a Python e como a gente acessa ela acha beleza Então bora lá Pessoal vocês vão

ver na trilha de conteúdos gravados vocês vão ver o fundamento de elástico search o elastic hurt é esse banco de dados ele é um Database né é um banco de dados Não relacional quando eu digo não relacional e muitos momentos do curso vocês viram que tem os dados relacionais e os dados Não relacionais quando eu falo não relacional eu quero muito dizer que são Dados que não estão organizados em tabelas né fazendo um comparativo bem bem bobinho ele tá bagunçado ele tá solto ali de vários formatos de vários tamanhos essa informação então não relacional a

isso né A gente vai ver a elástico steck porque o elástico certinho é esse conjunto de ferramentas porque o elástico ele é um produto que traz consigo várias ferramentas Então a gente vai dar uma repassada por elas explicar alguns conceitos interessantes vocês vão ver também nas aulas gravadas Qual que é a diferença do banco elastic Search para documento de um banco mais kl de um banco de dados selecionar vocês vão ver essa diferença é etl para análise que que é o epl é o extração transformação e leitura ou seja eu pego essas informações de texto

Eu transformo ela adapto e eu leio dentro desse meu banco do elástico search então vocês vão ver um pouco esse conceito e como que funciona para texto e o porquê de existir isso né e entender o etl pessoal é muito importante porque muitos produtos muito spipelines tem muita arquitetura muita fábrica de dado hoje em dia tá muito baseado nisso é o que vocês estão fazendo no projeto vocês estão extraindo dado da onde de um arquivo csv vocês vão realizar a transformação Que transformação criar nova tabela descobrir um código que é nome de cidade o nome

de município e vocês vão fazer uma leitura disso aplicando SQL para validar as hipóteses de negócio então o etl vai desde um banco de dados relacional tradicional como para um banco de dados como elastic search que é um banco voltado para documento voltado para texto tá E vocês vão ver também alguns conceitos de observabilidade que é o quê é ficar olhando para ver se tá tudo bem Não tudo bem com os dados mas como meu sistema né é aquela coisa assim pessoal um exemplo bem bobo tem uma filhinha nova aí de três anos nessa idade

é muito fácil ficar dodói pegar gripezinha ficar com febre qualquer coisinha criança tá doente dois três dias já melhora tá pulando que nem doida tá tudo normal e tem alguns que até dodói fica pulando que nem doido né é um barato então o que que acontece a gente fica observando essa evolução da criança e a gente observa o comportamento para ver se tá tudo bem Se ela tá melhorando né então fazendo esse comparativo com banco de dados a gente observa para ver se o banco de dados está performando se ele tá funcionando da maneira correta

que uma coisa ele é funcionar e outra coisa ele ter performance se ele tá entregando o que é esperado dele né então a gente tem esse desafio também e tem uma parte da engenharia de software né uma parte da arquitetura de software que tem essa preocupa que é a observabilidade inclusive existem profissionais focados só nisso né que hoje é o Sr e são os analistas Sr e Engenheiro sre Então quando vocês virem essa sigla são os profissionais que são preocupados com a performance da arquitetura a performance do software e não a experiência do cliente se

ele está entregando se tá gerando dados coisas do gênero né então é um campo também que nos últimos anos vem se destacando na área de tecnologia e quando a gente vai para o time de dados a gente pensa muito no também no The Voice acho que você já ouviram esse termo em algum lugar né que é o a preocupação de desenvolver com um olhar operacional eu desenvolvo eu crie aplicações Mas eu me preocupo com a questão operacional se tá tendo boas práticas Você tá no ambiente correto se a criação Tá exigindo é boas prática de

software de programação então também tem isso né e é interessante que tudo isso abrem carreiras abre atuações e fundamentos do kibana que banner é uma ferramenta de visualização da elastic steck desse conjunto de ferramentas do elástico a gente vai ver ele um pouquinho funcionando ele cria painéis né ele consegue entregar para a gente dashboard algo visual para que a gente tenha essa orientação de ver o que tá acontecendo através da análise de dados Então pessoal é uma ferramenta é um ecossistema bem interessante e eu vou dar uma passadinha nos principais conceitos Isso foi um resumo

mais breve possível do que vocês vão ver ao longo das aulas gravadas tá o elastic 7 e o elastic steck quando eu falo elastic search eu tô falando do banco de dados para documento para texto e quando eu falo da elastic steck eu tô falando do conjunto de todas as ferramentas né que eu vou mostrar para vocês que são bastante ferramentas nesse ecossistema fazendo um comparativo todo mundo aqui Provavelmente tem uma conta do Google né ou se não tiver uma conta do Google deve ter as ferramentas da Microsoft então a gente sempre conheceu muito por

Office Microsoft Office né que vinha Word o PowerPoint waxis o Excel e vinha outras coisinhas dentro né então é como se fosse esse ecossistema do Office vem um monte de ferramentas para se usar você trabalhar e uma delas ferramenta de banco de dados é o elástico tudo bem que geralmente é uma ferramenta muito de foco do engenheiro de dados quando ele precisa trabalhar ele trabalha muito com essa ferramenta do elástico certinho pessoal Desculpa vamos lá e tá aqui a elastic steck o conjunto de ferramentas aqui estão algumas das principais ferramentas né E quando eu falo

ferramenta é Relembrando aquele comparativo né o Office tem um monte de aplicativos o elastic Tag tem um monte de aplicativo e é interessante essa representação porque ele traz essa visão de camada Como assim camada eu tenho embaixo o bits e o lock teste que são ferramentas de interação com meu sistema eles interagem com o sistema interagem com o banco de dados interagem com ferramentas até fora do elástico steck e eles trazem consigo o quê captura de log log é uma coisa que a gente como cliente como usuário é difícil a gente ver que que é

o log o log são informações são dados dos sistemas e não dados gerados pelo usuário né que que eu quero dizer com isso por exemplo eu entrei no site do vou usar o exemplo a gente vai entrar nele depois no Magazine Luiza e olha que eu não trabalho lá tô só dando exemplo entrando no site do Magazine Luiza eu fiz um pedido de compra vai ter os dados daquele pedido que vai para um banco de dado ou relacional ou vai para o elástico certo que é um banco de dados não relacional enfim o time de

engenharia lá escolhe para que banco de dados que vai mas existem informações do que do horário que eu cliente acessei o site do horário que eu comecei a realizar o pedido do horário em que eu finalizei o pedido do horário em que eu fechei a página Então são informações por exemplo que para o pedido não tem muita ver a latência o tempo de resposta do site são informações mais analíticas voltadas a um ambiente técnico e não eu crente então essas informações elas funcionam todo o momento tá funcionando em quem enquanto a gente está conversando Provavelmente

o zoom essa nossa plataforma que que ele tá fazendo Ele deve estar pegando taxa de frame ou seja taxa de reprodução a qualidade que tá gerando do áudio do vídeo tá pegando informação das nossas máquinas os Ipês né Como que tá o tempo de resposta de que se eu falo se tá trazendo para Márcia se tá trazendo para o André ou pelo Adriano ou para pão ou para pai então ele pega todas essas informações a gente não interessa nada a gente quer escutar vocês verem a minha transmissão de slide e ver o vídeo mas todas

as informações de log que o sistema gera é muito importante para análise na hora que a gente for ver a performance do sistema e aí entra aqueles conceitos de observabilidade né a gente fica monitorando isso e existe toda é um aparato de ferramentas e duas dessas ferramentas é o bits e o logs Dash que eles funcionam para isso né E eles estão justamente embaixo da camada do elástico que aqui é o banco de dados Então na hora que eu crio o meu banco de dados eu já vou estar criando log mesmo não querendo ou mesmo

nem querendo ver eu já tô gerando log então é a camada primeira camada e aqui o elástico onde realmente eu tenho os meus dados em formato de documento e que que é interessante quando eu falo documento pessoal pensem que eu tô falando de formato de Jason vocês virem algum momento no curso formato Jason né E a gente vai ver ele aqui também mas tem como guardar documento em formato de Jason tem como guardar documento em formato Jason não só formato PDF ou formato ou formato de TXT é quando eu falo de um banco de dados

eu acho que search que ele se utiliza de Jason eu tô falando que todo estoque de produto do site que seja do Magazine eu acho que eles já bateram casa de milhões de produtos né de tão diferenciado que é diversificado Então tudo isso tá guardado em formato de Ison Então tá lá o nome do produto as características quem é o vendedor né o ID daquele produto preço todas as informações do produto tá guardado em um Jason e não no arquivo TXT mas em um Jason e tá armazenado aqui no elástico search depois que a gente

vai para essa camada do banco de dados a gente tem uma outra camada que aqui a camada que chega para os clientes e quando eu digo o cliente é o cliente interno é um cliente de negócio porque o que banana é uma ferramenta para utilizar dos dados do meu banco de dado do elástico certinho e teve visualizações quer ver só um exemplo Ah eu sou o André que trabalha aí com logística né porque o André trabalha lá no Magazine Luiza e ele tá na área de eletroeletrônicos na parte de informática o André precisa saber o

quanto tá sendo gerado de pedidos no dia quais são os produtos que são pedidos as categorias ele precisa ter essa visão geralmente quando a gente fala visão por ser um volume alto de dados eu preciso ter uma visão macro uma visão de negócio né E que que eu utilizo para ter uma visão de negócio criar painéis criar dashboard então o André não é um programador mas ele é alguém de uma área estratégica que ele precisa Enxergar como que tá o desempenho do e-commerce da área de informática que a área que ele é responsável dos eletrônicos

em informática ligados à informática então André é provável cliente que tá nessa última camada que ele usa o quibana para conseguir consumir os dados do banco de dados e ter essa resposta de opa hoje eu bati a meta Opa hoje eu tô com um produto que há três dias está encalhado Preciso fazer uma ação aqui para gerar alguma promoção para ver sai Opa demanda de tal produto tá aumentando então a minha previsibilidade de compra ou de manter estoque Eu Preciso aumentar eu preciso comprar mais é tudo questão de negócio pessoal e tem toda uma parte

de Tecnologia que a gente está envolvido e saindo do cliente André negócio a gente tem o cliente técnico que cliente técnico o time de monitoramento o time que cuida de o percentabilidade o que que eles vão olhar não são dados do negócio do elastic 7 eles vão querer saber o que os dados de log para monitorar o sistema Será que algum momento meu site tá lento e eu tô perdendo o pedido por isso gente isso é importantíssimo quer ver uma experiência que eu tive recente talvez algum de vocês tiveram se vocês tiveram compartilha também cara

minha esposa gosta de BBB e de tabela Eu também gosto eu acho legal me divirto né e o Spotify lançou promoção de dois meses grátis com aquela brincadeira tipo QR Code na tela aí olha foram uma palavra mais eles falam malandrinhas né o QR Code vai aparecer em três dois Eu aponto eu pego o QR Code que que acontece eu entro no site e tem tanta gente entrando que tá congestionado aí que que eu deixo de fazer eu deixo de assinar os dois meses grátis talvez eu possa gostar tanto e virar um cliente né Então

existe um time é para existir o time que fica vigiando isso fica vigiando as questões de desempenho da plataforma Para não acontecer esse tipo de coisa como o cliente tem uma experiência ruim ele deixar de comprar às vezes essa semana eu fui comprar um produto tava com um erro para gerar para gerar o QR Code do pics aí eu falei caramba sorte da loja que é um produto que só ela que vende eu falei olha sorte sua porque se meu concorrente tivesse eu já ia me irritar agora eu ia comprar no concorrente nem se fosse

r$ 50 a mais Então existe um time que fica monitorando essa parte de indícios do sistema né e o time utilizo que banner então que banner é uma ferramenta que acessa tanto banco de dados ela acha que search como o bits ou o Logitech que são ferramentas orientadas para log beleza alguma pergunta por enquanto alguma dúvida desse pequeno bloco de conteúdo uma dúvida quando há por exemplo algum erro e esse erro dentro do sistema que eu digo erro de características do produto o que banda ele não faz essa filtragem para saber se tá coerente aquela

descrição dentro de um de um cadastro que ele já tem dentro do seu banco ele não não faz essa correção quem faz a coleção é o usuário nem usuário pode ter outras ferramentas que realiza essa correção se identifica algum erro de discrição alguma coisa assim tem ferramentas que monitora de repente são errada por exemplo pode ter ferramenta que monitora Sim pode ser pode ter tem como eu rodar um algoritmo baseado em todo o meu estoque para quando eu encontro alguma palavra que não é padrão e corrigir pode acontecer tem ferramentas que sinaliza por exemplo o

computador o computador tem uma forma correta de escrever se alguém escrever computador porque o tá do lado do hino nosso teclado se vocês olharem pode ter essa digitação errada então eu posso ter uma ferramenta de previsibilidade de correção de nome de produto que pode ser sinalizado se isso passa por um ser humano tem uma ferramenta a mais aí de Inteligência Artificial que detecta isso e ela pode até corrigir ou ela pode lançar a correção para que alguns ser humano válida aquela correção ou sistema tá tão redondinho que ela corrige e pronto porque ela tem certeza

tampa existe cenários não são nenhuma dessas ferramentas tá essas ferramentas aqui são para ver o fluxo dos dados sistêmicos e os fluxos dos dados criados pelos usuários ou pelas transações né que a gente está trabalhando no SQL que são transações de um banco relacional aqui são transações de documento e eu tenho um banco de dados próprio para isso que coleta tanto os dados relacionais Desculpa os dados não relacionais de transações de pedidos ou do meu estoque como ele também coleta informação de log isso é legal que não é todo banco no mercado que coleta informação

de log nenhum momento vocês viram em aula que o my SQL conecta informação de log ele não coleta não é função dele a função dele é ser um banco relacional para quê para armazenar transações o elastic search ele é um banco não relacional que armazena transações armazena informação e também captura log então ele sai na frente aí em duas coisas tudo bem E o que bana é essa ferramenta de visualização que tanto o time técnico pode usar para enxergar os dados do elástico certinho dado de produto dado de transação ou os dados de log e

criar painéis dashboards uma pergunta mais turma Beleza então vou dar continuidade aqui Então ela acha que sente ele é um mecanismo distribuído de pesquisa e análise quando vocês virem no dia a dia falar de distribuído falar de cluster O que que significa que a informação ela tá em várias máquinas diferentes então aqui eu posso traduzir ele é um mecanismo de máquinas distribuídas e interligadas para pesquisa e análise em cima de um banco de dados não relacional né de informações em Jason por exemplo então a gente entende que o dado ele não tá concentrado só aí

no seu computador é como se todos nós aqui é fossemos um cluster cada um é uma máquina então a informação tá na minha máquina tá na máquina da marca tá na máquina da Tai da Pan tem essa redundância essa repetição para que essa repetição se eu deixo informação só na máquina da Pan e a filhinha dela que tava tentando comer manteiga ela não contou mas tava tentando comer manteiga agora gente se a filha dela derrubar esse pote de manteiga no computador dela no computador dela sai uma fumacinha explodir e as informações que estava nele perdeu

então a questão do mecanismo distribuído são máquinas que possuem essas cópias da informação e para que ter a cópia de informação facilita por questão de segurança para eu não perder informação e facilita também para ter velocidade de busca é legal que cada um aqui de nós tá numa cidade Correto algum local diferente a planta em Valinhos o André você tá morando onde você mora em Monte Mor é isso André isso Monte Mor você tá em Monte Mor cheguei agora pouquinho de Guarulhos lá mas estou em Monte Mor eu sei que o Adriano tá em São

Paulo né eu a Márcia e a pan e a Thaís estamos em Campinas e apanha em Valinhos né isso São Paulo beleza então assim imagina em um cliente que tá buscando informação no nosso site e ele tá em São Paulo qual que é a informação que tá mais perto o Adriano né então eu vou buscar informação na máquina do Adriano protesta a resposta rápida para o cliente Vitor funciona assim é uma das grandes vantagens de cloud é isso e o elástico ele se utiliza de serviços na nuvem então ele traz consiga nessa velocidade o cliente

não enxerga isso e às vezes pessoal é um centésimo de segundo mas para nossa operação pode fazer diferença então a dúvida seria no caso o computador do Adriano ele seria um servidor para o sistema pesquisar em São Paulo ou seria sei lá porque se tá na nuvem eu não entendi como que faz essa essa busca por exemplo Gente a nuvem são computadores físicos e algum local no mundo tá assim a nuvem não é não é nuvem que está no searia tá tudo junto não pelo contrário Então assim tem essa questão então o computador do Adriano

realmente ele vira um servidor e ele tem partes de informações no site um pacotinho de mil informações está na máquina do Adriano e esse mesmo pacote de informações pode estar na máquina do André Então existe essa duplicidade existe essa cópia de informação para ter velocidade de acesso a velocidade de leitura tá e tem como a gente deixar em uma máquina só tem Mas dependendo se eu quero ter velocidade de resposta eu preciso seguir esse exemplo que eu falei com vocês precisa ter várias máquinas em locais diferentes para ter a proximidade do cliente a proximidade daquela

aplicação que está consultando os dados tá isso é algo que em algum momento quando a gente está desenhando a arquitetura de dados a gente tem que pensar e o elástico certinho esse mecanismo distribuído de pesquisa e análise e aqui tem um tema pessoal que vocês vão ver muito quem Real Time é o time ou seja o Real Time é tempo real é assim eu bati na mesa deu um barulho vocês escutaram mas tem um tem um atrasozinho aí de algum milissegundos para ter informação entrar no microfone e chegar no ouvido de vocês então ele é

um mecanismo que esse ele possibilita esse espaço curtíssimo de tempo então se acontece alguma coisa agora em poucos segundos eu consegui identificar né que é um tempo real que é o streaming né que a gente ouve falar muito as coisas acontecendo em tempo real e muitas empresas hoje tem sistema de Beth Em algum momento vocês viram no curso que é o quê em algum determinado tempo algumas janela de tempo que eu atualizo aqueles dados ou atualiza a informação Então ela acha que certo ele tem essa possibilidade de em tempo real eu saber o que tá

acontecendo ali com o meu estoque com os meus pedidos então por isso que quando a gente compra no site o estoque rapidamente é dado baixa né Às vezes a gente vai comprar tem uma peça dificilmente eu vou comprar e a Tai vai comprar junto e um de nós dois vai ficar sem o produto porque quem comprou primeiro se ela comprou primeiro vão me cobrar o cartão imagina só me cobro o cartão para devolução a dor de cabeça dele reclame aqui então o sistema precisa ter essa responsabilidade de ser rápido né e o elástico certinho compre

isso sistema distribuído várias máquinas informação distribuída entre as máquinas para ele ter velocidade e flexibilidade velocidade para tempo de resposta e flexibilidade para distribuir a informação Tudo bem pessoal o mais que ele não consegue entregar isso como que funciona nesse caso lgbd não funciona normal porque não porque daí por exemplo todos os funcionários Nesse caso tem dados restritos né nos seus computadores nas suas máquinas e aí o processo do sistema de acessar esse tipo esse tipo de banco tem algum processo de segurança de que evitar aí o acesso de qualquer um nessa rede ou não

é qualquer um que acessa e não deu exemplo do computador mas não significa que tá no teu computador a gente usa computadores pessoais é uma rede privada e essas políticas de acesso política de restrição de dados é tudo construído antes do banco começar a funcionar tá então em algum momento a gente permite que a pão o André o Adriano lá no quibana a gente determina que tipo de informação que vocês podem ver que podem ter acesso a não então não significa que quem entra no quibana vai acessar o banco de dados vai ver o CPF

do cliente não é para ver tem como ver tem se a empresa não tem nenhum critério de proteção de informação vai estar lá cru e bruto né e muita empresa ainda é assim mas existe Pan antes do banco o banco está no Pronto ele recebe mas existem regras de acesso permissões que eu dou lá para o que banana para cargo de repente o André que é de logística Ele pode ver só dados da área dele e você que é de marketing em vez de você ver as 30 colunas eu te restring já 10 colunas porque

as outras 30 só de interesse do André ou de algumas outras áreas você não precisa ver as 30 colunas completas então tem todo esse esquema de organização da informação que é feito antes tá e a ferramenta possibilita isso tudo bem ele é um mecanismo de coleta de dados do código né é informações que eu falei de log e ele unifica o logistak ele é como se fosse o juiz no campo de futebol ele fica prestando atenção em tudo né para ver se apita uma falta ou não Ou você dá um cartão vermelho ou não Então

esse é um cara que fica vigiando o log stash e pegando informação de log de todos os sistemas seja da minha aplicação seja de um banco de dados uma SQL que tá conectado ali ou seja da minha aplicação do site ele fica conectando tudo que é informação e ele unifica isso e deixa o dado de forma visível para que eu possa pegar esse dado de log que vem no formato de máquina não é formato legível ele fica legível e eu posso guardar ele no elástico Search para virar um dado para depois eu avaliar no que

banner lembra que eu falei para vocês que em algum momento eu preciso saber da performance da minha aplicação ou performance do meu site ou performance do meu banco de dados o log stash ele faz isso ele pega informações de log tá pessoal e ele unifica num lugar só que a gente pode usar para colocar no elástico certinho e visualizar no kibana Isso parece besteira mas assim como eu disse tem times que trabalha em monitoramento de log para garantir alta performance para que não acontecer que nem Ontem eu tentando assinar Spotify por dois meses eu não

consegui eu tô frustrado por causa disso nem em algum momento a aplicação não tava funcionando né então tem um time que cuida disso beleza turma ele ele pega remetentes de dados de código aberto e você instala pequenos programinhas dentro da sua aplicação dentro do seu banco de dados então o que que ele é ele é o espiãozinho que fica lá dentro das aplicações coletando dados e mandando para o logs teste então o logs testes centraliza que nem a gente viu aqui ó dados de diferente aplicações e o bits é o que é esse pequeno programa

esse dedo duro que fica dentro das diferentes aplicações mandando informação para o lock teste então eu posso ter 30 aplicações e cada uma dessas aplicações e quando eu falo aplicações pessoal pode ser um banco de dados pode ser um site pode ser diferentes coisas eu posso ter um Beats instalado ali dentro que leva informação para o log teste então ele coleta de várias Fontes né que tem bits instalados manda para o Locks teste que armazena esses dados que depois eu posso visualizar tá Então pessoal isso é aquela coisa assim sair um pouco só do mundo

de dados e no mundo mais prático a CPFL usou muito isso hoje em que sentido identificar as redes que caíram aonde estava sem energia onde precisava acionar a equipe e tem lugar que o negócio da pepino a central de telefone fica doida eles não podem contar só com cliente ligando reclamando que que eles precisam observar a rede Então os pontos de falha Então os pontos de falha que identifica logo é o Beats que manda para o Locks teste que disponibiliza essa informação no banco de dados e existem painéis que tava verdinho que tava funcionando legal

ficou vermelho Opa e quando fica vermelho eu preciso mandar ali uma equipe técnica e quando fica amarelo eu preciso acionar um técnico remoto para ver como é que tá a situação de equipamento antes de mandar alguém presencial tá pessoal é mais ou menos ajuda muito nisso esse sistema de melhoramento tá dando um exemplo aí em paralelo e o que banana o que banda aparece o Power Bia e parece o Excel é ali onde dá para a gente fazer gráficos bonitos vem a informação né então ele é uma interface é um produto gratuito tem como a

gente instalar ele a instalação é mais complexa na máquina sem usar em Cloud e esses produtos que eu falei para vocês eles são produtos de código aberto os famosos Open Stories né são coisas que não tem custo para usar mas Imaginem assim não tem custo mas é como você comprar a madeira e tentar fazer seu violão é mais difícil você montar né fazer isso funcionar na sua máquina então o elástico steck é essa empresa ela acha que ela entrega todos esses produtos que eu falei para vocês em acesso na nuvem já tudo configurado já tudo

pronto que é o que a gente vai ver na prática Tá mas basicamente a gente tem essas camadas né e o elástico certinho Ele tem algumas características não só ele os outros produtos é código aberto ou seja dá para usar sem pagar nada mas é difícil configurar ele é distribuído em que sentido consigo trabalhar em cluster em várias máquinas seja no meu servidores locais aí eu instalo o elastic search nos meus servidores para que ele se comuniquem ou seja nas nossas máquinas aqui que estão a distância se a gente quiser Ou a gente pode se

utilizar da nuvem né para ter essa distribuição na Cloud que é mais fácil ele se utiliza de West full que é uma forma de trabalhar com apis então eles se comunica com diversos sistemas e isso é muito fácil para tirar e colocar informação e ele é baseado em Jason um formato de arquivo Então os arquivos as informações Estão guardados em Jason dentro do elástico 7 beleza e é isso pessoal parte teórica é mais ou menos isso a gente viu aqui os principais produtos né esses são os quatro principais produtos existem outros depois eu vou mostrar

para vocês rapidamente mas são os produtos que lhe dão com o nosso interesse que é dados captura de dados diferentes plataformas aplicações o bits o logs Tag concentra todos esses dados para ficar no local só para poder distribuir por lá certinho e para times de monitoramento acompanhar no kibana Isso é uma visão de observabilidade eu olhar performance do meu sistema aí tem o outro lado transações né transações que eu jogo do meu site de venda de produto direto para o elástico certo e eu fico monitorando com kibana volume de venda volume de estoque é o

óleo mais o transacional não de sistema mas o que se eu tenho meu cliente do meu cliente por exemplo que é realizado lá né beleza dúvida pessoal por enquanto deu para entender mais ou menos por cima o conteúdo teórico tem mais coisa alguma pergunta até agora ou tranquilo eu ia fazer uma pergunta acabei esquecendo você acredita não tudo bem meu amor lembrando você pode fazer aí que eu vou ter esse pequeno lembrou pode falar você falou né que você pode achar acessar uma ferramenta gratuita e tudo mais mas aí para eu poder adquirir experiência né

Essa ferramenta né nessa captação de dados eu teria que ter vinculação com algum site e online A gente vai entrar agora basta você ter um e-mail não Obrigatoriamente precisa ser Gmail Hotmail não basta você ter um e-mail e é legal que eles não pedem cadastro de cartão de crédito isso é sensacional que a maioria das plataformas pede que você coloque seu cartão de crédito Então a gente vai entrar aqui eles têm o Trial de uma licença de uso grátis aí de 15 dias e a gente tem algumas limitações mas não impacta na possibilidade da gente

entender o ambiente da gente mexer um pouco nele hoje tá basicamente isso os dados dessa dessa versão de teste é captado de algum banco de exemplos existem agora que que vocês vão fazer deixar até mandar aqui ó vocês estão vendo minha tela né eu vou mandar o link pronto aqui é o site tá tá mandei aí para vocês e que é interessante é tudo isso que a gente vai acessar temos a opção de utilizar de forma sem custo né instalando na máquina mas assim é bem complexo aí ó tá aí voltou tá falando mal de

você tá aí estava fazendo alguma coisinha gostosa e atrasou a Paula tá vendo fiz chamada oral [Risadas] já voltei eu mandei no link aí do site o site The Last para a gente acessar é os recursos o serviço gerenciados diretamente aí no ambiente de nuvem né o serviços aí serve eles né que a gente não preocupa com a parte de gerenciamento de instalação de profissional na nossa máquina do serviço se conversarem então eles fizeram essa forma de eles têm o código aberto mas eles disponibiliza um produto pago pessoal quebra um galhão né Vai ser difícil

se achar algum profissional barato e tem o conhecimento ou o tempo que você vai gastar para ler toda documentação e conseguir reproduzir de forma local né para não ter custo nenhum então vocês entraram O que que a gente vai fazer agora que que a gente faz então agora a gente clica aqui Experimente grátis tá passam junto comigo Experimente grátis para vocês terem ideia ó coloca o nome da máquina eu vou colocar couro couro aula elástico vou dar um nome para a máquina e vou criar o meu Deploy pronto ele tá criando ele vai levar alguns

poucos minutos três enquanto ele tá criando aqui Paulo isso acho Fantástico pessoal Ele tá te dando recurso computacional ele tá criando um ambiente uma máquina literalmente virtual para a gente realizar o teste e uma máquina virtual no ambiente real pode existir cinco seis sete 10 máquinas que estão em cluster Ou seja que elas estão sendo gerenciadas Unidas para gerar o acesso a velocidade aqui a gente está fazendo só por uma Mas é uma máquina Então vou por só explorar por mim mesmo e pronto aqui criou super rápido a máquina aí para você já criaram Pode

ser que demore um pouquinho para mim é um ótimo enquanto tá criando eu quero mostrar um negócio para vocês que aí eu pulo do gato eu acho que é bacana a gente entender fiques de botão que a gente dá o que que acontece atrás das câmeras né Olha só eu vou acessar o Google Cloud como a conta que eu tenho a plataforma do Google pronto e eu vou mostrar para vocês o passo a passo de criar uma máquina que a gente apertou um botão lá de criar um ambiente então o criar um ambiente lá é

algo que aqui demanda criação demanda demanda tempo quer ver só deixa fazer login que não entrou então aqui é o ambiente do Google entrar no Google Cloud aonde eu tenho uma conta criada onde eu tenho lá uma certa quantidade de crédito para gastar para vocês entenderem a dinâmica né o elástico que utiliza de um serviço na nuvem mas ele hospeda a criação de máquina em um provedor de cloud então ele não é um Provedor de cloud como o Google como a WS Não mas ele utiliza desses provedores para criar um ambiente virtual para criar máquinas

para consumir máquina né então vou fazer aqui bem bem rápido para mostrar para vocês que eu acho que é muito curioso vocês verem o que tá acontecendo embaixo do pano então o elástico ele veio no ambiente Cláudio tudo automatizado isso daqui é um ambiente do Google Cloud ele veio no ambiente do Google Cloud ele veio na parte aqui de campio tinha dinheiro que é o que a parte de máquinas é onde eu crio uma máquina né no Google então vou clicar aqui vou criar uma máquina e ele vai abrir uma interface que me possibilita criar

essa máquina lá ela criou uma máquina padrão não me lembro os dados da máquina que seja lá mas eu vou criar uma aqui olha criar uma instância que é a Instância criar máquina virtual então eu vou criar agora aqui um computador uma máquina virtual Eu só não vou dar o botão criar para que ela aconteça porque ela vai comendo crédito enquanto ela está funcionando né Então como eu não vou usar essa máquina né eu tenho que criar e apagar é uma boa prática Então tá aqui olha a Estância eu vou deixar o nome assim mesmo

Olha a região lá região tava aí o é Central One né eu vou deixar na mesma região aqui o West for Las Vegas TV Central máquina eu vou deixar uma máquina aí dois que ela tem o quê Dois CPU e 4GB de memória uma máquina básica né Se eu olhar lá provavelmente a máquina é um pouquinho mais potente mas para eu criar essa máquina ela tá me saindo num custo de 25 dólares e 46 centos mais ou menos aí 125 130 por mês para eu criar essa máquina então lá no elástico e o que foi

feito foi isso Ele criou uma máquina não na prática foi isso né lá tá de forma automatizada então ele pega um recurso de uma Cloud que é o que eu pagaria aqui e aqui existem máquinas mais caras olha tecnologia de AMD tá aqui seu mudo para 4GB ficou com 31 só que eu mudar o processador colocar o processador AMD e quer ver só se eu pegar uma máquina otimizada de memória porque memória são máquinas que respondem muito rápido são máquinas que tem velocidade olha 416 cpus 5.7 terabyte de memória Cara essa é a máquina eu

ia pagar só 36 mil dólares por mês apenas aí 180 mil reais mais ou menos super barato e existem propósitos que precisa usar máquina assim eu não vou ser doido de criar essa máquina tá eu nem vou criar aqui eu vou dar um cancelar mas basicamente que esse sistema fez lá Foi criar essa máquina Então olha que interessante pessoal é uma plataforma que se utiliza de recurso computacional de alguma nuvem que a gente fez pessoal todo mundo tá nesse ambiente aqui de produção né nessa tela vou considerar que todo mundo tá aqui tem um menuzinho

de hambúrguer aqui do lado o famoso três Barrinhas deitada né que é um x-burguer básico que é pão e o que é o pão e hambúrguer então clicou nele vai abrir várias opções e é interessante que aqui nessas várias opções que temos o que os serviços disponíveis do elástico da elástico steck Então a gente tem serviços de Analytics que olha só até envolve mapa tem Canvas que é um pequeno desenho de arquitetura de processo o dashboard a gente consegue criar dashboard dashboard né visualização de bibliotecas a gente pesquisa o enterprise que que é o enterprise

para grandes empresas aqui tem soluções de conteúdo implementação delas que é uma aplicação que roda o serviços então ele te dá um programa pronto observabilidade que a gente falou de alertas infraestrutura em PM up time up time o que tempo de resposta gente tudo produto que disponível a segurança gerenciamento eu quero que vocês vão lá em gerenciamento né no Management e procura a primeira opção o bad Tools clica nela deve Tools clica nela o que que é esse débitos o Dev Tools é uma linha de código para a gente poder simular requisições requisições no ambiente

do que aqui é um ambiente do kibana eu posso trazer dados Então o que banda ele puxa dados lá do elástico ele vai puxar dados e ele já traz para gente um exemplo aqui de linha de código né olha o que que ele faz ele o get quando a gente fala get a gente tá trazendo Imagina assim o get é meio que puxar get pegar a gente tá pegando um recurso dentro do banco de dados que recurso que é esse é uma cor de exemplo ele tá pegando alguma variável dois aqui a gente executa tem

um sinalzinho aqui de play se você der o play ele vai executar aqui do lado e vai trazer o resultado Então pessoal isso dentro do elastic search banco de dados e quando eu utilizo a ferramenta kibana a gente não vai aprofundar muito no código Quero trazer o conceito para vocês Qual que é o conceito toda hora a gente está tendo get trazendo informação e a gente está tendo insert inserindo informação a gente está tendo que é forçando a entrada de informação a gente tem vários conceitos de manipulação de dados aqui a gente pegou dados do

banco e olha o que que trouxe trouxe um Jason trouxe um Jason que demorou 231 [Música] Imagine o que que é isso isso na prática é assim pessoal eu vou abrir uma aba eu vou colocar aqui ó Magazine Luiza ó eu não ganho comissão eu não conheço ninguém que trabalha lá tá mas eu sempre mas eu sei que o magalu depois eu compartilho com vocês me cobram magalu ele tem um podcast falando de como eles utilizam ela acha é muito legal vocês ouvirem que vai complementar um pouco o conteúdo do meu diálogo então quando eu

venho aqui e dou aquele exemplo de Digital Vou digitar de propósito errado 8 GB vamos ver se ele tá esperto o que que ele faz e Dom enter ele tá basicamente fazendo isso um get Então o meu cliente não site ele tá dando um get de Pegar informação que tá lá no banco de dados tá bom pessoal então o lá no site tá acontecendo isso que a gente fez do código e Olha que estranho mesmo digitando errado o elástico é um banco de dados para pesquisa e análise então ele pesquisa o texto que a gente

viu e ele encontra o quê ponto similares com outras palavras e que o banco de dados faz Opa computador tá muito próximo da palavra computador e o giga tem muita referência GB então aqui ele me trouxe computador em tela 8 GB de Ram HD de 500 GB por mil mil reais A Escolha dos produtos que vem aqui o banco de dados né o elástico search ele faz baseado em regras de negócio por exemplo o vendedor pagou alguma coisa de marketing para o primeiro computador se é dele aqui ou Magazine quer colocar esse computador porque tá

parado no estoque do André Vocês estão vendo que não é só uma questão técnica entre a questão de negócio também então Pessoal esse é o funcionamento do elástico de dados o que o cliente digita aqui é como se fosse essa fórmula aqui olha esse get e o que que eu vou mandar para vocês depois eu tenho uma relação aqui de outras funções tá eu quero fazer um desafio para vocês aí se vocês topam digitar comigo tá se der errado não chorem só para a gente ter experiência do código a gente vai fazer o quê eu

quero inserir eu quero criar um índice que que é um índice imagina que o índice é como se fosse o nosso livro ele é uma coleção de documentos um índice tá então assim o livro tem seus capítulos tem suas páginas tem seus parágrafos tem suas palavras e possuem suas letras Então ela acha que surge ele segue esse raciocínio existe o índice que é uma coleção de informação né e o índice tá dentro de um documento grande então a gente vai criar o que a gente vai criar um índice que Teoricamente assim podia ser o quê

podia ser a área de informática do André e lá é o cadastro diferente dos produtos que os produtos entra como informação de documento né então o que que a gente vai digitar a gente vai digitar com letra maiúscula no Punch do que de eu tô serindo tá e a gente vai dar um nome para esse índice vai criar o nome para ele tá eu vou dar um exemplo aqui ó mãe tá deixa eu ver se aumento a letra aqui para vocês conseguirem ver né aí agora ficou legal né Agora ficou melhor ficou até bom para

mim então my index traço eu vou aplicar um código para ele um código único porque não adianta ser tão o nome é bacana tem um código também então vou colocar uma sequência aqui tchau um dois três quatro cinco um eu vou guardar ele dentro de uma pasta doc tá olha que legal ele já deve estar me corrigindo eu esqueci do underline então underline doc barra 1 então na pasta doc no meu na minha coleção de documento um então eu fiz isso tá Lucas bom Victor aqui no mae index tal ali tem que ficar colocando esse

dígito quando você vai escrever alguma coisa o traço isso é boa prática Tá parte da certo sim mas é uma boa prática porque eu tô nomeando e no nas várias linguagens de programação a escrita de variável segue algumas regras né aqui no elástico search eles utilizam um traço como separador não é boa prática eu colocar mais espaço não pode dar erro tá então é mais traço tá aqui o nome então eu criei o índice aí na outra linha eu abro e fecho a chave porque chave aqui dentro vai o conteúdo do código que eu vou

colocar e aqui eu posso abrir aspas duplas que tá lá perto do esc né Aí eu posso escrever aqui ó time stamp é o que é uma variável de tempo tá pessoal Não se preocupem se der errado ou não tá sendo legal só para vocês entenderem a dinâmica tá um pouco é primeiro contato que vocês estão tendo time stamp e eu coloco aqui a data que data que eu vou colocar por exemplo eu vou colocar 2.099-11 Então o ano de 2099 mês 11 o dia 15 aí é que tem um time que é um t

maiúsculo Desculpa eu errei é um t maiúsculo 13 1200 que que é isso no dia 15 de novembro de 2099 às 13 horas e 12 minutos e 0 segundos Isso é uma entrada tudo bem poderia deixar dessa forma e já deixar como que tá aqui e apertar um executa executou que que eu fiz de forma resumida pessoal eu criei um índice dentro de um documento doc que é o documento um Eu só coloquei essa informação que tá aqui ó o meu Windows Olha o nome dele o ID é um que foi a primeira entrada ele

foi criado a versão 1 com sucesso tá aqui todas as informações Olha que legal tá tudo aqui pessoal a informação com sucesso se eu vim e dar play de novo ó versão 2 que que é que posso considerar esse play sabe o documento que fala do estoque do produto e o cliente comprou eu saí de 10 fui para 9 eu preciso inserir essa informação então preciso dar um no meu banco de dados mudou alguém comprou então quando alguém compra eu atualizo a informação então eu saio da versão 1 para versão 2 beleza galera e Ó

depois eu vou passar o código para vocês que aqui tem um código mais completo que eu tomei como base Eu não digitei ele inteiro né que aí é maldade que é esse aqui ó que que ele tá criando ele tá criando índice e ele tá gerando um tempo colocando uma mensagem e falando que o usuário é o print então usuário quente né e ele tá criando um croate para criar caso não haja se não tem essa informação aí eu vou forçar a criação dela né Então tá aqui a lá aí Traz o resultado diferente mas

olha que interessante como eu tinha criado antes do meu índice ele mudou a versão ele só muda a versão né E se eu coloco esse bloco de novo ele dá um erro porque o meu índice já foi criado não tem como eu criar algo que foi criado Não se preocupem pessoal só quero mostrar um pouquinho o código funcionando para vocês verem como que é então a gente tem essa ferramenta aqui de criação né de desenvolvimento em que a gente consegue simular na ferramenta o ambiente do get do post de várias requisições que ocorre no elástico

que serve Tudo bem pessoal alguma dúvida eu não espero que vocês tenham entendido 100% detalhe do detalhe mas que que é importante eu fiz algo que eu inseri a informação e eu demonstrei para vocês como ocorre no site do magalu O que seria no magalu e a requisição acontecendo como eu fiz aqui ó inserindo inserindo aqui o nome do computador tá vendo ainda coloquei lá computador e mesmo assim ele conseguiu buscar dá um get no banco de dados e trazer a informação Teoricamente a gente monta a estrutura para tudo isso acontecer tá pessoal perguntas por

enquanto o Vitor você vai colocar o código no chat ou deixa eu fazer download aqui do código completo Vítor Oi aula gravada ela vai ser mais com mais detalhes né [Música] as aulas eu vou focar na teoria na teoria Isso entendi eu vou colocar não tá indo arquivo aqui só tá deixando e do drive Dropbox eu vou eu vou fazer assim deixa eu pegar esse arquivo aqui ele só deixa texto compartilhar deixa eu colocar um link aqui eu vou deixar ele público tá público depois vocês vem em cada funçãozinha faça um teste Tá mas eu

queria muito que vocês entendessem essa questão de como é feita a requisição essa manipulação pode falar pai você falou por exemplo quando a pessoa busca ali o computador né Aí apareceu esse primeiro computador aqui e ele seria o que tá no estoque do André porque a pessoa tá em Monte Mor eu posso colocar isso Como regra não tipo localização eu posso usar a localização Para quê Para eu ter venda de equipamentos que tem um frete menor Olha que legal pode ser uma estratégia de negócio para quê para toda vez que o cliente entra no meu

site ele tem o frete menor do que o concorrente eu posso querer pensar assim não é uma regra tá é assim eu posso incluir questões de negócio na minha arquitetura de dados eu quero que vocês entendam isso tá é possível tudo bem porque o site tá pegando localização ele pede aqui para autorizar buscar a localização é que eu tô numa navegação oculta mas se eu tivesse no meu browser para padrão ele ia perguntar permite localização para alguma forma alguma pergunta ele meio que pega o ponto não sei a coordenada para Pode ser aí você imagina

só eu vender para o cliente sempre com menor frete e a garantia de entrega mais rápida porque é o produto está perto dele é muito doido pensar isso já tem alguns reformas que estão com esse tipo de estratégia tá não tenho detalhes assim da arquitetura para te falar como funciona mas a regra de negócio é essa e faz sentido alguma pergunta mais pessoal Tranquilo então assim eu quis trazer um pouquinho essa experiência e quando a gente vem aqui a gente consegue também de outra forma se vocês clicarem ali no menuzinho de Hambúrguer né a gente

consegue vir e ver outras possibilidades de ferramentas e se eu clico no dashboard basicamente eu vou para um ambiente de que banda e eu consigo criar Olha só eu consigo criar minha viu eu consigo fazer uma criação de algo né ah lá eu consigo criar um painel trazer dados aqui tem exemplos Olha só de dados e eu consigo criar meu painel e quando eu falo criar meu painel tô falando isso aqui ó cadê deixa eu pegar no meu slide pessoal só um minutinho porque eu tenho um link de um exemplo que eu vou passar para

vocês aqui no chat tá para deixar para vocês pessoal alguma pergunta por enquanto tá tá tranquilo tá dando para vocês entenderem os conceitos tá legal pessoal Primeiro passo é esse entendeu entendeu os conceitos que não adianta eu vou vai dar tempo eu vou cuspir um pouquinho de Python aqui para vocês é para vocês verem é que sem o conceito fica muito difícil eu chegar em alguma coisa de produção um pouquinho mais complexa então é muito importante o entendimento dos conceitos eu vou deixar aqui a cópia olha só o perninha que deixa eu para vocês no

chat se vocês copiarem esse endereço e colocar lá no navegador e dar um enter vocês vão um exemplo de painel tá um exemplo de painel do que banda que é um painel que já vem pronto e a gente consegue ver um pouco os gráficos sendo criados e eles vem de uma fonte de dados já padrão que existe aqui então só copiei esse link que eu mandei no chat pois lá na barra ele já tá vindo olha e aqui tem várias bases de dados que eu consigo ver exemplo vocês podem clicar em qualquer uma eu vou

clicar nessa aqui de tráfico da internet web a primeira opção mas vocês podem clicar em qualquer uma Então tá aqui pessoal um painel que captura logo do meu site informações de performance para eu ver como que tá o comportamento dele então eu que sou um desenvolvedor eu preciso muito saber como é que tá o desempenho da minha ferramenta do site que eu criei ainda mais recomece ou algum site que tem muito acesso né então aqui eu consigo personalizar e ter acesso a informações do jeito que eu quero beleza tá lá o número de acesso Tem

várias coisas aqui Olha que legal beleza visitantes requerimento https tá cinco vezes quando a velocidade tá 3.1% do tempo tá pode ser dentro do esperado ou não olha o mapa aqui a questão de acessos por local né aqui é mapa dos Estados Unidos e eu tenho aqui os estados com mais Acesso aqui eu tenho a quantidade de log o tempo de resposta tem alguns Picos e amarelo precisava investigar para ver o que que é e olha várias informações pessoal ó detalhe de acesso único Qual que é o período mapa de calor é muito visual é

gostoso ver então eu sei que das 8 horas da manhã ao meio-dia das oito meio-dia é aonde eu não sei porque eu tenho muito acesso eu tenho muito Acesso aqui no Ciene que provavelmente é Canadá então tem o picos de acesso no Canadá Então como estratégia de negócio que que eu posso utilizar de proveito disso ou o que que eu preciso melhorar de recurso computacional para que não tem essas falhas que talvez aqui esteja tendo está impactando beleza Tudo bem pessoal alguma dúvida alguma pergunta bem interessante hein Vitor aqui que é o fantástico aqui que

a gente vê o resultado daquela construção arquitetura que a gente faz é para tomar decisão vários tipos de gráfico um negócio bem legal mesmo né E a gente não constrói via códigos são coisas que arrasta a gente só toma decisão de que tipo de gráfico que a gente quer tá bom então isso daqui é o resultado do nosso pai de dados né coleta faz a ingestão faz transformação adeco os dados transforma e faz a leitura no caso aqui no quibana e aqui eu tô falando de log nem tô falando de dados de venda ou dados

de transações do negócio mas da aplicação Tudo bem galera vou mostrar negócio para vocês rapidinho nesses cinco minutos eu não vou entrar muito no detalhe mas eu vou disponibilizar o código quero simular um negócio aqui bem legal primeiro eu estou com dó que ele instalado na máquina o que que eu vou fazer eu vou rodar um container dentro de docker vou ter o elástico search instalado nele e vou manipular dados de uma base de dados em Python e mandar para esse elástico que serve que está dentro do docker Então isso é um cenário que é

muito possível no mundo real se eu quiser ir fora da questão do ambiente de ter o serviço Cláudio do docker tá desculpa dela acho que serve então o que que eu vou fazer vamos ver se minha máquina aguenta né que o zoom é um pouco pesado Primeira coisa eu vou abrir o meu comando a minha interface comando aqui do Windows ótimo eu tenho Júpiter notebook que é que nem o collab local na minha máquina então eu vou abrir ele vocês estão me ouvindo né gente se fala em algum momento dá um toque que eu já

tô vendo a máquina gritando um pouco aqui falhar e esse é o problema Eu vou tentar demonstrar aqui para vocês qualquer coisa a próxima aula eu pego uns minutinhos e demonstro tá então eu tô abrindo o Vitor que comando não você não precisa cara não precisa que você não vai ter instalado tudo é depois se quiser a gente faz lá na tutoria mais ou menos para vocês verem funcionando então eu abri o Júpiter notebook eu tô abrindo o colab um comparativo aqui na minha máquina que eu já instalei então eu vou lá em documentos que

eu sei aonde tá o meu script de tá aqui olha acho que olhar então aqui eu tenho um script de Python que conecta no meu docker no meu container que eu tenho instalado eu acho que sete isso aqui é o apensor se eu não tô gastando nada é a forma difícil de configurar né Beleza então tá abrindo aqui pronto abre o código eu vou compartilhar esse código com vocês tem aqui explicações o link de instalar docker Teve gente que apanhou né E tem aqui uma primeira informação o que informação que é eu preciso criar copiando

essa linha eu preciso criar um container e criar um container que ele seja o que é preparado de tal forma que tem o elástico Então eu preciso instalar nesse container acho que serve e nessa linha de código eu já consigo configurar instalar esse container e fazer meu doc funcionar tá então eu venho aqui pessoal olha só abre de novo de comando e eu vou fazer o meu docker funcionar eu vou estar lá meu Dock eu vou dizer qual que é a porta correta eu vou ter um pacote de segurança para não dar falha para ele

executar e eu ainda vou instalar um giga mais ou menos aí de informação que precisa para ter o elástico certinho na máquina assim numa linha de código isso tá fazendo agora vai criar container criar imagem criar o container e criar é o pacote de informações para esse container rodar tá bom beleza Vai demorar um pouco eu vou deixar ele criando né e o que que eu faço com código na aula executo detalhe com vocês mas eu vou repassar rapidinho Primeira coisa eu tenho aqui um comando que eu instalo as bibliotecas eu preciso instalar a biblioteca

do elástico search né aqui é instalado com sucesso eu preciso chamar o elástico search né que é uma um pacote de módulo específico e preciso falar para ele rodar na porta 9200 tem como rodar em diversas portas em docker né mas eu escolhi essa 9200 ele vai conectar lá no meu docker que o meu docker vai estar rodando o cluster vai estar funcionando e ele vai falar Opa acessei enviar beleza fiz isso que que eu vou fazer eu vou colocar dados de filme da Netflix Então aqui tem um catálogo de dados de filme Olha só

é o tipo do filme o título alá tem vários títulos tem vários filmes aqui que eu coloquei dentro do meu docker dentro do meu só docker ainda não tá no last 7 aí o que que eu faço eu faço um método para eu dou um info só para entender aqui basicamente eu tenho uma duas três quatro cinco seis sete oito nove colunas e mais ou menos 500 filmes mentira 5.000 filmes então assim são 5.000 filmes que eu vou deixar ali dentro do elastic 7 poderia ser o quê 50 mil cadastro de produto poderia ser 5.000

cadastro de produto imaginando sou uma locadora tem essa quantidade de filme ali para eu fazer essa pesquisa colocar em prática o acho que o Senhor te faz né aqui é só a função do pandas para entender aí eu instalo algumas ferramentas de visualização e operação matemática e aqui que é interessante aqui não criou o gráfico de um erro tem que ver depois mas o que que eu faço lembra que a gente criou o índice lá no Cloud que foi Teoricamente que foi fácil foi três linhas de código aqui eu preciso desse super bloco de código

que é o quê Eu uso o mapeamento para falar qual que é variável título eu falo que ela é um tipo texto e eu falo que ela é analisável com o idioma inglês começa da orientação para o banco Então olha título é texto você pode usar ela para pesquisa e tá em inglês a etnia da onde o filme é eu falo que é título também né e ele tem o padrão Aí eu não especifico a língua porque eu não fico preso análise do tipo de língua Cash diretor o plot o ano Opa o ano eu

falo que é o tipo inteiro porque é número tá vendo pessoal como lembra um pouquinho o SQL Então as coisas meio que se conectam eu tenho que dar o tipo de informação depois que eu fiz isso eu crio o meu índice eu falo que meu índice vai ser chamado filme Eu uso a função de Map que ela vai criar um índice no elástico Então ela cria um índice que serve e ela vem depois de eu criar o índice eu tenho que adicionar dados e como que eu adicionei dados nesse caso eu usei um Loop então

eu usei o look o que para cada linha das minhas 5000 linhas eu vou inserir o título como título a origem como origem etnia e eu falo ó em série dada em cada sua respectiva coluna aí eu fiz isso depois que eu fiz isso é uma opção essa opção pessoal demora um minuto esse tipo de inserção aqui usando o four dentro do elástico search existem métodos próprios e lá tem uma função que chama Buck o Buck faz o que faz ali em cima só de que uma forma mais estruturada e que que ele demorou ele

demora 5 segundos então eu saio de um minuto para a função dela acho que 75 segundos Então tá aquele negócio que você demora 5 horas aqui pode demorar 5 minutos só por manipulação de forma mais correta das informações por essa função que ela acho que sete permite então não tem uma velocidade 100 vezes maior aqui utilizando uma função essa linguagem aqui é Python tô usando Python Então essa sintaxe é do Pai então eu tô usando bibliotecas do elástico para quê Porque eu me dou melhor com python por exemplo aqueles Gate lá eu me enrolo vou

dar um exemplo aqui eu me dou melhor com o pai então tô usando o Python para manipular um banco de dados que não é feito em Python mas existe a biblioteca aí aqui eu adiciono os dados os filmes formato de Jason que é a característica do arquivo eu dou aqui uma pesquisa eu realizo uma pesquisa para trazer o qual índice Aqui tá o índice no filmes Eu quero procurar o quê Eu quero procurar os filmes que o ator foi o Jack Nixon é o Jack Nixon é um ator famoso eu não lembro a cara dele

mas eu sei que é famoso esse nome e buscou pronto sabe no Magazine Luiza quando digita Ah computador 8 GB eu fiz isso aqui e eu achei as informações dos filmes que o Jackson participou e eu posso visualizar não só ele acha que tem uma informação mais bagunçada para o meu visual eu posso usar o pandas e achar a posição 2.500 Qual que é a linha que tá no meio da tabela é essa aqui ó é um título do filme é the Year my voice broke acho que o ano que minha voz quebrou uma coisa

assim estragou deu pau é um título australiano o diretor é o John drigan e o Cash tem no Taylor o bem mendelson e o gênero dele é drama e romance Então tá aqui pessoal o funcionamento utilizando o Python né e eu consigo depois excluir apagar E lembrando que eu tô com que com meu docker aqui ligado tá 7 minutos eu tô com container ligado no docker funcionando eu fiz isso local eu tô com container eu tenho a imagem que se eu precisar passar para vocês repetirem no docker de vocês e eu tenho volume com quê

o volume com as informações necessárias como que é como se eu quisesse instalar aqui olha acho que search ou gerar um volume que eu fosse aproveitar se eu vim desligar esse meu docker eu vou perder tudo que eu fiz tá aqui é natural eu fiz dessa forma mas tá aqui um exemplo tá pessoal tem até o exemplo de como insiro dados aqui que é mais ou menos o que a gente fez lá no elástico eu consigo fazer então o que que é essa minha arquitetura Eu tenho um docker como infraestrutura como se fosse o meu

computador virtual a máquina virtual que eu criei lá no Google que ela acha que search criou lá na nuvem é minha infraestrutura né minha questão computacional é eu instalei um banco eu acho que search dentro desse container do docker na minha máquina e eu tô acessando ele para fazer o etl para extrair dados para transformar e para ler eu tô usando pai né então na Cláudia tá tudo lindo maravilhoso eu nem sei que linguagem que roda lá no elástico Mas lá tá de forma muito simples o que eu fiz aqui tendo que ligar container criar

container conectar no Python e usar um monte de bloco de código tá pessoal [Música]