Data Mesh, Data Lake ou Data Warehouse? Que arquitetura utilizar?

e fala gente tô de volta aqui com vocês para falar de três temas muito legais dá para levar os data leite e da tá mexe posso usar os três juntos tem que separar tenho que escolher um só vem comigo e vamos solucionar esse quebra-cabeça e é muito bem senhores vamos começar pelo data Warehouse o data Warehouse a gente sabe que ele surgiu pela solucionar alguns problemas da indústria nos anos 90 mais ou menos tá 1989/1990 por aí não sei se vocês lembram né Por causa do nossos pais nossos avós como que se fazia pisos inteligentes

cada área tinha seus sistemas claramente que os sistemas não se conversavam verdade então tinha que ficar uma pessoa fazendo famoso relatório relatório era feito em PowerPoint era feito em Excel principalmente então existiam a pessoa encarregada de juntar todos esses relatórios e criar a única fonte da Verdade basicamente em Excel e isso fez os cientistas de dados da época pensar né falou pa esse eu consegui de alguma forma conectar todos os sistemas e armazenar e São só de um lado e gerenciar a informação como datawarehouse que em tradução literal você já sabem armazém de dados né

então é isso realmente Tomou muita força em algumas empresas foram muito exitoso e começar a utilizar o bendito do data Warehouse o problema do data Warehouse é que quando a galera tentou escalar não funcionou muito bem por um motivo cada área tinha um pouco a sua realidade marketing tende a sua realidade Finanças tinha sua realidade cortina hoje a coisa um pouco mais integrada mas ainda assim existe essas diferentes realidades e nessa época imagina um marketing falar com Finanças e falar com operação não existia isso né então a coisa passou um pouco foi evoluindo se deram

conta se criassem nichos de dados Ilhéus famosos datamatics isso seria um pouco é fácil então dentro do tá tão é falso começando a criar Patinhas né que se chamarão de datamate e cada data marketing uma especialização E com isso por exemplo na área de marketing dia sim conectar no nosso data Warehouse Mais especificamente dentro do seu nicho de atuação tão isso deu bastante agilidade para o nosso Natal a calça de verdade que isso funcionou excelentemente Benta durante anos e isso foi a fórmula do Sucesso pra galera e conseguir distribuir os dados de uma forma bem

inteligente com um detalhe o data Warehouse ele sempre olhou para dentro da companhia nessa época galera não tinha essas coisas the internet the internet of things ó o mesmo é de redes sociais então o data Warehouse e sempre foi planificada e sempre foi pensado para atuar com as fontes que a companhia tinha bom e foi realmente exitoso tá sério quando como depois da saída do datamate também aí foi uma grande sacada vamos lá segundo. A gente tem o datalike o da Talent surgiu junto com a expansão da Internet das redes sociais já não era mais

suficiente bota Warehouse eu precisava de alguma coisa mais parruda ali mais robusta para segurar o tranco das redes sociais e o volume absurda que tava gerando a internet nesse minuto Então na verdade os da talentos surgiram como soluções internas de empresas como Google Amazon etc etc e finalmente se deram conta que essa solução que eles estavam propondo pela sua própria empresa serviria um dia para as outras empresas também adotarem o famoso da talento a diferença brutal datalike e que ele Visa a velocidade EA quantidade de dados que você pode receber é Enviado Por isso que

chama data Lake tradução literal da água de dados versus o armazém de dados então está falando de proporções muito diferentes aqui quando a galera se deu conta que sim podiam tomar decisões a partir de dados que vim das redes sociais e que vinham da internet Surgiu uma técnica colunar de explorar os dados não mais linear como era o data Warehouse essa forma de explorar os dados através de colunas agilizou bastante as coisas dos cientistas de dados mas ainda assim a gente tinha um problema de acesso da galera chegar lá dentro do satélite e não sabia

o que fazer e finalmente a nossa terceira opção que é o ou da tá mexe o da tá mexe surgiu aí nos anos de 2015/2017 em sua popularizou muito depois do artigo de chamar de gay é do site Martins hour.com e vou deixar aqui na descrição pra vocês verem e depois se popularizou bastante em indústrias de grande porte tá ou empresas de grande porte onde o da tá mente realmente faz sentido o da tá mexe Ele olhou para dentro da Talita e falou pera vamos voltar um pouquinho no passado vamos entender o que aconteceu eu

tinha dados descentralizados por departamento juntei tudo dentro de um data Warehouse depois a galera aquele dificuldade de acessar e eu criei datamax para o acertamento Né o adjunto aumento da área dentro dos meus dados Então por que que a gente não faz mais ou menos o que a gente fez no passado e aí você criou o conceito de domínios de dados eu utilizo sim a estrutura do lê mas dessa vez eu não vou tentar buscar a verdade a p um dos dados porque isso é muito difícil eu crio o que a gente chama de domínios

de dados baixo a mesma perspectiva por exemplo um domínio de dados de clientes ele utiliza assim a estrutura da tá Lake a estrutura cérebro é que a gente está acostumado hoje em dia e a estrutura de mim que o serviço mas ao mesmo tempo eu tenho a flexibilidade do data Mart que era do da terra cálcio Fantástico né eu encontro que a tecnologia e essa essa visão do exatamente muito boa basicamente A ideia é essa utilizar toda a estrutura potência que eu tenho Hoje em Dia dos meus datalynx mas agrupados por temas essa é macho

foi Gods né quando você vai pro disso daqui Leo Cosméticos indo o SeaWorld s e as outras as outras partes que a gente tem muito bom então e a grande pergunta é Qual é o disso né data Warehouse data Lake data mexe Qual o dele O que é especial para mim empresa você vai ter que analisar bem o que você quer o data Warehouse galera ele tá meio de Pecado já né ou seja ele tá um pouco ultrapassado mas ele ainda serve para empresas que têm somente Fontes internas se você realmente tem uma empresa que

tá começando agora e você não tem uma conexão com a internet uma conexão com as redes sociais Talvez o data Warehouse junto com os datamax né Nessa versão do data Warehouse data Warehouse mais datamate seja ideal para você tá o o da lei que ele pode ser utilizado mais pra empresas que são de médio porte ou pequeno porte onde você pode gerenciar o governo de dados muito bem então aí o data lei funcionar legal você precisar de informações de redes sociais você precisa de informações de internet mas você tem um governo bacana de dados né

Agora se a gente já vai entrar em indústrias de grande o seu empresas que têm 100 mil duzentos mil funcionários que são gigantescas o da tá mexe é sua praia da você precisa realmente agrupar os temas por uma simples razão e quando eu tô falando de cliente se você pergunta pro marketing o que ele define como o cliente ele vai te dar uma resposta e uma visão se você pergunta para operação o que ele define como o cliente ele vai te dar outra explicação e assim por diante Você pode perguntar para todas as suas Áreas

Todos sabem o que é um cliente mas a visão sobre o dado do cliente é diferente então dá tá mexe garante justamente isso que eu possa tão microsserviço do dado o dado como taça da Ira as service baixo meu governo de dados e como a distribuição federada e não tão centralizada então dá tá mexe é sua praia como eu faço para construir o da e olha só a fórmula é bem simples eu posso fazer um vídeo se vocês quiserem só disse Deixa aí nos comentários a fórmula é bem simples tá eu começo uma estrutura de

data lei que isso e escolha um provador e finalmente eu começo aí meu data leite mas eu a grupo os temas em bolinhas que a gente fala né em domínios essas bolinhas que se conectam depois para criar a nossa malha de Deus né Então galera Finalmente eu fico com a seguinte reflexão se você vai optar por um datalike o seu governo de dados tem que ser especial tem que ser supra-sumo se você vai optar pelo data Warehouse você não pode tentar trazer muitos dados de fora você tem que ficar com os sistemas que tem a

sua companhia se você optar pelo data mexe você tem mais flexibilidade você tem um governo Eu pensava que você pode federar e você também tem exclusividade na análise de dados Então você aí tem que ver exatamente o que a sua empresa está precisando nesse momento existe uma alternativa também que falaram muito ultimamente que é o famoso Lake House e o que que é isso o Lake House é a combinação do da talento e com o data Warehouse e Lei causa a galera de informática é isto para criativa Então o que acontece aí é que eu

utilizo uma estrutura da tua lei para armazenar informação mais eu explora os datamax que eram do meu antigo data Warehouse eu não gosto muito dessa abordagem para ser sincero com vocês eu acho que essa abordagem e limita muito a capacidade que eu tenho do meu gato ali que mais funciona se você tiver aí um propósito para isso funciona super bem tá bom é isso eu espero que vocês tenham gostado da isso eu espero que tenha ajudado você aí a tomar sua decisão se vocês quiserem que eu fale de algum tema específico sobre é o data

Warehouse eu data Lake o tratamento deixa aí nos comentários que com certeza vou fazer um vídeo para vocês o seu joinha me ajuda muito se você puder dar o like se inscrever no canal e isso me ajuda a continuar Valeu galera até o próximo tchau