O que é DATA WAREHOUSE? Você precisa de um?

olá seja muito bem vindo aqui o josé da dva próprio e hoje nós vamos aprender o que é data warehouses e também conhecido como dw ou armazém de dados no português a idéia desse dia a gente fazer uma abordagem bem prática para você utilizar no mercado corporativo primeiro de tudo se você é novo banco de dados antes desse vídeo legal você dá uma olhada no meu canal existe um outro vídeo que eu fiz com o título o que é banco de dados aí você volta pra esse vídeo aqui pra gente continuar o papo beleza segundo

de tudo já daquele joaninha nesse vídeo compartilha com seus amigos que também querem aprender sobre essa que é a beleza bom pra começar porque alguém vai precisar de um dw acho que entender isso aí é o fundamental para você entender um monte de coisas sobre dw automaticamente vamos fazer o seguinte ó imagina que a gente eu e você abrimos uma loja de começo era só eu você medo de vendas ea gente começou a registrar suas vendas em um sistema que naturalmente tem um banco de dados por trás só que a gente começou a andar bem

pra caramba começou a chover clientes felizes e aí aconteceu duas coisas primeiro volume de vendas cresceu absurdamente com isso os dados que a gente tem que aguardar no nosso banco também crescer um monte segundo volume de trabalho é gigante e agora só a gente só eu e você e pintado conta então a gente precisou começar a contratar tipo rh para cuidar das nossas contratações um financeiro para administrar a grana um comercial para atender os clientes e assim por diante naturalmente todo esse pessoal usa o mesmo sistema e o mesmo banco de dados que a gente

plantou lá no comecinho e o sistema que a gente implantou assim como a maioria dos sistemas ele tem um banco de dados utilizado para transações ou seja ele é rápido para operações de inclusão alteração e exclusão pode ser de vendas produtos clientes é ter um monte de coisa mas ele é rápido nesse tipo de transação corrente vai incluir alterar ou excluir alguma coisa numa versão bem simplificada a gente poderia imaginar nosso sistema organização das tabelas dele dessa seguinte forma que ó ea nossa tabela de vendas união de guardas nossas transas ações poderia ser desse jeito

aqui pra nossa operação diária o front end da empresa tipo o caixa é o atendimento a clientes essa estrutura de colocar uma venda por linha e guardar na tabela de vendas só os códigos ela é super eficiente já notou como quem trabalha no caixa de um supermercado por exemplo sabe tudo quanto é código dos produtos decorre salteado e sempre que é muito mais rápido mais fácil pra ele e digitá la code 123 para um determinado produto do que digitar o nome do produto tipo armário embutido 42 módulo duas gavetas e seta concorda muito mais lento

para ele trabalhar essa forma então uma tabela de vendas que ela contém sua código é muito mais rápida tanto para o sistema trabalhar quanto para a pessoa que vai trabalhar desde que ela é claro que tenha uma boa memória para decorar os códigos a maioria da galera trabalho em caixa já vê os caras têm uma hora e é difícil pra código né assim funciona a maioria dos sistemas que a gente vai encontrar no mercado quando se tratar do front end da empresa só seguinte o crescimento da nossa empresa agora a gente está chamando ela de

corporação além dos funcionários do front end tipo a galera do atendimento a gente agora tem um monte de usuário no beque indy da empresa tinha uma galera financeiro a galera do rh galera do administração comercial e assim por diante enquanto que o pessoal do front end tem como foco incluir e excluir a atualizar as informações o foco do pessoal do bec and normalmente é consultar os dados e fazer análises gerenciais tipo assim o pessoal do rh ele precisa de um relatório de vendas e comissões enquanto o nosso pessoal do comercial preciso de um relatório para

acompanhar as metas de vendas e como você pode ver a forma como as informações ficam guardadas no banco é bem diferente de como as áreas de back end precisam visualizar essa informação então pra gente poder transformar o que está guardado nesses relatórios e consultas com o pessoal precisa o que nós precisamos fazer a gente precisa de poder de processamento o que não é um problema nesse exemplo aqui porque a nossa empresa aqui no caso é pequena só que como eu te falei nossa empresa está crescendo e crescendo muito então a nossa tabela de vendas agora

tem um bilhão de linhas imagina só a quantidade de informação que a gente tem guardado além disso em geral os sistemas quase sempre não são assim tão simples quanto a gente colocou nesse exemplo normalmente lição desse jeito aqui ó tabela e relacionamento para tudo quanto é lado então agora pensa no tamanho da encrenca quando todo mundo da empresa começar a usar o sistema tudo ao mesmo tempo pesado né sem falar que os usuários de começou assim ao sistema tem uma carroça no mínimo planta tirando aquela porcaria de relatório dele mas eventualmente vai sobrar o pessoal

de tiê essas carinhas felizes aqui vão se transformar em carinhas desse jeito aqui dizendo para vocês o seguinte olha talvez nessa portaria desses dela e como é que a gente atende todo mundo com performance não é como a gente resolve o problema corporativo que se criou em função do crescimento da nossa empresa um problema bom na nossa empresa está crescendo mas é claro que isso aqui se chamam as dores do crescimento é como a gente resolver como atender todo mundo com performance bom pra começar a empresa vai contratar você vai contratar ou não de babão

e vai resolver o problema de performance dos bancos ea gente provavelmente vai propor uma dessas quatro alternativas aqui primeiro seria melhorar o poder de processamento fazendo um crescimento que a gente chama de crescimento horizontal como nosso banco de dados que um servidor se a gente melhorar o servidor sistema fica mais rápido e para ambientes de médio porte essa solução é show de bola agora se a nossa empresa foi de grande porte aí já não cola porque normalmente fica muito caro você ou simplesmente enviar você comprar um servidor que suporte tudo aquilo que a gente precisa

é por isso que nós temos a segunda alternativa que é crescer verticalmente por exemplo criando uma cópia do nosso banco de dados nesse caso enquanto o pessoal do front end trabalha na base principal o nosso back end vai trabalhar com uma cópia que a gente atualiza regularmente quando eles precisarem porque pra calcular por exemplo como sonhos ou as bases de impostos o cara do mec e não precisa da venda que acabou de entrar no sistema agora um minuto atrás opção da posição de fechamento por exemplo a posição de fechamento do dia o fechamento da semana

ou às vezes dependendo da situação até o fechamento do mês serve então esse modelo é bem legal e funcional dependendo do tamanho da empresa e tem duas boas vontades a primeira é que é barato é só comprar outro servidor em fazer uma cópia da base pronto o gerenciamento daqui também é bem fácil porque é só fazer uma cópia do banco quando os usuários que precisarem só que eles modelo tem duas desvantagens primeiro criar relatórios ainda uma parece que depende de alguém bom e conheça aquele emaranhado que é o nosso esquema de banco porque dá uma

olhada só no modelo de dados imagina um usuário comum tentando procurar informação que ele precisa aqui dentro é completamente inviável precisa de um especialista para fazer isso ea segunda desvantagem é que não existe reaproveitamento do processamento ou seja toda vez que o usuário precisa tirar um relatório nosso servidor precisa processar informação tudo de novo gastando luz gastando recurso computacional deixando o sistema mais lento e assim por diante então dependendo do tamanho da nossa empresa o ideal é a gente procura a solução 3 que seria crescer verticalmente porém implantando um datawarehousing e aí como funciona a

gente continua tendo nosso banco de produção com as tabelas normais vendas colaboradores produtos etc ea gente vai criar um banco novo só que ao invés é uma cópia de produção como na solução anterior esse banco o data warehouse ele vai ter tabelas com as informações do jeito que o nosso back end precisa tipo assim ó a a gente vai ter uma tabela chamada folha de pagamentos para o nosso rh e uma outra tabela chamada acompanhamento de metas para o nosso time do comercial então como você pode ver um de davi e não precisa gastar recurso

computacional toda vez que alguém vai tirar um relatório ou seja economia de poder computacional que gera economia de energia e economia de dinheiro porque você pode ter um servidor - porrada e assim por diante e como essas tabelas são alimentadas aí vem outro é bem legal através de um processo chamado e tl ou ex-craque transforme em londres que nada mais é do que pegar a informação na nossa base de produção ex trek transformá-la no formato que a gente tem o nosso backend precisa transforma e depois ao invés de mostrar o relatório na tela como normalmente

os sistemas fazem a gente vai salvar o resultado no nosso dw nas tabelas do nosso dw isso seria parte do load então as vantagens desse modelo são altíssima performance porque daí eu tenho os usuários distribuídos cada um acessando o servidor que precisa é facílimo de botar consultas facílimo de analisar dados concorda porque o dado já está organizado certinho do jeito que as pessoas precisam eu posso criar uma interface com o usuário ele mesmo olha as tabelas ele seleciona os campos que ele quer então fica muito fácil de montar relatório isso aqui não é aquele emaranhado

de informação que a gente tem a nosso banco de produção e ou reprova reaproveitamento do processamento total né a gente roda uma vez o intelli e uma vez que ele transformou os dados depois todo mundo backend se beneficia disso certo agora as desvantagens são o autogerenciamento naturalmente né porque existem um monte de processos bases backups problemas de sincronização que a gente vai ter 30 e um monte de coisas gerenciais que esse modelo traz mas ainda assim o modelo super popular nas grandes empresas por conta dessas vantagens são vantagens muito muito atrativa sair para o mundo

corporativo é altíssima performance fácil de ti é reutilizável e assim por diante né agora pra terminar imagina que a nossa empresa cresceu ainda mais a cresceu muito grande uma mega multinacional gigante e agora tem gente do mundo inteiro acessando nosso bw coitadinho é de usar do mundo inteiro a atenção nesse cara e começou de novo aquela conversa chata é talento esse negócio aí que a gente vai fazer isso aqui é só porcaria de sistema implantado no relatório começou de novo aquela confusão e é o que a gente vai fazer bom e nesse caso a gente

a exemplo da da solução um agente poderia também aumentar os servidores a gente tem um servidor na sociedade o servidor nossa baixa produção poderemos aumentar a luz se não der assim como na solução nossa empresa é muito grande não adianta aumentar a gente poderia fazer parecido com a solução do incidente poderia duplicar esses dwc ao invés de ter um dw tenho uma cópia do dw e várias pessoas cada área por exemplo acesso a uma cópia desse de ws seria também uma alternativa agora o que normalmente as empresas que são multinacionais enormes que tem espalhados pelo

mundo inteiro o que elas fazem a solução 4 quer criar subir de w a gente vai continuar tendo a nossa base de produção a gente faz um e tl e teria o nosso dw e depois disso a gente faz mais um e tl ou não simplesmente carreira ea formação de um lado para o outro para salvar a informação do que a gente chama de data mars que são sub data warehouses especializados uma determinada área ou linha de negócio então na nossa empresa a gente poderia ter por exemplo data mart que o rh do brasil um

datamart comercial dos estados unidos outro financiador da inglaterra outra contabilidade global da nossa empresa e assim por diante legal né esse conceito agora você já sabe o que é e porque interessa implantar um data warehouse nossa empresa é claro que existem várias variações das suas soluções que a gente viu mas no geral essas quatro estratégias atendem muito bem a empresas de qualquer porte que você for trabalhar então pra fechar o que é da tour house é um banco de dados especializado em consultas e análises gerenciais eu acho que por aí você vai achar algumas definições

bem difíceis no dia que é data house bem acadêmicas band assim né mas nesse vídeo aqui eu quis abordar de uma forma mais leve e principalmente uma forma mais usava no mercado corporativo tenho certeza que com esse vídeo que você viu aqui de celular 12 3 minutos você vai ter um entendimento bem bonde quando você tem que ter ou não tem que ter um data warehouse naturalmente o que a gente viu aqui é um resumão mesmo assim já me disseram que essa abordagem aqui é útil porque ela sempre tão focado entender na prática quando faz

sentido não ter um de w mas eu acredito que depois desse vídeo aqui como eu disse esses os outros conceito até mesmo as definições os acadêmicos vão ser muito mais fácil pra você assimila a beleza ea propósito você quer estudar um pouco mais ou você vai fazer uma apresentação sobre data warehouse na sua empresa no meu site e coloquei lá várias expressões bonitas e que o pessoal fala muito no meio de w já então você pode lá no site dá uma olhada nessas pressões é legal porque você vai ouvir os caras falando isso então já

vai estar antenado nas suas expressões que os caras falam muito na área de w e também se você quiser rechear a sua apresentação de coisa é palavra é a de jia complicada nessa área de w lá no site você vai poder encontrar o suporte pra você fazer isso falar bonito impressionar na próxima reunião sempre fazer seu bebê w beleza espero ter gostado desse vídeo em que se vê no próximo e logo shanteau