Curso completo DP-900 | Aula 06 | Treinamento Oficial | Microsoft Azure Data Fundamentals

E aí galera tudo bem último Capítulo a idade penal sem último último conteúdo é o próximo eu vou fazer uma revisão com todo o conteúdo então vou fazer ali umas 20 a 30 perguntas e respostas passando o review de todos os módulos vão perguntas respostas todos que nós vimos mais algumas Então prepara aí o coraçãozinho eu vou fazer essa semana agora para gente já colocar tudo na na nossa trilha da dp900 e vocês vem assistir aqui conosco que tem bastante coisa legal beleza obrigado pela pela tua acompanhamento pelo feedback pessoal vem dando bem comigo é

o último capítulo abraço E aí [Música] Olá pessoal tudo bem começando aí Capítulo 4 último aproveita segue aí ó esse é meu Instagram pode vir comigo quem já tá escrito no canal vem para o Instagram eu sempre compartilhando coisa nova ela também boa galera vamos lá então começamos último capítulo e que vai ver aqui tá a gente vai examinar os componentes de um data Warehouse moderno o mostrar um pouquinho de como a gente tem trabalhado aí nos grandes projetos é explorada análise de dados em larga escala começar a criar um para enviar para que que

serve toda essa engenharia de dados que a gente fez ou no final de contas você dá um bom site para quem é o seu fornecedor aí ou seu cliente ou quente solicitou a demanda para você trabalhar com os dados É legal vamos lá então vamos falar um pouquinho sobre os componentes né Muita gente me pergunta mas tem um que quer um doutor house né o nome já diz é claro que tem uma House tão grande armazenamento o estoque de uma casa de armazenar coisas né eu tô armazenando o que um data Warehouse entanto armazenando dados

é um estoque de dados Então mas eu sempre escuto falar em atacar leite e da Tour House neste falar um pouquinho sobre essa diferença entre um e outro né é mais um pouquinho mais importante a gente falar um pouquinho sobre um e outro é orar serviços ver o que a gente tem letra do Doutor House moderno parece um serviço que o Wesley que fornece para isso ruralmark textura vou mostrar um pouquinho o primeiro modelo que nós temos aqui e explorar serviço de dados no portal do Egito então eu vou lá entrava criar algumas coisas ali

para a gente conseguir ver como é que eu crio por exemplo um serviço você já falei com a sinapse alguma coisa do tipo uma de F1 da Factory né eu tenho bastante serviço legal legal como é que funciona os compõem desse cara Pumba logo de cara né eu tenho alguns componentes mas existem vários modelos de arquitetura tá então esse modelinho de arquitetura seria um modelo de Arquitetura em três camadas onde eu tenho basicamente os dados sendo ingeridos através de um processo de ingestão e pode vir de diversas fontes de uma relacional de arquivos que são

colocados alguma e é de outras planilhas ou coisas do gênero e esse carinho essa caixinha é Wesley data Factory o que que esse cara faz ele ingere esses aquele ingere todos esses dados transforma limpa faz um processo de etrl o seja de transformação deixa todo mundo no mesmo formato e armazenar esses caras e um data lei é pode fazer falei que estou age por exemplo E aí eu tenho dois caminhos eu posso seguir para o caminho do sinapi ou seja sinapse Services esse cara faz para um trabalho de normalização dos dados para uma limpeza mas

também uma alternativa que eu no meu ponto de vista acho mais lucrativa Até porque eu não tenho o domínio que eu tenho de sinapses quando eu tenho de data bits dentro da tablix também é uma alternativa para fazer o quê aqui dentro posso fazer toda a minha análise cognitiva me faz e o synapse como um Hub de informações Então faço todas as minhas análises cognitivas trabalham com python com R aqui dentro então é uma linguagem bem legal uma plataforma bem legal sinapses sinapses no desculpa ou já tá brix depois disso preparados dados limpos trabalhados com

as análises e cognitivas que eu precisava fazer eu uso o synapse como um Hub para armazenar os dados e entregar aqui do meu sinapse Analytics quiser eu tenho outro serviço desculpa the analysis Services aqui dentro eu posso pura e simplesmente tratar os dados e trabalhar dentro do analysis Services a minha os meus insights que eu tenho combinado com o negócio então eu trabalho dessa maneira para que para Expor os dados e o meu pai apenas consumir então tem algumas ferramentas aqui a gente pode falar primeira delas é o ADF né o Peter Edward Kelley sinapses

Analytics analysis Services da tablix e Power bi a clima quente coisa então eu categorizo isso em camadas chamada bronze porque o dado não tem tanto valor dela e depois prato e eu também não tenho assim o cuidado ele tem valor que já tá trabalhando mas ele não tem Total valor Ah e por fim o dado em camada ouro seja tratado limpo já tá basicamente pronto para ser consumido e gerar bons em sites ali para o negócio então basicamente essa o modelo de trabalho e é bem aplicado hoje em dia para camadas não só deu House

mas sim de data leite também tranquilo e aí dentro disso agora nós temos algumas ferramentas dentro dessas ferramentas em algumas que são bem interessantes por exemplo é o que eu tenho aqui eu tenho lá para festa de nada mais é do que um serviço e posso trabalhar com a partir de ingestão de dados ele é muito responsável por fazer equipe l&l te passo toda a conversão de dados dentro do do nosso da café tu né Ele tem alguns componentes importantes como o principal deles ali são os data sets e os pilares 207 é o que

cada tá 7 representa nada mais nada menos a tabela um conjunto de dados ali e faça total sentido para você ou já ou o nosso dá para Leite nada mais é do que um serviço de armazenamento como vocês viram no capítulo anterior eu posso trabalhar com outra lei que estou longe né que é uma história de só com o namespace será que com habilitado Ele trabalha o meus objetos de ingestão o mundo parecido que eu tenho que meu da falei odata brics é uma ferramenta muito parecida ali com henna psicanalíticas as duas trabalham baseadas em

Spark então ambos tem a parte Spark como ferramentar base de processamento né eu consigo trabalhar com fluxo de dados ali gerando no final do meu fluxo um armazenamento de uma tabela virtual temporário uma viu como vocês acharem melhor fazer uma viu física o HD Insight galera também é um outro serviço baseado em radup é um serviço mais antigo que eu me lembro ali do prédio um dos né que tem uma vela Insight Bem antigo e era baseada errado para trabalhos em big deitam é para você conseguir processar grandes volumes de Big Data hora de Insight

é o caminho mais apropriar você na política é uma ferramenta muito potente também muito poderosa e trabalha também baseado nesse parque eu tenho ainda um banco de dados SQL por trás ele é bem poderoso e nós podemos ali armazenar bastante coisas beleza esse cara também trabalha com bastante fonte de dados Olá boa em cima disso eu vou para o próximo quer falar um pouquinho sobre o ADF esse cara tem né famoso ADF é de datas entre abreviação como a gente comentou o serviço de ingestão de dados ele recupera dados de várias fontes de dados então

por exemplo Qual o cenário que usa a ferramenta Rei seguinte você tem um SP ou você tem um toque todo você tem um RP de mercado e quer fazer uma análise financeira mais apurada é que você faz traz os dados dessa p o seu toque do crp processa no seu data Factory criasse uma ingestão processo de ingestão e trabalho esses dados para que você consiga mandar para outra camada né para uma camada a prata de uma forma mais limpa e homogênea para você consumir cidade de outra de outra quantidade do consumo da cabrita e onde

é que eu posso simplesmente levar para próxima camada que é o meu datalynx Toddy ou simplesmente o repositório de dados para grandes de grandiosas volumes onde você pode trabalhar aqui com esse modelo de armazenamento de dados aí uma forma bem bem bem homogêneo e como eu tinha comentado lá no início né você gente me pergunta mais forte presença de um da Tour House 11 da Lei i em resumo o da tá Leite ele armazena o os dados de forma bruta e Como assim lembra que eu mostrei no primeiro Live o meu da tapete pega os

dados e armazenando da like Store ou seja Eu simplesmente só deixei um padronizado e armazena ele já our House não ele já armazena é isso de uma maneira mais estruturada ele tem as tabelas definidas bonitinhas Ele só tem grandes volumes Mas ele já tem ali as suas tabelas e os seus relacionamentos quando precisa de forma já criada previamente então diferença de você usar um da Lei isn't our House é a grande diferença dados brutos e dados estruturados de forma armazenada tá então um armazena dados estruturados o tô fazendo dado bruto é o caso da Lei

não consigo liberar acesso aqui ó um rebar ele totalmente consumível pelo radup totalmente consumido pelos Parque também dentro do data Factory o da tablix e do que na política os dois podem trabalhar ali e essa ferramenta já tá aí terceiro o da fábrica também é baseado Spark para mim hoje disparadamente é uma das melhores ferramentas para você trabalhar com a partir de creme de dados também para receber grandes volumes e tempo real e processar esses volumes e fazer análises cognitivos então uma ferramenta completíssima não é barato mas vale a pena uso dependendo de quanto você

processa e do que você processa vale muito a pena é um última empresa eu usava a data que usávamos Atrix Boa tarde Services galera é uma ferramenta que a gente comentou aqui ele serve para fazer ali o meio de campo também então para fazer análises de processamento analítico é a partir analysis Services que é uma ferramenta que trabalha baseado com Cosmos DB consegue trabalhar conectado com Cosmos DB e ele consegue para pegar a grandes volumes também e fazer análises em cima desses volumes penalizes essas que eu posso deixar simplesmente em site do meu negócio eu

quero mas como assim que que você julga Insight do negócio exemplo um padrão de faturamento que tá caminhando para outra cair ou algum produto que está despontando é uma análise é uma análise que eu quero ver isso de uma forma bem tratado Então posso usar o serviço na hora de serviço para fazer esse esse tipo de análise análise de venda na área de performance tudo isso são insights que eu posso gerar o negócio beleza eu não posso trabalhar direto com ajudar é que ele também aí para tirar liberação de permissionamento quem vai acessar a quem

acesse o que eu estou legal também o e por fim o HD Insight que é um modelo baseado em errado depois primeiros modelos de Big deita aí no início dos anos 2010/2012 onde era era se algo muito vantajoso você ter um grande volume de dados em forma estruturada porém conforme o dado foi mudando com o passar dos anos hoje a foto é dado documento é dado Então eu preciso desses dados de uma maneira mais bruta né é onde armazena no meu da lei que então foi essa mudança de comportamento dos dados e trouxe essa variação

de serviços tanto de Big deita para data Way they lower House pra tá leite que mudaram a concepção da maneira que você trabalhava com os dados não pode ser que um cenário tenha um HD em sites e o outro eu tenho da fábrica Depende de qual é o meu modelo de armazenamento eu quero um que eu já tenho habilita a doze anos ou se eu tô construindo da lei que do zero agora eu vou partir para uma abordagem diferente tá tranquilo então primeira parte e vamos ver como é que vocês estão de conhecimento e quando

que você deve usar o sinapsa lhe parece que tá consultas e agregações e eu comentei lá atrás é eu tenho sinapses analítica e eu quero criar insights pro meu negócio eu vou criar uma série de consultas que geram dado mais bonitinho para o meu para o meu borbi ai consumir para criar dashboard não né pessoal para habilitar um grande número de usuários a consultar dados e também não alegria a primeira informação aqui desse primeiro modelo já a segunda qual a finalidade da ingestão de dados quando que eu devo ingerir dasa em breve transformações de dados

complexos para capturar dados e fluem para sistemas ou de vários sistemas ou para visualizar resultados ingestão pessoal é sempre a ideia de você capturar e trazer mais dados da dentro do seu sistema e a principal diferença entre data líquida trials espero que vocês acessem e o datalink dados brutos e o doutor house informações estruturadas certa a resposta parte 2 certa a resposta parte 3 e mais um os quais serviços suportam clusters em Apache Spark eu falei que era um dois é um desses dois um deles é o na política e o outro é o gata

abre outro ponto importante Qual dos componentes armazena representa os dados Qual componente do data Factor você deve usar para representar os dados eu não entendi isso também não são link service notebook se ele tem também fica bem legal para você conseguir fazer seu pensamento em Python mas o que armazena os dados são uns barata fé Ah beleza então parte 1 do nosso Capítulo 4 já se foi e boa é bom demais são para parte 2 aqui a explorar análise de dados em larga escala galera vamos lá escrever um pouquinho a partir dessas de dados só

dos componentes data Factory e vamos lá teve um processo de ingestão como é que funciona primeiro é eu posso trabalhar com a parte de ingestão com data Factory pessoal então o simplesmente ele passa ali de um processo de TL e Elite no qual eu consigo trabalhar você dados formatar esses dados deixar eles limpos e uma maneira e outras ou databricks ou alguma ou guardar assim da lei que o armazenará esse numa base onde outra outras ferramentas consulta né existe uma outra ferramenta chamada por eles esse cara bem legal então não pode ver isso por exemplo

já usei ele para usar para fazer consulta no banco de dados externos pode fazer com o mundo bebê pode fazer uma hora qo pode fazer um telhado até então tem uma série de outros bancos eu usei com o Cosmos DB e não SQL também para você consultar base internas então é muito louco ele transforma essa base interna como se fosse uma uma tabela e você consegue consultar esses dados em fazer tudo para orçamento que você quiser para depois jogar esse dado numa 1adf por exemplo e por fim o ss Delma uma ferramenta de ingestão também

é o igreja um serviço era uma versão tinha muito um pênis eu consigo trabalhar com ele também é ambos como você pode ver o ADF o s s s são heterogêneas né ele se baseam e armazena de uma maneira muito organizada já não pode base não ele é baseado em um arquivo um arquivo de configuração né o vários arquivos de configuração e Angus todos ali podem disponibilizar dados para dar abrir então em resumo se algumas formas de ingestão e a trabalhar de maneira simples e objetiva como funciona os componentes aqui data Factory P só primeiro

eu tenho aqui alguns serviços vinculados ao data Factory que é o serviço onde eu quero que ele joga os dados eu tenho que os meus conjuntinhos de dados ou eu tô trazendo de dados daqui também pode ser uma forma eu vou trazer os dados do data lei e vou usar o meu pai pe Line toda tá Factory para trabalhar com esses dados então simplesmente os dados chegam então processados através de gatilhos pode ser gatilho de tempo algum gatilho de algum arquivo que caiu na pasta ou algo do tipo trabalho esse dado executa esse trabalho dado

depois o armazenar se dado de maneira organizada ou até mesmo relacionar o não relacional de uma forma estruturada que normalmente né Ei por fim dentro do meu databricks eu odeio no meu data Factory trabalho com alguns parâmetros sua parte de a integração que eu tenho aqui algumas ferramentas que eu vou integrar eu tenho o meu fluxo que é bem legal aqui o fluxo geram vai ter lá e não sequencial mesmo é bem bacana é que eu tenho toda a parte de sinapse pessoal dentro do sinapse é é uma ferramenta que tem ali muitas alternativas tá

por exemplo dentro do sinapse Eu tenho um Pulgas Kelly então consegui trabalhar com um pouco de banco de dados que ele eu tenho também aqui um pude Sparks eu consigo trabalhar dentro do ciaps ele é uma ferramenta bem completa mesmo tem que trabalhar fique também com o pai Pilar Mas ele tem os pés pelas no centro sinapses muito parecido que eu tenho no DF um link de com o com O que é o link do sinapse eu tenho o link o link ao sinapse direto o meu Cosmos DB Eu tenho um sinapse Studio é uma

ferramenta fora do Egito depois de no finalzinho criar ou na parte demonstrações que eu quero fazer também esse é um laboratório que demora uma meia hora depois tinha que fazer um vídeo só para ele tô pensando em fazer um vídeo só para o Senado também é um laboratório que a gente tem dentro do dp900 eu gosto de colocar esse cara no finzinho então em sendo aqui friamente é dentro dessas ferramentas a gente tem aqui alguns pontos importantes né E se eu tô trabalhando com o sinapse e preciso ali ingerir dados no sinapses como é que

eu faria galera não tem jeito eu não tenho muito muito que fugir né então você aprendendo algumas ferramentas dentro do Éder você já consegue trabalhar bem a parte de engenharia de dados então é um caminho que eu acho legal ali para quem é de e para quem de deve quer ir para a partir de dados aprende dentro de um provedor de nuvem weather de preferência ele tá ali com uma série de ferramentas para te ajudar em cima disso eu tenho mais algumas questões linhas também e qual os componentes do da Factory pode ser disparado executado

para tarefas de ingestão de dados um csv e imprimir um serviço vinculado à E aí linda eu falei Case Comigo Sei lá eu falei bem você pode usar para consultar a hora pô Cosmos mongo O que significa aqui da consultar dados de fontes de dados externas ou para ingerir dados de streaming ou para orquestrar atividades do Itaperi o que respondeu para consultar dados externos Está certa a resposta contra esses serviços podem ser usados para ingerir dados no sinapi galera não né para extrair talvez pode não né então esta quem esta o data Factory só isso

Pessoal esse aqui pelo Capítulo 2 é bem curtinho e o capítulo 3 parte 3 né tem mais coisa aqui olha aqui que legal e mais algumas perguntinhas aqui ó é você tem um grande volume de dados mantidos em um arquivo de Natália que história você deseja recuperar os dados desses arquivos e usá-los para preencher tabelas mantidas nas sinapses analíticas igual a opção de processamento é mais apropriada em seguinte eu tenho dado Zin tabelas um tabelas qual desses caras aqui eu teria dados para manter ou o Sheila Isabela e o Spark e talvez mas espero que

usaria para manter dados uma fazendo uma consulta com um grande volume de dados ou algo do tipo é usar o link do sinapse para conectar com o da Lei Santana é para manter em tabelas Então por fim sobrou mas que ele serve os componentes do Azur sinapsina leite que permite treinar modelos dia eu comentei que um desses caras aqui e a base ela Spark também você consegue fazer os modelos de treinar sinal dos Studio F Lines ou Spark no Snap o Spark é o cara que faz isso galera eu quero Spark mesmo que a gente

consegue treinar os modelos de ar e é bem legal viu você faz um modelo cognitivo em cima desse modelo você consegue terminar os seus dados tá cremissimo curte é esse cara não comentei mas quando você tem é uma célula dentro de um é para você trocar a linguagem por exemplo o idioma do o arquivo você precisa usar esse Sininho aqui de percentual e lembre-se disso você quer mudar a linguagem eu preciso usar o símbolo de percentual no Atrix Ela não comentou sobre isso mas é um ponto tá tranquilo Olá boa Capítulo 3 power bi Ai

aqui um cara que eu gosto mais eu não sou o melhor dos mundos no Corby ai gosto bastante da ferramenta bastante apreço O que é na verdade o que é o Power bi ai né tá muita gente eu vou falar de barbear É muita gente já usou por biah e muita gente já usa tem gente que nem é de ter que usa forbear cara de financeiro o cara do Market cara do RH todo mundo tá usando para Uber né Tem uma ferramenta índio ser para mim a gente usa a ferramenta técnica que exige o conhecimento

absurdo e muita coisa você consegue fazer uma viagem uma forma implícita para mim uma ferramenta de extração de relatórios Então eu tenho ali alguns pontos que são importantes né sentido a parte de visualização no barbear se tem a parte de conjuntos de dados para relatórios tem o painéis tem um blocos Então tudo isso é uma maneira de trabalhar com o barbear eu consigo ali desde trazer das de um pincel até gente seus Force Mix a cidade gerar um relatório Olha que doido eu isso daqui é um ponto importante do pop ar e como que eu

uso né esse trem do Bob aí né como é que é o tal do pop ar eu tenho três basicamente três formas de usar o PIB é primeiro o Power bi desktop segunda tem um serviço de barbear e terceira tenho por biah e mobile então você pode ter tanto uma visualização no seu desktop como um serviço você pode atualizar esse serviço acessar via web e até mesmo embarcar o gráfico de forma um dashboard no seu site e curtinho problema o baiacu aplicação bem legal você pode ficar visualizando seus gráficos ali no barbear e é por

fim o pobrezinho atendidas toques no celular tá bem legal o que mais que temos aqui galera Eita um parque como funciona que o pobre ano era dividido em algumas partes que só o que é anatomia primeira delas é a visualização né até onde você tá ali que você gera seus gráficos tal é o segundo é o conjunto de dados e aí onde estão os meus dados isso daqui pro meu pai enviai os meus dados estão juntos de dados ele pode vir cara de várias Fontes entre não é obrigado a vir de uma fonte só eu

isso é muito muito muito bacana e outro ponto são os relatórios que o relatório era mais é do que o conjunto de tudo que você criou você cria um relatório no caso você tem também painéis né pessoal dentro do powerbear você tem lá o painel um como se fosse um role no Excel você tem assistir você tem consegue criar painéis diversificados no barbear e também a parte de blocos a Grupa alguns tipos de relatórios ali dentro do próprio Power Oi e aí venha nossas que Ruins com sempre muito legais e muito bem-vindas legal é primeiro

pela primeira vez aqui qual clube se comum de uma atividade de história Oi e a Vitória no pubg mobile não relatório no serviço de barbear não traz felicidade para o Power bi desktop criar um relatório compartilhar com serviço e depois visualizar os relatórios do painéis de serviço no mobile é um caminho fazer os dados super BR mobile não Então galera é ativa correta para mim alternativa seria né E aí dá resposta é qual é o seguinte são blocos de construção do corpo ear eu sou sim então a ligação os conjuntos de dados relatórios firebox a

visão blocos painéis banco de dados não pude fechado que aquele dinheiro muito menos essa é como se chama uma coleção visual pronta organizado em painéis e relatórios ao enviar é uma tela esse daqui a gente também não comentou mais a meio intuitivo uma atualização o aplicativo pode contas é o aplicativo E aí galera por sim encerramos aqui o nosso dp900 com todos os capítulos agora vou fazer um review horas uma aula o próximo vídeo vai ser uma review sozinhos aqui para gerar e por fim mais uma curso uma formação de certificação completa pegada de verdade

que acompanhou até esse último slide é e chegou até aqui eu vou deixar um bloqueio aqui um QR code para vocês mandarem em terminou para gerar um certificado de conclusão desse curso aqui também com as 10 horas vão ser mais de 10 horas de curso no final das contas em chegou até aqui e tá vendo essa mensagem vai conseguir olhar ali o QR code para assim gerar uma mandar resfriar e preencher certificado preencher esse formulário é fechado beleza forte abraço ele pôde aparece aqui o próximo slide o certificado galera só escanear QR Code vai cair

no Google forms para vocês até abrir aqui pra vocês acharem que é golpe E aí que a certificado meu e-mail preenchi o form e me mandou e-mail para Henrique Terminei eu enviar o certificado para você ter ficado bonitinho aqui vai com seu nome certinho nome se completinha que você colocou carga horária eu vou colocar aqui 10 horas de curso tá você recebe certificado Dinho aí só vai me lembrando que eu vou mandando beleza eu mais uma vez obrigado quem teve aí comigo durante esse tempo bom e forte abraço a ouvir outros vem pessoal então continua

aí sai do canal eu sempre vindo coisa nova aí toda semana um convidado especial e outro eu vou tentar manter a cada 15 dias que toda semana também haja convidado Tem bastante gente fez você gente do mercado aí mas agora tá todo mundo muito ocupado quem quiser também vem fazer uma uma parceria aqui pra chegar beleza abraço demais daí obrigado e até o próximo a