Você REALMENTE sabe o que significa Big Data?

Big Data não é como você pensa que é eu vou explicar de uma forma tão simples e tão direta para você des que você não vai mais ter dúvidas sobre o significado de Big Data fala DS meu nome é meiger sou cientista dado Senior e seja muito bem-vindo a mais um vídeo aqui da comunidade DS nesse vídeo eu vou explicar o Real conceito de Big Data e se isso é realmente uma boa oportunidade ou não né Lembrando que o objetivo Desse Canal aqui é ajudar você a dar o seu próximo passo profissional então se inscreve

no canal deixa seu like para eu saber se você gosta desse tipo de conteúdo onde eu explico algum significado mais técn algum termo aí que todo mundo ouve falar mas poucas pessoas realmente entendem o que é tá lembrando que eu tô montando um grupo bem forte de pessoas que querem evoluir profissionalmente se você tem interesse nisso e quer fazer parte de um grupo assim entra pra nossa comunidade Lá a gente tem aula semanal discussão sobre o mercado de trabalho eh explicação de novas oportunidades depois de você ver esse vídeo aqui Confere o link para você

fazer a sua afiliação gratuitamente Mas vamos lá desce todos nós já ouvimos falar do termo Big Data né mas a minoria de nós sabe ao certo o que significa isso e se isso é ou não uma boa oportunidade essa dúvida ela é causada pelo próprio mercado de trabalho que tem entendimento diferente desse mesmo termo né Cada artigo que você lê vaga que você encontra pessoa que você conversa ou vídeo que você assiste tem uma definição diferente do que é Big Data por isso eu tô aqui para revelar para você a verdade sobre o Big Data

e eu vou fazer isso mostrando a origem desse negócio assim você não vai precisar mais de nenhuma outra explicação além dessa aqui que eu vou fazer para você e para te ajudar nessa explicação eu vou trazer aqui um pedaço de papel virtual pra gente fazer a explicação então de onde vem esse Big Data e será que é uma boa oportunidade ou não bom o Big Data ele começa mais ou menos assim ele começa com a grande sacada do do dono da Microsoft tornar os computadores acessíveis PR as pessoas então o Bill Gates Ele olhou aquele

computador que ficava na universidade somente poucas pessoas tinham acesso tinham que escrever código de programação ele falou assim cara por que não tornar isso popular mas eu não posso ensinar a população inteira a programação então que eu vou fazer eu vou fazer uma programação que vai criar algumas telas E essas telas elas vão ter botões E aí eu vou criar um mouse um teclado aonde esses botões eh podem ser clicados e ao clique desse botão alguma coisa faz então quando eu dou um clique com o mouse por baixo vai vai acontecer alguma coisa de código

que vai conversar com o meu computador vai executar aquela tarefa e depois vai retornar o resultado em uma outra tela essa tela vai ser simples vai ser fácil de usar e eu vou criar um sistema operacional que gerencie essas telas gerencia o mouse gerencia o teclado memória e assim por diante então o que que o Bill Gates fez ele fez uma camada eh entre o computador e o usuário chamado de sistema operacional então ele criou uma um outro sistema operacional só que a sa casada dele foi ter criado um sistema operacional que fosse simples de

usar Então as pessoas começaram então a ter acesso a esses computadores e agora com o sistema operacional que faria fazia a gestão disso tudo ele começou também a criar ferramentas de escritório Então dentro desse sistema operacional que ele chamou de Windows ele começou a criar ferramentas de escritório Como por exemplo o Word que é uma ferramenta de anotação de texto ele foi lá criou o Excel que é uma ferramenta de cálculo de planilhas de cálculo Ele criou o PowerPoint que é uma ferramenta de apresentação E isso se começou a substituir as ferramentas físicas então o

bloco de notas passou agora a ser o Word né a calculadora passou a ser o Excel e aquele flip chart de apresentação passou a ser o PowerPoint muito bem com a a a proliferação desse desses computadores pessoais Obviamente as empresas também começaram a entender que isso poderia ser bom para elas ou seja não só utilizar ferramentas de escritório pros seus funcionários mas também armazenar seus próprios dados então o que que eles começaram a fazer eles começaram a comprar vários computadores então eles compraram um computador depois eles compraram outros e eles compraram e cada computador tinha

uma certa função então por exemplo esse computador aqui ele guardava as informações do usuário então guardava aqui as informações do usuário esse aqui guardava por exemplo número dos produtos e assim então as empresas iam comprando computadores esses computadores iam armazenando os sistemas guardando sites por exemplo Então vamos imaginar aqui esse esse esse computador aqui guardava os sites e aí eles foram comprando esses computadores precisavam colocar esses computadores em em algum lugar eles foram lá criaram uma salinha dentro da empresa e chamavam isso de sala de ti quem nunca trabalhou numa empresa ou ainda trabalha numa

empresa que tem uma sala de ti geralmente é aquela sala gelada que tem um monte de computador ligado e que só tem acesso ao pessoal do ti n as as chaves ficam só com a galera do ti só que para eu construir essa sala e manter essa sala de ti Com todas essas informações importantes pra empresa eu preciso contratar pessoas então a gente começa a falar dos profissionais de ti que são as pessoas responsáveis por cuidar de toda a tecnologia dentro da empresa por isso ti né tecnologia da informação Então você tinha lá o analista

de redes que era a pessoa responsável por eh configurar os computadores das pessoas com os computadores da sala de ti para deixar todo mundo dentro de uma mesma rede você passa a ter por exemplo o próprio analista de ti então o que que o analista de ti faz o analista de ti Ele gerencia os sistemas operacionais gerencia as licenças gerencia essa parte Digamos que quase que burocrática do ti você a gente passou a ter também por exemplo o dba que é o administrador de banco de dados que era a pessoa que ficava focada só em

administrar o banco de dados dados muito no passado tinha as pessoas que faziam a manutenção desses computadores Então você tinha agora um time para poder cuidar dessa sala aqui de ti né e não só as empresas Vamos pegar uma empresa a aqui por exemplo não só a empresa a ela precisava fazer isso né mas Empresas Grandes também como por exemplo a Amazon então a Amazon o Google essas empresas IBM todas essas empresas também tinham ali as suas salas de ti então a Amazon o que que ela fez para começar a empresa ela fez a mesma

coisa ela foi lá comprou vários computadores e foram foi montando as suas salas de ti e obviamente Quanto mais a empresa quanto maior é a empresa vou colocar só dois quanto maior a empresa e quanto mais o negócio dela tá ligado com tecnologia da informação processamento maior a sua sala de ti certo e aí qual foi a grande sacada da Amazon n a grande cada Amazon foi o seguinte eles falaram assim olha bom eu tenho aqui uma sala de ti né minha sala de ti ela é gigantesca né que eu guardo os meus produtos e

eu vou fazer o seguinte Por que que eu não alugo a minha sala de ti vou alugar a sala de ti para outras empresas todo mundo olhou assim Como assim alugar a sala de ti é pensa assim ó tem uma empresa a que tem uma sala de ti qual que é as desvantagens de você ter uma sala de ti primeiro você tem que contratar pessoas então contratar pessoas é sempre difícil treinar as pessoas também é sempre difícil E você tem um custo salarial com as pessoas você também tem então vou colocar aqui você tem um

custo com pessoas A empresa ela tem um custo também com máquinas porque cada computador desse aqui tem um custo né custo de memória custo de ficar ligado você também tem custo de infraestrutura eu não vou colocar todos os custos aqui porque não vai caber mas você tem custo de infraestrutura que é energia elétrica eh o ar condicionado que fica as máquinas você tem um custo também de infraestrutura você também tem um custo por exemplo de manutenção disso aqui você tem um custo dos profissionais da manutenção você tem um custo das máquinas Você tem o custo

da infraestrutura que é energia elétrica e ar condicionado e você também tem um custo de espaço porque essa sala de ti aqui ela poderia ser uma sala de reunião Ou ela poderia ser um espaço para colocar um time né então você também tem um curso de espaço a empresa perde um espaço e aí a Amazon Então chega com essa proposta falou empresa Ah por que que você não aluga a minha sala de ti aí você vai fazer o seguinte ó eu vou emprestar para você na minha sala de ti alguns recursos que você usa Então

vou emprestar para você eu vou alugar para você processamento então qualquer coisa que você precisar processar eu processo aqui na minha sala de ti entrego para você eu posso alugar para você também armazenamento Porque aí se você tiver dados aí da empresa se você tiver dados de cliente para guardar eu guardo aqui para você tá Além disso eu faço para você a gestão da rede então eu garanto uma certa segurança na rede porque a tu os teus dados vão estar numa rede para entrar nessa rede você tem algumas senhas e algumas permissões você não precisa

contratar o time de ti porque o time de ti vai ser o meu time de TI da Amazon então eu vou é prover o time de ti para Cuidar dessa infraestrutura você não vai pagar conta de luz você não vai pagar a conta eh comprar computador não vai pagar ar condicionado você não vai pagar nada de infraestrutura tudo isso é por minha conta e a manutenção também eu que vou fazer essa manutenção aqui você não precisa preocupar com o computador nem nada disso a única coisa que a gente vai fazer vai ser um acordo aqui

de pagamento por uso então você paga por usar Se você usar muito processamento eu vou cobrar alguns centavos de dólar Então vou cobrar por exemplo 0,02 centavos de dólar a cada processamento a cada quantidade de armazenamento Feita tá que que você acha vale a pena aí a empresa a Aqui começou a olhar todas essas coisas aqui falou assim cara claro que vale a pena eu não vou precisar contratar mais pessoas do time de ti eu não vou precisar mais treinar as pessoas pessoas eu não vou precisar mais pagar salário eu não vou precisar mais e

comprar computador eu não vou precisar tomar esquentar a cabeça com ar condicionado e Luz elétrica e vai sobrar espaço na empresa ainda para eu abrir o novo time eu contratar mais pessoas porque agora tem um espaço físico dentro da empresa e colocando o o uso desses processos da minha empresa fica muito mais barato ou seja eu tô economizando para manter a mesma infraestrutura se eu não ter uma infraestrutura própria Se ess essa infraestrutura for a alugada ou seja uma outra empresa cuidar para mim então quando a Amazon começou a criar esse essa sala de ti

digamos assim para compartilhar com outras pessoas a gente deu o nome para isso de nuvem tá Então essa é a nuvem é uma sala de ti de uma outra empresa que ela vai cuidar de toda a parte de infraestrutura toda a parte de processamento armazenamento ela vai garantir para mim uma certa disponibilidade ela vai garantir para mim um certo armazenamento e em troca vou pagar uma taxa de uso quando e antes da nuvem quando cada empresa tinha sua própria sala de tou sua própria infraestrutura a gente chama isso de on primas que é na linguagem

das empresas é isso aqui é feito em casa e isso aqui é na nuvem E aí as nuvens começaram a colocar eh outros serviços também então você tem serviços hoje de processamento de dados serviços de machine learning tem vários outros serviços que eles foram agregando aqui e foram cobrando ess esses valores percentuais para cada para cada ponto legal qual a outra grande vantagem é de você ter um sistema em nuvem tá que é aí que entra a parte do Big Data na jogada até o presente momento antes das nuvens né você tinha um computador e

esse computador ele tinha uma certa capacidade Vamos pensar que a capacidade desse computador era 4 G de memória tá vamos supor que tivesse uma tarefa aqui que era um arquivo esse arquivo aqui eh vou colocar numa numa planilha tá pensa numa planilha aí e essa planilha aqui ela tinha por exemplo 2 GB e você precisava processar essa planilha esses dados precisava analisar os dados fazer gráficos e tudo mais se você tivesse esse computador de 4 GB ele faria a tarefa para você tranquilamente Ou seja eu tenho 4 GB eh de recurso e o o recurso

que eu vou usar demanda 2 GB Então tá beleza né só o que que aconteceu esses esses valores da dos do das tarefas aqui eles começaram a crescer muito então eu a empresa começou a armazenar os dados armazenar cada vez mais dados e aí a gente tá saindo por exemplo de planilhas de 2 GB a gente tá falando por exemplo de planilhas de 16 GB hoje ten até terab tá mas tô dando um exemplo aqui 16 GB E aí qual que era o problema Poxa eu tinha um computador que só tinha 16 GB é desculpa

quatro então o que que eu tinha que fazer eu tinha que comprar um outro computador aqui né que tivesse um process uma quantidade de memória maior para me atender vamos supor que seja oito mesmo assim não dava porque 8 com 4 eram 12 e E aí esse sistema ele vai crescendo tanto essa capacidade de processamento essa necessidade de processar vai crescendo tanto que os computadores eles vão tendo que ter valores de recursos computacionais muito de repente você precisava de um computador com 96 GB de memória e isso aqui é muito caro você produzir essa quantidade

Total num único computador nessa mesma época dentro da academia né quando eu falo academia é a faculdade né centro de pesquisas e tal não é aquela que você faz musculação não dentro da academia já viam se pesquisando eh dois conceitos duas ferramentas que proporcionaram a era do Big Data que é o processamento paralelo então você tem agora um processamento paralelo E você tem também o conceito de processamento distribuído distribuído né distribuído pouquíssimas palavras o que que isso significa significa assim ó imagina que você tem agora eh 32 GB para processar como tarefa deixa eu apagar

para ficar mais mais é fácil de entender você tem aqui ó 32 GB de uma planilha para você eh é processar e você tem um computador disponível aqui de 4 GB um de 8 GB e vamos supor que esse outro aqui no final ele seja também de 8 GB então o total de capacidade que você tem é é 20 GB né o total que você tem aqui a soma do 8 + 8 + 4 Você tem 20 GB só que 20 20 GB é menor que a sua tarefa só que ao invés de a gente

comprar um computador com a capacidade e máxima para atuar aqui que que o pessoal fez eles colocaram uma camada aqui antes que é uma camada de gestão que faz o controle das tarefas Então essa camada de gestão ela faz o seguinte deixa eu só puxar isso aqui mais para baixo para ficar separado puxar isso aqui para cá vou puxar isso aqui também Para cá então que essa essa essa essa gestão faz quando essa tarefa de 32 GB chega aqui essa gestão fala assim olha esse computador aqui um por exemplo processa Para Mim 4 GB esse

aqui processa agora 8 GB por exemplo e esse aqui processa os outros 8 GB esse 32 GB aqui ele vai ser quebrado em dois pedaços então 32 ele vai ser quebrado em 20 GB mais 12 então vou processar processar esse 20 aqui com a capacidade de recursos que eu tenho e e quando alguma máquina acabar vamos imaginar que essa aqui acabou então ela acabou uma parte do trabalho aí esse sistema de gestão vai lá e coloca mais uma tarefa para ela fazer então parte desses 12 Aqui começa a ser processado Ou seja você quebra a

tarefa grande em pedaços menores você vai passando os pedaços menores pros computadores que TM capacidade de executar as partes menores quando elas vão terminando de ser executados Essa gestão ela vai reunindo os resultados e depois ela devolve o trabalho de 32 GB para eh quem demandou a tarefa E por que que isso é importante porque isso abriu então as portas do Big Data porque agora você não tem mais limites de processamento porque você tem ferramentas que quebram esse pedaç esse esse negócio grande em pequenas partes distribui as pequenas partes de acordo com a capacidade máxima

dos computadores físicos esses computadores físicos vão resolvendo esses probleminhas vão devolvendo o resultado E vão pegando novas ATIV idades quando toda aquela tarefa é processada Essa gestão aqui ela reúne tudo e devolve o resultado pra pessoa que demandou então agora você realmente abre o espaço para Big Data que nada mais é do que um processamento massivo de dados é a capacidade de processar cada vez mais dados sendo que quase que não tem um limite porque vai ficando tão eficiente esse processo de gestão que você não precisa mais eh produzir um computador que tenha sei lá

no 90 GB de memória porque você tem um limite físico ali que é a capacidade de processamento né que segue a lei do mur n Você tem uma capacidade física de processamento O que que você faz você quebra e divide essa capacidade E aí você fica limitado a quantos computadores você consegue colocar para trabalhar junto e isso aumenta muito a capacidade de processamento e que é o que nós chamamos hoje de Big Data então todas as empresas agora o grande maioria A grande maioria delas começaram a usar e estrutura da nuvem ou seja emprestar recursos

computacionais de nuvens como a Amazon que é conhecida como a WS você tem a nuvem do Google que é a gcp E você tem a aure da Microsoft você tem outras nuvens também mas essas três aqui são as mais conhecidas e aí as empresas então não precisam mais desses profissionais de ti aqui Elas agora só precisam de pessoas que entendam como usar os mesmos serviços na nuvem porque além de ser muito mais barato ainda traz a possibilidade para você de processar dados massivamente dentro do Big Data então dificilmente você vai encontrar um sistema ou primes

que ele seja para processar Big Data porque essa infraestrutura Essa gestão da infraestrutura aqui ela foi ficando muito especializada na nuvem Então você tem profissionais dentro das nuvens que trabalham na Amazon no Google e na aure que fica se tornam especialistas nisso então eles vão melhorando essa infraestrutura tornando cada vez eh mais prático mais é otimizado todo esse processamento aqui e aí as oportunidades que surgem no Big Data são as oportunidades de trabalhar mesmo na área de dados processando esses dados então você pode ser por exemplo engenheiro de dados que é a pessoa que vai

cuidar dessa infraestrutura de processar esses dados aqui massivamente você pode ser o devops né ou data Ops que vai montar essa infraestrutura para que ela funcione né E aí o cientista e o analista de dados eles vão eh usar a capacidade de processamento m para poder fazer suas análises treinar os seus algoritmos então o Big Data ele é um momento que abre portas para muitos outros profissionais trabalhando com tecnologia e dados processando dados de forma massiva mas usando tecnologias infraestruturas que são construídas dentro das nuvens dessa forma Então essa é a a a origem né

do Big Data e eu conto para você porque eu vi isso acontecer quando eu tava nos Estados Unidos em 2013 eu estudei sistemas processamento de distribuído e lá já se falava muito de nuvem tinha disciplina na faculdade que falava disciplina de nuvem né Vamos fazer aula de nuvem e lá nessas aulas de nuvem o professor explicava exatamente o que eu tô trazendo aqui para você e aí quando eu voltei pro Brasil de 2015 pra frente aí a Amazon tinha chegado no país aí eu vi essa essa mudança aqui das empresas acontecerem porque eu participei dessa

migração já trabalhei em empresas que eu ajudei a tirar o dado da empresa que tava dentro da sala de ti e passar pra nuvem e começar a usar os sistemas da nuvem eu fiz isso eu vi isso acontecer por isso que no começo do vídeo eu trago para você a explicação do Big Data e disse para você que as pessoas entendem de forma errada porque de repente elas não viram isso acontecer e se você entendeu o que eu expliquei aqui é a única coisa que você precisa para entender o Big Data e você vai saber

explicar para qualquer um que perguntar para você e também perceber a oportunidade gigantesca de trabalhar na área de dados agora com né o Big Data aí disponível para todas as empresas praticamente tá e se você quer ficar por dentro dessas novas áreas de tecnologia dados e não perder nada que tem de novo no mercado entra pra comunidade dess Lá a gente compartilha conhecimento eu compartilho oportunidades né a gente tá trocando sempre ideias com experiências de outras pessoas para enriquecer o todo o link tá na descrição desse vídeo aqui para você se afiliar gratuitamente