Como se Tornar Engenheiro de Dados - Livros, Certificações e Portfólio

nos últimos anos aumentou muito a procura por engenheiro de dados em todo mundo de acordo com o Tech Job report dá Tend near foi a segunda ocupação em tecnologia que mais cresceu em 2021 o trabalho também apareceu no Linkedin e o smorj Jobs report de 2022 entre os 15 empregos mais promissores para 2022 isso e outros fatores fizeram com que milhares de pessoas procurassem saber como se tornar um engenheiro de dados mas antes da gente entender o que que é preciso estudar para se tornar um engenheiro de dados vamos entender o que faz um engenheiro

de dados e como essa profissão é muito diferente da profissão de cientista de dados os engenheiros de dados trabalham em uma variedade de configurações para construir sistemas que coletam gerenciam e convertem dados brutos e informações utilizadas para os cientistas de dados e analistas de dados para que eles possam analisar interpretar os dados seu objetivo final é tornar os dados acessíveis para as organizações para que eles possam usá-los para avaliar o seu desempenho gerar performance otimizar a empresa dentre as atividades do engenheiro de dados as mais comuns são coletar conjunto de dados relevantes as necessidades de

negócios da empresa para um projeto ou um sistema desenvolver algoritmos para transformar dados em informações úteis e acionáveis criar testar e manter arquiteturas de Pilar de bancos de dados configurar e gerenciar datalei criar novos métodos de validação de dados e ferramentas de análise de dados além de Claro limpeza e automação desses dados mas uma coisa que você tem que ter em mente é que o trabalho de um engenheiro de dados e dos cientista de dados são completamente diferentes Vamos fazer uma analogia com uma equipe de Fórmula 1 um engenheiro de dados ele é como mecânico

de fórmula 1 que prepara e configura o carro e o motor para que ele obtém o melhor desempenho nas pistas já o cientista de dados ou analista de dados ele é como um piloto eles trabalham em colaboração um com outro mas ambos fazem trabalhos completamente diferentes e um não consegue fazer o trabalho do outro mas aí você pode falar pode até acontecer de empresas Muito pequenas eles pedirem que os cientista de dados faça um pouco do trabalho de da vice-versa mas Ambos não vão fazer de modo algum trabalho bom dessa maneira porque cada um precisa

de uma especialidade muito grande na área que eles trabalham e isso nos leva ao próximo ponto Qual que é a diferença entre um analista ou cientista de dados e um engenheiro de dados os analistas de dados ou cientistas de dados eles analisam conjuntos de dados para obter informações em sites e fazer recomendações baseadas nesses dados já os engenheiros de dados eles criam sistemas para coletar validar e preparar dados de Alto qualidade para os cientistas e analistas de dados analisarem Enquanto houver dados para processar os engenheiros de dados vão continuar em uma alta demanda e consequentemente

ganhando alto salários assim como algumas outras profissões entec você não necessariamente precisa de uma faculdade para trabalhar como engenheiro de dados eu vou te passar aqui qual que é a maneira mais rápida e fácil para você se tornar um engenheiro de dados em pouco tempo a primeira coisa que você deve aprender é SQL o SQL é a porta de entrada para qualquer função relacionada a dados ao contrário de um analista como engenheiro de dados você precisa entender bem como criar e atualizar bancos de dados em SQL aqui no canal tem um vídeo ensinando como aprender

SQL e uma aula grátis para se você quiser ter uma introdução com SQL depois você precisa aprender o fundamental de Python aqui no canal Eu tenho um vídeo também explicando como aprender a programar e como programar em Python eu vou deixar o link aqui para você isso já tá mais do que suficiente para a parte de programação de engenharia de dados mais para frente você também vai poder aprender nova skinwell e escala ou outras linguagens que podem ser úteis para você depois você precisa entender os conceitos de modelagem de banco de dados porém os livros

sobre o assunto são geralmente acadêmicos e muito caros por isso entre os bons livros sobre modelagem com um bom preço eu vou passar para vocês o modelagem de dados do José Antônio de Sordi ele vai te dar um entendimento básico sobre modelagem e eu vou deixar o link aqui abaixo para que você quiser comprar ou adquirir o livro etapa seguinte entender os conceitos de Tiel entender as diferenças entre o eltip e Olá e o básico de data warhouse e Tiele significa streck transforma em load ou extrair transformar e carregar os dados quando você trabalha com

data Where House você precisa trazer dados de várias fontes de dados diferentes para o banco de dados Centralizado e para fazer isso você deve extrair do itiel extraídos de sua fonte original o TIM transformar os dados de duplicando combinando garantindo a qualidade para então carregar os dados num banco de dados de destino e as ferramentas de Tiel elas permitem estratégias de integração de dados permitindo que as empresas coletem dados de várias fontes e os consolidem em um único local centralizados as ferramentas de teatral também possibilitam que você pegue dados de diversos locais para trabalhar juntamente

para entender isso mais sobre itiel a Microsoft possui uma página com todas as informações que você precisa e eu deixei o link aqui na descrição do vídeo para você acessar o próximo passo é aprender os fundamentos da computação em nuvem ou Cloud e você precisa basicamente entender bem de Amazon e WS Google Cloud e comece por apenas um deles como ponto de partida para sua carreira engenharia de dados nesse ponto o ideal é iniciar com uma certificação E para isso eu recomendo o curso Claude essentions da Amazon que além de rápido ele é gratuito e

vai lhe dar o entendimento Inicial sobre o Amazon e WS além de te preparar para fazer a prova de certificação da Lei WS que é o iws 7 Cloud protection o link também tá aqui na descrição do vídeo bom fazendo isso o próximo passo é desenvolver a sua compreensão do sistema de parkline de dados É nisso que a maioria dos Engenheiros de dados se especializa aproveite o tempo para aprender sobre tecnologias emergentes no ecossistema como por exemplo hadou e Spark Você também precisa ter um conhecimento bom de data lakes saber como implementada no Amazon server

e saber como usar Spark para executar processos se você entender inglês eu recomendo que você aprenda um pouco de Snow flamen o link para o snow Flake tá aqui na descrição e tem todo uma documentação no site deles ele tem também uma versão espanhol caso você não inglês que você pode estar utilizando uma outra sugestão é o livro Spark guia definitivo tem o link aqui também na descrição do vídeo bom aprendendo tudo isso a gente vai finalmente para automação e scripts automação é uma parte importante com trabalho com Big Data por isso você deve ser

capaz de escrever scripts para automatizar tarefas repetitivas Você precisa aprender automatizar pipelines de dados criar conexões de dados usando Hulk para adicionar dados para otimizar pipelines e realizar testes para garantir a qualidade dos dados e monitorar a pipeline dos dados o último passo é construir o seu portfólio de engenharia de dados Existem duas maneiras que você pode fazer isso a primeira maneira Você pode procurar pequenas empresas que não possuem um engenheiro de dados e tão querendo trabalhar com os dados e se oferecer para fazer esse trabalho gratuitamente isso vai te ajudar a construir um portfólio

que vai ser bastante útil na hora que você começar a aplicar para empregos a outra maneira é você começar a fazer alguns trabalhos de freelancer que também vão ser para pequenas empresas cobrando muito pouco mas você tem garantir que você vai conseguir entregar aquele trabalho é bastante importante que você converse com eles e explique que você é uma pessoa iniciante na área e por isso você está oferecendo esse tipo de serviço a um baixo preço inicialmente esse portfólio você vai colocar no github você colocou vai colocar no link din isso vai te ajudar muito a

conseguir um trabalho na área beleza gente é isso aí muito obrigado quem participou do vídeo de hoje não se esqueçam de se inscrever no canal e eu vejo vocês até a próxima qualquer dúvida Coloque uma mensagem aqui que eu vou estar respondendo para vocês até mais