Unknown

fui estamos ao vivo meus amigos tudo certo por aí como vai Boa noite Live 80 da preditiva meu Deus 80 semanas produzindo conteúdo hein como documentar uma análise de dados como documentar Putz Esse é um tema que muita gente já pediu ali na lista de presença da preditiva O link tá na descrição no final da aula você pode preencher lá vai pedir o seu tema é um tema que divide opiniões né Tem gente que gosta de documentar projetos gosta lá de escrever o documento com os detalhes do que foi feito tem gente que já fica

apavorado Fala meu Deus eu gosto de fazer o dashboard eu gosto de fazer o estudo eh exploratório eu gosto de criar o modelo de machine learning mas quando chega na documentação meu Deus do céu tem gente que eh tem esse sentimento já coloca aqui por favor no chat se você é do time que gosta de documentação ou é do time que não gosta coloca aqui por favor sim ou não gosta sim e não não gosto Coloca aí para ter uma ideia que time que você tá porque parece que é flaflu esse negócio Corinthians e Palmeiras

hein esse assunto de documentação mas não tem jeito a gente tem que documentar n Então essa Live você vai entender como construir uma documentação que faça sentir e que seja rica o suficiente para que qualquer pessoa consiga reproduzir o seu estudo chegar às mesmas conclusões entender o que tá por trás da sua análise enfim como que você deixa ela eh profissional que no fundo é isso né quando você tem uma documentação você mostra profissionalismo você mostra autoridade não só para você que tá criando por exemplo um portfólio Mas você na empresa aí mesmo quando constrói

um estudo em análise de dados você precisa documentar e mandar documentação prosos seus clientes pros seus pares pro seu chefe e a forma como você documenta diz muito se você é um profissional eh Senior ou é um profissional Ainda num nível mais Júnior tá então use muito a Live de hoje pessoal para você dar um up né um grande upgrade aí nas documentações que você anda fazendo Ten o certeza que vai valer muito a pena Tá bom vamos lá introduções feitas deixa eu dar uma olhada aqui Quem que já tá online aqui com a gente

a Gabriela tá por aí ansiosa pela aula tema que gosto muito ó lá Gabriela do time gosta de documentação o lourinaldo tá aí também boa noite o Artur Diego E aí Maurício tudo certo Professor rson tá aí também boa noite Kauan o o json tá por aí o den buenas pessoal buenas É isso aí Boa noite den como vai o que essa Live eu não posso perder de jeito nenhum pedi 50 vezes esse tema Maravilha fiz lá freque de temas né da da da aqui da lista de presença Provavelmente você tava lá mesmo he eu

acabei não olhando as pessoas que pediram eu só vi que é um tema e que as pessoas pedem né então chegou o momento aí da gente falar sobre isso tá bom obrigado aí pela presença Luiz tá por aí o Marlon Boa noite pessoal Marcão também ah Dri mais uma semana de muito aprendizado isso aí dri eh a Edna também tá por aqui caeira São Paulo muito bom o Cláudio Gelson vamos para mais uma semana de aprendizado é isso aí bora eh interessante o assunto da Live de hoje com certeza Maravilha ó lá a Gabi aqui

adora muito bom muito bom deixa eu ver o Pablo ivine Boa noite quero um desconto no curso a primitiva Mark Science ótima escola estou amando os conteúdos muito bom Pablo mais desconto do que a gente já dá o a gente coloca o curso no valor mais baixo possível né inclusive se você olhou a a página da preditiva hoje você já deve ver que o curso ess O curso nosso a formação gerando valor com dados que a nossa formação principal que gera né que traz você do zero até o nível analista ou cientista de dados ela

vai sofrer um reajuste a partir do próximo mês pessoal e o reajuste vai ser considerável hein Porque a plataforma melhorou muito no ú último ano novos conteúdos weap da preditiva mais de 100 horas de mentoria Fora as lives que a gente grava aqui então se você tá pensando em entrar pra preditiva Olha eu acho que é você melhor você correr porque esse é o último mês que a gente colocou que a gente tinha o preço lá o mais baixo possível e agora a gente tá colocando um preço que faz mais sentido por todo esse valor

que a gente gera então se você quer economizar r$ 850 vale a pena você fazer inscrição com quant Anes Tá bom já fica a dica aí eh o gels falando né não gosto Talvez seja uma das partes mais chatas apesar de ser importante Pois é a maior parte das pessoas pensa assim né acho importante mas pela fase de prática sou muito receoso muito bom muito bom ó lá o Cláudio falou que sim gosta Eh boa noite Renato tudo bem Leandro também tá por aqui o den n acho importantíssimo mas não sei como fazer direito antes

até de fazer com eficiência e velocidade Pois é aqui né assim acho que talvez e velocidade Ô Deni seja algo um pouco que vai na contramão da qualidade quando a gente fala de documentação né mas né você vai ter que escolher um deles ou velocidade ou qualidade eu sempre escolho pela qualidade e acaba demorando um pouquinho mais mas talvez seja prática template tá acho que é uma boa discussão pra gente ter hoje né ah deixa eu ver aqui Adri ainda não sei essa Live vai me ajudar a entender boa eh esse assunto é bom demais

olha aí o Leandro gosta de documentação Boa noite muito bom pessoal deixa eu ver aqui o Roney ótima noite muito ansioso pela aula de hoje Maravilha eh Sorocaba Lu tá por aí Boa noite Samara excelente tema que Inclusive estou colocando em prática o meu trabalho sempre bom aganhar mais conhecimento Sem dúvida Samara o que eu vou mostrar para vocês hoje no dia seguinte vocês já conseguem utilizar na empresa e melhorar as documentações tá ó lá drita me pediu várias vezes muito bom muito bom é isso deixa eu ver aqui a a Cesário Boa noite vin

aproveitando as férias para conseguir participar do primeira Live muito bom seja bem-vinda aí tá Samuca também tá por aí eh Bora vocês não vão sair pender boa murilão obrigado eh tento documentar sempre que posso Pois é espero que sempre que faça o trabalho tem algum tipo de documento hein Jack é importante é importante já S aqui Amém muito bom pessoal bom eh se for a primeira vez aqui na live da preditiva eu sou o Vini um dos cofundadores aqui da escola da preditiva que é uma escola de análise ciência de dados e a gente ensina

profissionais de todas as áreas a analisar dados e com isso progredir na carreira né Você pode tanto fazer uma transição de carreira a gente suporta todo esse profissional que quer fazer uma transição de carreira para dados ou não Ou você pode manter na sua carreira perfeitamente só que com uma capacidade muito importante que é a análise de dados tá então conta com a gente a gente tá aqui toda terça às 8 compartilhando conteúdo gratuitamente Essa é a Live 80 Ou seja a gente tá a se que é de 1 ano e meio né produzindo lives

e se você contar todas as lives que estão no YouTube você vai ver que já tem mais de 1660 horas de conteúdo gratuito Hein Então vale muito a pena você eh ver mais lives né se interar com todos os outros assuntos que a gente tem aqui e aí eh se você quer um um estudo organizado com suporte comunidade de alunos todas eh os conteúdos que estão aqui mas todos os outras trilhas vale a pena você virar aluno da preditiva O link tá na descrição tá bom é isso meus amigos como sabem coloquem as dúvidas de

vocês aqui no chat e eu vou fazer o possível para ler todos e responder tudo que é né a parte interessante de vocês estarem aqui ao vivo Tá bom vamos lá vamos trabalhar bom eh os os recados iniciais nós temos o telegram da preditiva é lá que a gente compartilha dá os avisos das lives né dos temas e compartilha os materiais tá então se você ainda não é aluno da preditiva no mínimo se inscreva no telegram porque lá a gente libera esses materiais Tá mesmo se você é aluno é bom tá lá também porque aí

você tem em primeira mão os avisos das lives tá certo ah a gente tem a lista de presença como eu falei no final da Live se essa é a primeira vez que tá participando eu compartilho com vocês uma frase você Coloca essa frase na lista de presença que o link tá na descrição e lá você consegue falar como é que o que que você achou da Live e também dar dicas de temas pra gente trazer aqui a gente já falou de muita coisa é muito comum o aluno que chega né uma pessoa nova que chega

aqui nas lives da preditiva vai lá na lista de presença e pede Ah quero fala sobre o web scrapping nós já falamos sobre o Web scrapping tá lá na no YouTube fala sobre machine learning já falamos sobre machine learning fala sobre ia já falamos sobre ia então então assim a gente tá 80 semanas aqui pessoal a gente já falou de muita coisa dá uma olhada na na em todos os assuntos aqui da preditiva porque grandes são as chances da gente já ter falado então eu sempre trago aqui assuntos novos né atualizações de técnicas metodologias abordagens

eh falo sobre carreira então assim Claro que tem muito mais conteúdo pra gente ter aqui por anos mas né V Vejam as lives anteriores porque já tem bastante conteúdo lá tá bom E caso você ainda não tenha dado dê o like aqui no vídeo da preditiva para não esquecer já ajuda a gente a esse conteúdo ser entregue para mais pessoas né Eu só tô aqui eh semanalmente disponibilizando meu tempo para fazer sentido né Para que as pessoas né tenham aí informação de qualidade de dados e carreira e você tem a única missão é está presente

aqui dar um like compartilhar porque é assim que eu consigo ver se vocês estão gostando se não tiver like não tiver visualização eu paro de fazer esse negóci goo vou colocar meu tempo só para alunos da preditiva lá na plataforma aqui é um recurso gratuito então eu espero que vocês gostem e também recompensem aqui a gente dando seu like compartilhando esse vídeo Tá certo muito bom meus amigos recados dados Bora lá hoje vamos falar sobre documentação E aí né como eu falei grandes são as chances de eh você por exemplo ou não gostar ou não

ter feito né Eh documentação nos seus projetos aí de dados n nas suas análises que você faz na empresa e tudo mais né então um projeto sem documentação não dura muito tempo n o motivo é que a documentação é essencial para continuidade em caso de mudança nos times escopo das áreas de negócio Então imagina que você vai lá assume uma nova equipe eh chega agora na empresa que você conseguiu a sua transição de carreira depois aqui seguiu o nosso programa por exemplo da preditiva E aí o que que acontece não tem documentação à área aí

você vai ter que lá e entender abrir o código abrir o dashboard entender lá as medidas dax que foram usadas né abrir o Excel entender fórmula a fórmula ou seja vai ser difícil para dedel né então a documentação muitas vezes vai ajudar não só você porque você faz um projeto e depois de TRS 4 meses você vai ter que rever esse projeto para explicar para alguém ou fazer alguma manutenção como também você vai ajudar a próxima pessoa que vai assumir isso e olha que interessante pessoal eu já vi várias pessoas estagnarem na carreira porque não

tinham documentação no seu projeto você acredita nisso Ou seja a pessoa fazia um processo ela não documentava e portanto ela não era promovida por quê Porque se você vai ser promovido Provavelmente você vai fazer alguma outra atividade E aí a empresa não podia se dar o luxo de você parar de fazer aquela atividade Então olha só que loucura isso né eh se você gosta de estabilidade talvez Olha lá que eu vou falar Talvez seja uma estratégia de carreira você não documenta nada aí a empresa vai ficar Totalmente Dependente de você eh porém né Eu acho

que essa é uma estratégia ruim de carreira eu acho que todo mundo tem que progredir ganhar mais dinheiro fazer né Eh ter aumentos de salário e promoções e quando você delega e documenta você diz pra empresa olha empresa eu estou pronto para fazer outras atividades eu estou pronto por exemplo para assumir um time ir para uma outra área porque esse processo aqui já tem uma documentação adequada que uma próxima pessoa chega e vai tomar conta do processo né então pensa assim pessoal isso é bem importante você entender tá bom Então imagina que você vai fazer

uma nova versão do dasm como você saberá né Eh como o atual funciona sem a documentação Enfim tudo aquilo que eu falei aqui tá uma boa documentação pessoal ela deve fornecer clareza e simplicidade então tem que ter uma linguagem Clara direta para que as pessoas de diferentes níveis de conhecimento possam entender a sua análise tá então não faz sentido você ter uma documentação que só você entende porque aí boa parte da necessidade da documentação se perde né se é só para você você pode escrever de qualquer jeito certo gravar um áudio no seu WhatsApp você

vai lembrar mas não é esse o ponto tá uma outra questão é a reprodutibilidade que que esse nome feio significa pessoal você precisa garantir que a alguém possa seguir os passos descritos e reproduzir os mesmos resultados que você chegou então você fez um estudo analítico você fez um dashboard você fez um um um modelo de machine learning que são basicamente os três grandes produtos de dados que a gente faz no dia dia eh uma documentação tem que estar escrita de tal forma que uma pessoa que tem acesso aos mesmos dados brutos que você acessou eh

ela consiga chegar às mesmas conclusões que você chegou certo se você não consegue isso na sua documentação ela também falhou né porque quer dizer que o seu trabalho não tem qualidade o seu trabalho foi uma aleatoriedade da vida né quando a gente fala de método científico por exemplo a reprodutibilidade é um dos grandes pilares do método científico imagina por exemplo alguém vai lá cria uma vacina cria um novo fármaco uma nova um novo remédio e aí o pesquisador chegou a uma fórmula aí ele passa para visão de outros peers né outros grupos E aí imagina

que os outros grupos chegam a outra fórmula ou seja né não não tem segurança nenhuma de que aquela fórmula vai ser reproduzida então a reprodutibilidade é algo bem importante né dentro de uma documentação e claro você precisa ter o controle das versões tá o projeto ele vai evoluindo com o tempo novas pessoas vão chegando novas atualizações são feitas códigos são atualizados bases de dados né também atualizadas tudo isso tem que fazer parte de um bom controle de versões tá você pode fazer isso tanto no próprio documento vou mostrar para vocês aqui eh os formatos né

como você também pode usar ferramentas de controle de versão uma uma que se usa muito para quem programa é a o Git né na plataforma online o github o bit Comet tem vários né H ferramentas de versionamento e repositórios que você pode utilizar mas essa por exemplo para quem trabalha com programação tecnologia é dentro de dados quem tá mais dentro de projetos de de de ciência de dados né que geralmente usa mais o github você pode utilizar lá para o controle de versão claro que ainda não é documentação porque se você já usou Git sabe

do que eu tô falando e não vai ser lá no comit que é um testinho reduzido que você vai colocar uma documentação né ali é um controle de versões Ah agora a documentação você vai ter que colocar em um outro formato num outra pasta eh seguindo vários critérios do início meio e fim tudo aquilo que a gente vai discutir hoje tá certo bom quando a gente fala de formato de documento pessoal também existem vários tá eh quando a gente cruza produto com formato todos os formatos eh são aplicáveis aos tipos de produtos de dados uns

são mais utilizados do que outros mas basicamente todos são utilizáveis Então imagina que você faça um estudo analítico e na Live de hoje vou dar uma demonstração de um estudo analítico tá eh você pode fazer isso no PowerPoint e aí portanto gerar um PDF e deixar disponível lá e na área ou entregar para alguém você pode criar né em vez de um ir no formato slide de PowerPoint Você pode organizar um o arquivo do do Word mesmo né ou um arquivo do Doc se você não tiver o Word da Microsoft se você tiver o Google

Docs por exemplo então lá você vai ter vários itens do começo meio e fim de uma análise de um projeto em cada uma das etapas você vai criar um documento né tão simples quanto se for tabela gráficos etc você pode utilizar uma ferramenta de analíticos Como por exemplo o Excel ou o sheets lá do Google se você quer utilizar em código e portanto disponibilizar no Jupiter notebook se você programa em Python você pode usar o código markdown que que é o markdown markdown é um código bem simples que ele é padronizado Entre várias ferramentas e

você cria por exemplo uma documentação por por lá quando você entra no github né é aquele ridm que é aquele arquivo que fica embaixo quando você entra no gitb no github Aquilo é código markdown né então por exemplo se eu tô aqui numa tem uma ferramenta chama dinger deixa eu ver aqui se fica fácil de enxergar tá aqui ó essa ferramenta aqui por exemplo é uma ferramenta que te ajuda a escrever código markdown do lado direito aqui por exemplo você tem né o documento escrito com os vários tipos de formatações possíveis Bullet points você tem

aqui essas E essas tabelinhas você tem outros tipos de tabela etc tudo isso daqui como é que é criado do lado esquerdo usando alguns tipos de padronização então por exemplo ó para fazer escrever dillinger olha só o que você tem que fazer do lado esquerdo você tem que colocar o jogo da velha tá se você coloca e três jogo da velha por exemplo olha o que acontece aqui ó do lado direito se você coloca quatro jogos da velha olha só ele vai diminuindo né então você tem várias formas aqui por exemplo ó se eu quiser

escrever aqui e espaço e aí eu coloco por exemplo Live 80 depois ó mais um espacinho e vamos falar sobre documentação Então olha aqui ó como isso é formatado no markdown então markdown é um formato de eh documentação que você pode utilizar É bem comum no github é em Jupiter notebook quando você programa eh Python certo então essa são todas as possibilidades e formatos que você pode utilizar nos seus produtos isso é válido pessoal para estudos para dashboards e para modelos de machine learning né estudos analíticos é mais interessante geralmente né você usar PowerPoint é

é Word Excel dashboards é mais interessante você utilizar por exemplo um Word eh para você falar por exemplo as medidas que foram utilizadas a base de dados o relacionamento das tabelas etc etc e aí modelos de machine learning geralmente você faz comentários no código geralmente você usa markdown porque provavelmente você tá usando um Jupiter notebook para ter toda a sua análise Então pessoal os formatos são vários tá bom eh a documentação que a gente vai falar nessa Live ela tem um objetivo tá queria alinhar com vocês o objetivo é documentar e rever os critérios do

projeto e você pode também usar isso para apresentação de por exemplo de um portfólio tá a gente não vai falar aqui sobre documentação para você fazer uma apresentação para o seu time de negócio para o seu cliente para o seu chefe tá E por que isso porque existe documentação para armazenar e existe documentação para apresentar tá bom documentação para apresentar a gente já falou sobre isso uma das lives que a gente já falou é a Live 45 certo que lá a gente falou sobre storytelling como é que você comunica o seu trabalho de uma forma

eficiente aqui a gente vai falar sobre documentação para você armazenar criar histórico de versão tá você não vai lá por exemplo numa reunião ficar mostando isso aqui é o versão um que a gente falou isso versão dois a gente fez isso essa aqui são as origens das fontes de dados esse aqui são os pontos focais na apresentação lá na união de negócio você não vai falar isso certo agora essa é uma documentação que depois que você fizer uma apresentação num formato mais reduzido mais dinâmico para fortalecer o seu Stell Aí sim né você tem a

documentação que precisa ser armazenada que é o que a gente vai falar na Live aqui de hoje tá certo isso é bem importante ser dito tá bom beleza pessoal Por Enquanto estamos junos estão eh tranquilo aqui deixa eu dar uma olhada deixa eu dar uma olhada aqui como é que estamos no chat para ver se já tem alguma dúvida Eh vamos lá vamos lá olha aí Adriana vamos ter uma live especial número 100 n com certeza com certeza Live deico riqu boa Lucas Obrigado vamos ver aqui o o json Né o serviço público existem pessoas

que se apegam as suas funções e não documentam os processos com receio de serem substituídos exato né Isso é um ponto bem importante tem muita gente que tem essa cabeça antiga mesmo né Vai depender da cultura da empresa vai depender se é uma empresa privada ou governamental mas tem gente que fica com conhecimento na cabeça não documenta nada como uma estratégia bem ruim né a meu ver mas é uma estratégia de carreira né meio meio bizarro tá bom eh o glon aqui perguntando estou sofrendo no meu cliente por falta de documentação do bi exato porque

a documentação pessoal para muitas pessoas é um mal necessário né então tem gente que simplesmente não documenta Ah é o de menos vamos fazer isso depois tá e dá para entender eu também já cometi esse erro algumas vezes na minha carreira hoje eu tento não acontecer por mais simples que seja documentação eu tento documentar tudo que eu faço né isso acaba ajudando bem tá deixa eu ver aqui a Samara perguntando sobre formatos documentação além dos que você apresentou Qual a sua opinião no uso do notion e do Coda para esses processos é ntion se não

sei se é o notion como ferramenta Talvez seja o notion né como ferramenta Samara a ferramenta pouco importa tá assim porque o que eu vou mostrar para vocês hoje é o que que uma análise de dados ou modelo de machine learning precisa ter para que você Garanta clareza reprodutibilidade histórico de versões é basicamente isso a ferramenta que vai utilizar o de menos eu falei PowerPoint Word Mas você pode utilizar qualquer uma tá bom eh a única dica que eu dou é assim essa ferramenta depois vai ser o formato que você utilizou é acessível por todos

porque às vezes você uso o notion por exemplo aí o notion ele tem uma questão de na versão gratuita você não conseguir publicar ou ter muitas pessoas que acessam enfim né vai depender um pouco da ferramenta e do momento que a ferramenta tem só toma cuidado com a sustentabilidade do formato tá porque eh se você vai lá e deixa numa ferramenta que é fechada vai que amanhã o notion muda totalmente o seu modelo de negócio e a partir de agora ele não tem mais a versão gratuita todo todo mundo tem que pagar para acessar esse

é o risco da ferramenta percebe então por isso que formatos mais Open como por exemplo PDF PDF vai sempre vai ser free né E talvez seja mais interessante Tá bom então um pouco nessa nessa linha aqui ah tá a tinha corrigido né e do Coda para esse processo eu não conheço Coda tá se você puder escrever um pouco mais não sei o que que significa isso boa deixa eu ver aqui tava o documentário necessário até para poder sair de férias em paz e não deixar o coleguinha apuros muito bom muito bom é uma boa documentação

para ganho da produtividade é muito importante é isso aí né Deixa eu ver aqui o Marcelo nunca conheci uma empresa que tem essa cultura de documentar os painéis e consultas sempre acaba alguém fazendo por conta própria Cada um faz em um modelo próprio né não existe padrão Pois é Marcelo excelente ponto e aqui pessoal se você trabalha numa empresa Assim eh a minha dica para para você é seja você o agente da mudança Seja você a pessoa que vai matar no peito falar olha pessoal vamos organizar a casa aqui pelo amor de Deus então a

partir de hoje eu sugiro que a gente siga esse Framework de documentação chefe Você pode me ajudar tô com você eh você tá comigo né você vai eh pedir isso pro time E aí começar a cobrar eu já fiz isso por exemplo em várias áreas que eu atuei né eh não só na documentação Mas como work de análise ciência de dados de forma geral quando você cria um processo tudo funciona melhor né então é a dica pessoal coloque no seu na na sua responsabilidade seu agente de mudança vai se pagar muito tá porque aí você

vai ser a pessoa tidda como referência tido como autoridade e você só vai ganhar com isso tá belê o Deni aqui falando a última antes de eu continuar vi uma vez um prompt para criar documentação da consulta inteira no power bi que o chat de PT escrevia todos os pontos achei interessante mas não explica porque separamos aquela coluna por exemplo é aí esses promos vão ajudar a te dar um template mas você sempre vai ter que dar uma uma revisada né o Leandro e onde trabalho nossos documentos são criados em um modelo de Word e

a versão final está no sistema para acesso de todos no formato PDF excelente Leandro excelente né fazendo isso de uma forma organizada funciona super super bem tá bom legal meus amigos então PR a gente falar de documentação né Você já sabe agora a importância o objetivo de uma documentação que é garantir reprodutibilidade né garantir clareza para todo mundo e também o controle das versões para você entender e e metrificar evolução do seu projeto para você documentar você precisa ter uma metodologia né e uma metodologia muito comum para quem faz análise cência de dados é o

crisp DM só o fato de você conhecer uma metodologia já vai fazer com que você tenha todos os principais Passos a chance do seu projeto dar certo e aí você simplesmente documenta esses espaços é basicamente isso tá então para quem nunca viu né aqui um lembrete de como que funciona os passos da metodologia crisp DM é uma metodologia de seis grandes Passos o primeiro aqui é o entendimento do negócio que aqui a gente fala do objetivo do trabalho as premissas que foram utilizadas os riscos envolvidos desse projeto né Todo projeto em risco ah custo benefício

Quais são os critérios de sucesso o que que você espera resolver com esse projeto de dados e aí você entra na etapa de planejamento e Claro no início da documentação depois que você já tem tudo isso daqui você já consegue fazer a primeira etapa da Sua documentação né Aí você vai entrar na etapa de entendimento dos dados você vai pegar uma descrição dos dados disponíveis vai fazer a coleta na coleta você vai usar SQL geralmente porque esse banco de dados está por exemplo num post grece né Eh skel ele tá no MySQL ele tá por

exemplo em uma ferramenta da Cloud aws que também você consegue acessar via SQL usando lá por exemplo um head shift né enfim Você sabem que tem várias ferramentas de cloud aqui você vai usar fazer essa coleta você vai extrair essa coleta via api aí na api você pode usar via Python você pode usar o próprio Power bi conectando lá com uma fonte da web né você vai extrair esse dado aí o dado você vai fazer análise exploratória aqui você vai aplicar as técnicas estatísticas tá então aqui a gente tem estatística descritiva né aqui você vai

eh fazer gráficos analíticos geralmente você vai criar tabelas certo você vai entender o dado que você tem certo depois disso você vai ter uma ideia da qualidade desse dado fazer um sun check tudo bem tudo isso pessoal são coisas que você precisa documentar porque é nessa etapa que você vai mostrar dentro do seu documento Quais são os processamentos de dado que você fez você pegou um dado bruto e desse dado bruto Depois de toda a sua coleta e você tem que falar os scripts que você utilizou para essa coleta dado a coleta como é que

você manipulou esse dado até você chegar no dado processado que no crisp DM é a terceira etapa você vai selecionar as variáveis mais importantes fazer a devida limpeza desses dados e a formatação deles então o dado Antes aqui na etapa de coleta ele era um dado bruto certo ele vai chegar nessa etapa aqui a um dado limpo já pronto para você aplicar técnica de análise de dados que vai resolver o seu problema de negócio pode ser uma técnica estatística uma técnica de machine learning ou mesmo um produto como um dashbord que é aquilo que você

gostaria de fazer né então do dado bruto foi pro dado limpo e tudo isso Isso precisa ser documentado E por quê Porque quem nunca já viu e você mesmo né pode ter criado um um relatório que só você sabe a origem que só você sabe o que foi feito para chegar nesse número né uma coisa que uma frase que eu gosto muito em em análise de dados é antes de você olhar olha só antes de você olhar um trabalho um dashboard ou por exemplo um relatório Entenda como ele foi criado entenda a metodologia por trás

porque só assim você vai entender se esse trabalho foi bem feito então quando a gente olha lá o gráfico bonitão no Dash no dashboard Quando você vê lá um relatório no Excel eh ou qualquer ferramenta de apresentação é muito lindo né mas o que que tá por trás daquilo o que que aquele dado aquela apresentação não tá me contando ou seja Quais foram os filtros que foram utilizados Quais são os sistemas que geraram a informação ele passou qual que é o período dessa query né você pegou dados do último ano desse ano da última semana

tudo isso pessoal é algo que é muito importante você entender para você saber né O que que tá por trás da análise que foi feito e o crisp DM já tem esse tipo de de prerrogativa você basta seguir e seguindo isso você vai documentar isso que foi seguido certo depois você entra na etapa de modelagem análise que você vai escolher a técnica como eu falei você vai desenvolver o modelo ou estudo e aí você vai finalizar de acordo com o critério de sucesso que você estabeleceu aqui na etapa inicial do projeto você vai verificar se

você chegou aonde você queria você vai fazer a validação do estudo do modelo geralmente aqui você usa eh um processo de peer review né que é basicamente você dá o projeto para um outro colega um chefe ou uma outra área validar para você você e nessa etapa de validação o que que ele vai fazer que que ele precisa ele precisa da documentação E aí essa documentação Que você iniciou aqui na etapa inicial do planejamento né olha só Quantas coisas você documentou até chegar na etapa de validação E aí essa pessoa ou essa área vai fazer

a validação Quem trabalha em mercado financeiro pessoal essa parte de validação tem uma estrutura muito bem eh estruturada ela geralmente é um é um outro time mesmo você trabalha lá como analista de crédito a cientista de dado para para crédito e aí você cria um modelo de inadimplência um modelo de cobrança um modelo de cartão de crédito por exemplo esse modelo ele tem um risco ao ser utilizado porque se você não desenvolveu bem ele pode trazer um grande prejuízo pro banco um grande prejuízo para fintech então o que que você precisa fazer você precisa criá-lo

com uma metodologia como CR DM fazendo a documentação e você manda esse pacotinho lá para o time eh de validação Ele vai tentar fazer o quê Qual que qual que é o objetivo de uma documentação que eu falei logo no início dar reprodutibilidade né então ele vai tentar reproduzir e ver se chegou no mesmo dado na mesma conclusão no mesmo modelo que você eh fez e aí se passou né pela validação maravilha você pode implantar caso contrário você tem corrigir tem que levar para outras esferas aqui de validação e tudo mais tá Então olha a

importância de todo esse processo para você garantir uma análise que faça sentido e que não tenha riscos ou muitos riscos na hora de você implantar porque Pessoal vocês não TM ideia a não ser que você já trabalha com isso mas se você tá em início de carreira você não tem ideia do risco que tem se você faz uma análise da forma errada se você não sabe um método como esse que eu tô colocando aqui o que a gente na preditiva se você né não conhece as técnicas de dados na Live passada eu falei se você

vai depender do da Ia do chat GPT você tá lascado também porque ele vai errar né ele só reproduz erros de treinos que foram feitos enfim pessoal né a gente precisa fazer isso de fato uma grande segurança e a documentação e e o método traz isso pra gente n bom vai fazer a validação aqui do cliente e a atualização do roadmap porque nem tudo você vai resolver num projeto só certo PR aí depois você entrar na última etapa que é implantação você vai criar o plano da implantação o monitoramento desse modelo ou dos kpis aqui

do estudo ou modelo que você fez e você claro vai finalizar a documentação depois da validação do cliente da validação do trabalho da atualização do roadmap né bom se você é a primeira vez que viu isso parece muita coisa e você se você pensou isso você tá certo realmente é muita coisa mas é isso que diferencia um trabalho bem feito de um trabalho modinha de um trabalho de uma pessoa que ainda não sabe o que tá fazendo só tá brincando de analisar dados certo então isso é bem importante você entender e cada vez mais pessoal

estudar isso para melhorar os seus projetos melhorar os seus dashboards os seus estudos e os seus modelos de machine learning tá profissionais que evoluem na carreira para pleno Sênior especialista ador gerente como por exemplo eu fiz na minha carreira né para quem não me conhece Antes aqui de ser cofundador da minha escola a a preditiva eu era Red de ciência de dados então eu passei por todas as áreas nos últimos 17 anos eu fiz tudo isso todo esse trabalho tá então é isso que trazia a segurança pros meus gestores pros meus clientes das áreas que

eu atuava porque eu executava um método reproduzível que gerava resultado gerava valor tá é isso que eu ensino aqui para vocês hoje tá certo se você é aluna preditiva o método crisp DM tá lá é um dos módulos da plataforma tem 2 hor 35 minutos só falando sobre esse método vale muito a pena você ir lá e ver se você é aluna da preditiva quando você tem lá o app você cria o seu plano de Estudos em algum momento você vai chegar nele tá se eh por algum motivo você pulou vale a pena você fazer

tá pessoal porque lá eu descrevo eh no detalhe cada uma das etapas com várias dicas coisa que você você não vê nenhum outro lugar eu te garanto tá bom fica aqui a dica para quem é aluno da preditiva tá lá Belê uma Maguinha aqui ver como é que estamos de dúvidas pra gente já começar então a a todos os pontos da documentação dar uma olhada aqui a própria Samara né Cada ferramenta de colaboração e produtividade combina documentos planilhas e aplicativos em uma única plataforma n ela permite que usuários criem documentos interativos que incluem texto tabelas

gráficos uma delas Samara é por exemplo o confluence lá da ATL n ATL é aquela empresa que tem o trelo confluence então Existem várias ferramentas né de gestão do conhecimento Esse é um termo para vocês depois buscarem pessoal gestão do conhecimento são todas as metodologias para que você é o conjunto de métodos para que você consiga armazenar o conhecimento da empresa acessar esse conhecimento de uma forma fácil e com isso a empresa evoluir né é bem ruim quando por exemplo uma um um profissional ele chega na empresa aprende várias coisas E aí ele sai leva

esse conhecimento com ele e a empresa não documentou esse conhecimento o próximo colaborador vai ter que fazer tudo de novo né então isso é um grande desperdício e ciência de conhecimento né Isso é bem bem importante ser ser pontuado e deixa eu ver aqui glind nó estou na plataforma aptiva ainda vou chegar no módulo o pouco já estudei tá me ajudando demais sem dúvida grego de verdade compre boa compre antes do reajuste hein pessoal não vai queimar dinheiro à toa n deixa eu ver assim como fazer o monitoramento a gente vai falar sobre isso Samir

só essa tela tem trabalho para todo ano exatamente le Sem dúvida sem dúvida eh deixa eu ver aqui boa noite aceleradores a a parte escura da ideia escura né da ideia quando você ainda não tem formado em dados tem a ideia e tudo mas T da empresa joga no lixo sua ideia prefere fazer o mesmo do meso pois é pois é vai liberar o pdf com essa apresentação só para quem tá no grupo do telegram hein então o link tá na descrição e se você é m da preditivo você tem acesso a esse e todos

os as outras 79 lives com os materiais tá para quem tá só no no grupo do telegram fica disponível durante 7 dias esse material você não consegue acessar os outros só send aluno da preditiva tá Ah o Lucas aqui eu tenho muito problema com a documentação nunca sei como começar agora você vai saber Lucas ã se o caso não terminar o curso durante o ano e quiser comprar mais um ano Leandro é só você falar com o nosso time lá de consultores de carreira pelo WhatsApp entrar no nosso site falar no WhatsApp que tem condições

especiais de renovação Tá bom então aproveita isso aí estou preenchendo a lista de presentees Pede uma palavra do na Live exato LM você deve ter chegado agora mas essa palavra eh eu falo no final da Live tá bom no final da Live falar a palavra e você consegue eh colocar sua sua seu nome na lista de presente tá bom toda a área da empresa precisa documentar se a área de contr controladoria fizer uma análise sobre margem precisa fazer toda essa documentação também excelente pergunta Marcelo excelente pergunta o que eu diria é o o seguinte quando

uma análise ela é passada adiante para se tomar uma decisão buscar aprovação Eu acredito que a documentação é super bem-vinda e necessária agora caso o seu trabalho seja diariamente fazer um mesmo relatório já tá dentro das suas atividades e se você tiver uma documentação geral já tá ok né Então depende muito tá Acho que o mais importante para você tomar decisão é é um trabalho um projeto que tem objetivo começo meio e fim e ele vai ser utilizado para se tomar uma decisão se isso é verdade precisa de documentação se é um trabalho como qualquer

outro por exemplo falar sobre gestor de tráfico né que é uma é um cargo dentro de marketing das áreas de marketing que ele vai ir lá e fazer ajustes todo dia em campanhas do Google ou da Meta eh e são se são ajustes que já fazem parte do dia a dia dia talvez não precisa de uma documentação para todo o ajuste A não ser que seja uma uma documentação e ou melhor um ajuste muito grande mas aí até o formato né da documentação é diferente desse porque aí não é um projeto de dados é simplesmente

uma atuação feita aí só um backlog né um log de alterações já tá mais do que suficiente então um pouco nessa linha né Eh Espero tenha tenha ajudado aí a clarear Marcelo você me ajuda aí tá eh o Gustavo desculpa Gustavo não Gabriel realmente o modul da crisp PR é muito bom Boa Gabriel isso eh já fiz o curso de Excel e já me ajudou muito com a minha função boa obrigado aí tain aqui uma das alunas apre vamos ver Professor Boa noite eu posso implementar todas essas etapas em um estudo de caso incluindo a

validação pensea em criar um ambiente de simulação usando Python á a parte de validação você não vai conseguir executar para um portfólio né porque você mesmo vai ter que fazer a validação Então você simplesmente pula a etapa de validação é quando fala sobre validar o projeto que você fez mas existem outras atividades dentro da etapa de validação do crisp como por exemplo você atualizar o roadmap Então esse sim vale a pena né no seu portfólio você ir lá por exemplo eh e colocar futuros ajustes futuras features futuras análises que você poderia fazer ainda para esse

estudo de caso e aí entra na etapa de validação tá boa deixa eu ver Ludmila sou de RH e defino métricas para eh para kpis como eu poderia documentar através do crisp DM sim né você documenta através do crisp DM porque essas métricas na verdade elas são um projeto de dados né você quer resolver um problema de negócio esse problema de negócio pode ser um acompanhamento e esse acompanhamento você tem base de dados você tem critérios tudo isso é um projeto E aí você pode usar o crisp tá ludmil boa e essa documentação seria enviada

para tomadores de decisão junto com a análise n esse mesmo exemplo então C Ótima pergunta como eu falei no começo a documentação que eu vou mostrar aqui é uma documentação para armazenamento eh e você a depender da área você pode Tanto enviar paraos seus clientes como você pode deixar na sua área e enviar só a apresentação ou melhor a documentação para apresentação que é o PowerPoint que é nem que seja um e-mail né com os principais pontos do que foi discutido agora documentação né vai ficar CR da sua empresa tá aqui não tem regra Eu

já vi de todos os tipos tanto você enviar pro cliente a documentação Geral do projeto como só a apresentação que foi falada na reunião tá bom o importante é você armazenar isso em algum lugar para você e outras partes interessadas quererem acessar bom maravilha e vou rever as aulas de crisp estou Iniciando um novo Case agora dessa vez sobre finte tô assistindo a Live no momento obrigada boa Tainá é isso aí legal pessoal bom então lembre-se crisp DM a metodologia só aí você já sabe tudo que deveria né ou o principal que deveria ser documentado

que eu vou mostrar agora é dar mais dicas sobre um documento formal você pode usar isso no PowerPoint você pode usar isso no Word você pode usar isso daqui usando markdown como eu falei e é basicamente são essas os formatos mais adequados né E aí pessoal né Tudo começa com o Sumário certo então o su isso aqui é um exemplo de sumário geralzão que você pode utilizar para estudos de análise de dados que é um artigo ou mesmo um estudo que vai pro PowerPoint você vai apresentar lá na sua área e um modelo de machine

learning também até um dashboard você pode utilizar a mesma estrutura só que claro vai mudar de acordo com o tipo de produto de dados Tá eu vou mostrar aqui para vocês um geralzão E aí vocês vão saber né fazer as adaptações em cada uma das etapas Tá certo a primeira coisa que prisa dentro de e um projeto uma documentação é a introdução e o escopo tá bom E aqui você precisa colocar o objetivo do trabalho o histórico de versões uma visão regulatória ou seja se o seu projeto tá relacionado a alguma área que tem uma

resolução do Banco Central uma resolução do governo né isso é interessante você colocar aqui os papéis e responsabilidades de todas as pessoas as partes interessadas do projeto você o cliente pares o gestor o aprovador quem vai liberar a base de dados time de ti todo mundo tem que tá aqui você vai falar quais foram as bases utilizadas porque é aqui que vai gerar reprodutibilidade né ou seja quem for utilizar o seu documento para reprocessar aquilo ele precisa ter acesso às mesmas bases ele precisa ir lá extrair a mesma informação é aqui que você vai colocar

você vai falar qual que é o público da análise Qual que é o target do projeto que que é o target se for por exemplo um estudo que verifica como alguma variável se relaciona com outra o target é essa outra variável né aqui a gente vai falar por exemplo sobre RH Então tem um target aqui que eu tô interessado e eu quero ver como as outras variáveis estão relacionadas com esse target certo se é um modelo esse aqui seria sua variável Y do modelo é aquela que você quer prever quer predizer quer fazer o a

inferência enquanto outras variáveis são as variáveis explicativas do seu modelo certo tudo isso aqui tá sendo descrito com a descrição das variáveis e as premissas e limitações do seu projeto Todo projeto tem limitação pessoal tem limitação de base de tempo de base de completude de base de sistema tem limitação de eh de dinheiro né ou seja porque às vezes você tem um Budget para você pegar um um comprar um determinado tipo de acesso H um h um sistema H uma base H uma ap externa tem muitas empresas por exemp exemplo com a Boa Vista Serasa

que vendem por exemplo informação e aí você tem um Budget para isso talvez você não tenha pego todas as informações que gostaria tudo isso são premissas e limitações né que você precisa colocar aqui pessoal Olha vou dizer para vocês aqui é onde a maior parte das pessoas erram por que isso porque eles não colocam o que foi considerado no estudo Qual é a premissa né uma premissa para quem não sabe é uma Assunção de verdade pondo que isso aqui é verdade então todo o restante do meu trabalho tá se baseado nessa suposição de verdade qu

um exemplo e eu estou supondo que a base de dados que eu tive acesso é uma representação da população eu não tenho como verificar Então essa é a premissa você tem que colocar isso lá né Eh uma outra premissa é a base tá Considerando o período de 2023 a 2024 e eu estou aqui colocando como premissa que é tempo suficiente para o estudo analítico que eu vou fazer né ou para o modelo de machine learning que eu vou criar tudo isso pessoal é premissa né limitações limitação de tempo de Esopo de pessoas de ah de

dinheiro tudo isso é limitação sem isso você não sabe como interpretar o resultado porque como eu falei o dashboard lá a a apresentação em powerp em PowerPoint é muito linda né só que o que tá por dentro é é a metodologia que foi usada Qual que é o dado que foi usado Qual é a limitação desse dado Qual é a qualidade desse dado foi feito algum filtro foi tirado duplicações foi tratado valores Missing tudo isso faz parte aqui das premissas limitações se você não coloca ninguém vai saber tá bom então teve muito projeto e eu

como gestor já vi vários projetos por exemplo que nem passou nas próximas etapas de continuar porque já no início eu já perguntava como é que você extraiu o dado que filtro você fez e essas coisas já não estavam Claras de largada Eu sempre falava então não adianta eu olhar o restante não adianta eu aprovar alguma coisa que você não sabe Da onde veio qual filtro foi feito qual processamento do dado você usou porque né senão eu só tô aprovando o que um dashboard bonito tô aprovando aqui um relatório bonito quando na verdade eu quero saber

se eu tenho segurança para usar os insights que você tá me trazendo como como analista certo então eu como gestor faz é isso vários gestores faziam isso eu tenho certeza que você né o seu gestor também seu diretor seu gerente ele precisa ter segurança daquilo que você tá trazendo e nosso papel pessoal como profissional com habilidades em dados criando um projeto é a gente tem que passar essa segurança né concorda é isso Tá certo então tudo isso né o seu documento tem que ter depois ele tem que ter uma etapa da metodologia que é basicamente

Qual é a análise exploratória que você fez a descrição da técnica que você utilizou quais os resultados Que você obteve E aí você já emenda uma uma macro um macrofluxo da solução que você usou e ou melhor que você tá sugerindo aqui que você coloca um plano de ação para todos os insights obtidos da sua análise e tudo mais tá bom E aí por fim a conclusão em próximos passos você mostra aqui ó como é que você vai fazer o Deploy em produção se é um modelo como é que você vai fazer Qual que é

a periodicidade Qual que é o formato etc etc se é um estudo né como é que você planeja eh colocar isso junto com o plano de ação criado quem é que vai fazer o que que vai ser feito em qual parte qual é a viabilidade disso você vai fazer o acompanhamento e colocar na documentação métricas de acompanhamento do modelo ou do estudo como que você vai fazer esse acompanhamento se é um dashboard Qual que é a periocidade desse dashboard quem que vai ter acesso tudo isso você tem que colocar lá tá E aí o roadmap

da melhoria roadmap para quem não sabe esse termo é o que que tá né n é o mapa da estrada né Ou seja é o que que tem de novas features de novas análises de tudo aquilo que a gente precisa fazer eh nas próximas versões versão dois versão 3 versão 4 que pode nem ser você tá pessoal você pode fazer a versão um eu já fiz várias vezes projetos em que eu fiz a versão um depois eu fui lá e deleguei para uma outra área fazer a versão dois né pessoas que me substituíram em férias

pessoas que me substituíram na empresa porque eu fui lá e fui promovido e fui foi para uma outra área ou foi por uma outra empresa já aconteceu também então tudo isso né faz parte do worldmap de melhorias tá bom isso é muito importante Guarda esse slide só aqui você já sabe várias coisas que precisa ser feito tá bom E se você parar para pensar é o crisp DM né é basicamente o crisp DM sendo aplicado certo esse é o ponto tá bom legal deixa eu ver aqui a Ludmila eh já abriu muito a minha mente

para adotar na apresentação de novos projetos boa Ludmila É isso aí vamos lá pessoal então agora eu vou falar rapidinho sobre cada uma dessas etapas né se alunda preditiva esse daqui é um é um módulo que também tá disponível na plataforma eu trouxe aqui eh com mais detalhes do que também tá lá para você complementar certo mas essa é uma informação aqui que a alunda preditiva Em algum momento já vai ver tá bom vamos lá então um exemplo aqui né o objetivo do trabalho se ter que ter um slide vou ter que ter lá por

exemplo um num etapa lá uma sessão do seu documento falando o objetivo do trabalho aqui é um exemplo esse modelo possui como objetivo estimar a probabilidade Ch de um cliente de cartão de crédito certo então isso daqui pessoal é o objetivo do trabalho a primeira sessão certo você bateu o olho no documento já sabe que esse aqui é o documento do eh de um modelo para se estimar o chne em cartão de crédito tá bom o churn é definido como o abandono do cartão pelo cliente um período de do de 4 meses após a mensuração

Então olha aqui ó você coloca as definições Descreva o que o estudo ou modelo busca responder quais os seus usos fala aqui sobre as expectativas e os critérios de sucesso olha aqui esse modelo eh a Squad an ch entrará em contato com o cliente realizando ofertas que reduzam a probabilidade de abandono esse aqui é o uso e quais são as expectativas é esperado que a utilização do modelo de machine learning ajude a reduzir a taxa de chur em pelo menos 25% por consequência aumente as receitas em pelo menos 20 tudo isso é alinhado na etapa

do crisp DM quando você segue o crisp que tá lá descrito na plataforma da preditiva você alinha com o seu cliente você alinha né com o stakeholder do projeto todas as expectativas do projeto e aqui na documentação fica claro para todo mundo o que foi alinhado essa documentação depois pessoal lá nas etapas do crisp na você sabe sabe você manda pro seu cliente para ele validar olha cliente é isso mesmo é isso que eu entendi esse é o uso que a gente vai fazer pro estudo ou pro modelo ou pro dashboard ã Essas são as

expectativas de critérios de sucesso vamos deixar já bem claro de largada Quais são as expectativas quando você faz isso pessoal bem cedo no projeto você aumenta muito a chance do seu projeto dar certo porque o que tem de projeto que dá ruim porque você você não fez um bom alinhamento de expectativa você não tem ideia certo isso é bem importante você entender tá bom olha lá histórico de versões você vai colocar aqui a versão a data Quem que é o responsável a descrição então na versão Inicial é desenvolvimento do modelo de ch na versão 1.1

é a recalibragem dos coeficientes você vai né Você vai colocar aqui data nome e o que foi feito de acordo com o modelo Tá certo bom visão regulat né no caso aqui não tem nenhuma regulação para esse tema mas poderia ter Então você coloca aqui quais são as resoluções né Por exemplo em mercado financeiro tem muita mercado de seguros Mercado de Capitais né cvm Tem muita coisa que você coloca aqui como regulamentação tem as isus né ISO 9001 tem as isos de Meio Ambiente então a depender do seu trabalho vai ter Provavelmente algum tipo de

de reg entação você coloca no projeto né se não tiver toca pau papéis e responsabilidades né É aqui que você vai colocar Qual que é o papel de cada um dos responsáveis certo então a área responsável por fazer a descrição do processo é área de produtos e cartão de crédito que o ponto focal é o Cláudio Costa vai ter o time de engenharia de dados que é o Edson vai ter o time de Dea Science que é a marça Souza vai ter lá o time de validação que é o João você vai colocar e dar

nome aos bois para todo mundo porque todo mundo precisa saber o seu papel e responsabilidade para que um projeto dê certo não é só você tem o aprovador tem a pessoa que libera o acesso para você no sistema tem a pessoa que vai lá e vai entregar e vai acompanhar o resultado e assim por diante tá então deixa forma Clara a atuação de todos os stakeholders do processo E aí pessoal Você tem o público né É aqui que você vai começar já a colocar os filtros da da base de dados Que você obteve acesso tá

então por exemplo eh a construção do T que é a nossa variável Y deste modelo foi selecionada a partir das características abaixo possui um cartão ativo de Janeiro a a 19 a 20 possui um cartão da categoria internacional né clientes que possuem gasto mensal superiores a 3.000 possui todas as faturas pagas sem atraso tudo isso são os filtros que você aplicou lá no mund arel de clientes Esse é o filtro público alvo que desse público você vai né fazer o seu modelo então você tem que descrever o público alvo é importante colocar todos os filtros

realizados isso aqui pessoal muita gente acha bobeira você vai lá dá um select we no SQL faz um monte de filtro e você acha que para você tá tudo certo mas quem vai ver o documento e vai tentar reproduzir isso não sabe os filtros que você usou certo não tem ideia então se você não coloca no documento e ninguém vai saber tá bom nem você mesmo quando você for revisitar o seu projeto lembra que eu falei a documentação você mesmo vai precisar olhar depois certo isso é bem bem importante bom o target do modelo nesse

caso aqui cliente que abandona o cartão de crédito em até 4 meses é o CH e e o não ch é caso contrário Então esse daqui é um modelo né de uma variável binária então se você já estudou modelos de machine learning você sabe que geralmente a gente tem classes binárias sim e não não comprou não comprou um e zero e aqui que você descreve o critério pro target do seu projeto certo se for um estudo analítico de correlação ou Associação você vai lá e vai falar olha eu quero olhar essa variável aqui que é

a minha variável target não é é minha variável target eu quero saber como todas as outras variáveis do meu projeto X1 X2 X3 x blá blá blá como cada uma dessas variáveis estão relacionadas com a minha variável target Esse é um estudo analítico de correlação ou Associação Então você também tem que descrever aqui qual é o target Qual que é o critério dele e aí você coloca depois Quais são as variáveis que você vai analisar tá bom tudo isso nessa etapa bases de dados utilizadas você tem que colocar Olha eu peguei a base tal no

período tal essa aqui é a quantidade de observações que eu tive né que são linhas que eu tive nessa base esse aqui é o sistema que eu peguei lá na empr empresa é a api é a fonte de dados da informação né e o responsável por quem que disponibilizou isso se fui eu né se foi uma outra área tudo isso você precisa colocar sem isso pessoal nada feito né porque é aquela coisa que eu falei como é que eu vou depois reproduzir se eu não sei as fontes simplesmente tem um arquivo ACS V xlsx não

adianta em nada se eu não saber a fonte daquilo certo senão eu tenho que colocar como premissa e é coloca um premissa assim olha eu não sei a fonte foi disponibilizada essa base por tal área e eu coloquei como premissa de que esses dados estão corretos você pode fazer isso tá é bem comum mas de preferência tente sempre mapear as fontes certo então descrever os tipos o período da análise da query que você usou lá no no SQL colocar o período tá para referências futuras incluir os links para o github do projeto então isso aqui

é bem comum se você tá utilizando eh um controle de versão de versão no github você precisa colocar os links pro github né Eh esse arquivo e o acesso ao repositório uma pessoa deveria ser capaz de recriar o estudo ou modelo tá então com esse arquivo aqui eh que é os códigos do seu projeto mas a documentação A ideia é que qualquer um consiga reproduzir se se você né Não fornecer essas informações você já não consegue garantir reprodutibilidade E aí portanto eh você não consegue garantir qualidade do dado certo da do estudo isso é muito

muito importante pessoal são vários detalhezinhos mas que somados é o que vai fazer a diferença num projeto D certo tá bom tome cuidado com isso E aí você vai ter as bases de dados utilizadas né o tipo de dado a descrição tudo isso você precisa colocar aqui é uma dúvida muito comum Vini tem muitos dados né tem 200 dados tu peguei uma base lá e eu vi as tabelas do SQL A modelagem do SQL tinha lá mais de 200 colunas que que eu faço bom você pega as principais coloca aqui e depois você pode colocar

em anexo por exemplo a lista de todas as variáveis disponíveis você pode colocar lá eh num documento apartado um arquivo do Excel falando anexo um lista das variáveis coloca todas lá tá Não precisa est exatamente aqui no no PowerPoint Tá bom boa premissas Olha só clientes que possuem cartão adicional mantém ou abandonaram todas as contratações e abandonos que tiveram de cartão estão registrados adequadamente no sistema aqui você descreve todas as premissas do estudo limitações clientes que abandonaram o cartão e retornaram não serão corretamente identificados a variável resposta do modelo mudou a definição no meio do

ano enfim pessoal aqui é detalhezinho é só um exemplo tá mas você vai colocar todas as premissas que são as suposições de verdade supondo que isso é verdade eu vou vou continuar o meu trabalho e as limitações é o que eu não consegui fazer é antes e durante o projeto você vai colocar aqui são as limitações para que as pessoas entendam até onde pode acreditar eh nesse projeto sem tomar uma decisão errada porque no fundo fundo é nós profissionais de dados queremos fazer tomar decisões de negócio a gente usa dados para gerar valor certo e

a gente só gera valor pessoal e as pessoas tomam boas decisões quando elas sabem o terreno que estão pisando Não adianta lá você falar o seguinte Olha esse mês as vendas melhoraram e segundo análise de dados melhoraram porque o preço baixou se você não colocar as limitações você não sabe se essa é a causa mesmo você não sabe se esse Insight que você trouxe é um Insight fedo que faça sentido que tem segurança porque se você não deixou claro o terreno que você tá buscando a fonte dos dados os filtros que você usou os critérios

que você aplicou só a conclusão você vai querer que as pessoas acreditem em você e isso daí é um erro né porque nós mesmos podemos errar a gente tem vieses internos a gente pode incorrer em erro na hora de analisar dados você pode ir lá no Excel esquecer de fazer eh é travar uma referência de célula quantas vezes esse J não aconteceu se foi lá não colocou cifrão na referência de célula arrastou a fórmula arrastou tudo errado você fez uma tabela com aquele dado errado criou um gráfico colocou na apresentação e tava errado quantas vezes

já aconteceu né em Python por exemplo você foi lá e fez um processo errado no Python isso aqui é o que mais acontece Então pessoal isso é bem importante se você não coloca os premissas de limitações você já tá trazendo problemas né pro seu estudo e você nem percebe tá bom isso é bem bem importante beleza pessoal então essa foi a primeira etapa de um bom documento a gente falou sobre o escopo o que que tá dentro do dado Onde estão essas informações os filtros que eu fiz as premissas as limitações tudo isso para que

a pessoa que for analisar o meu trabalho consiga ter a clareza da onde os dados vieram como eles foram processados e saber os limites da interpretação que ele pode tá bom isso aqui é bem bem importante deixa eu ver Enquanto isso como é que estamos no no chat o den aqui nossa por o soco do crisp DM exatamente Deni é não tem como fugir disso né show top que organizado boa Cris a organização da documentação com o crisp é muito boa sem dúvida Kauan deixa eu ver aqui ó Muito legal vendo agora uma forma completa

e detalhada de um processo que eu já tentava fazer mas muito mal ter essa visão agora mostra exatamente dos pontos que eu tinha que eu senti falta sem saber o que eram boa Pedro é isso aí é isso aí eh Vini nesse caso a gente descreve seu tipo de dado discreto nominal Mateus você pode fazer isso tá eh eu simplesmente coloco número tá assim eu não coloco nesse nível de detalhe mas Ero problema também tá se você for pegar a documentação por exemplo de uma tabela lá no esql o próprio esql já coloca o tipo

de dado tá ele vai lá e e fala se é um var shar ele fala um campo date time né time stamp eh e assim por diante então Eh aqui é o de menos tá você pode fazer se se quiser Gustavo assumi um projeto que foi eh iniciado por uma consultoria e os caras fizeram bem nessa pegada documentaram detalhes como tipagem polaridade fonte responsável tudo rastreado Excelente excelente Geralmente as consultorias fazem isso mesmo né Faz parte boa excelente pessoal Deixa tomar uma aguinha aqui pra gente continuar na parte da metodologia legal então e suposto vamos

lá você vai entrar na na etapa de análise exploratória e aí no seu documento você também tem que colocar os gráficos as tabelas os insights Que você obteve certo eh é o básico porque é lá que de fato vai mostrar e os insights obtidos e o que você vai utilizar para criar os planos de então aqui é bem bem simples nessa etapa pessoal de análise exploratória você também tem que colocar uma descrição das técnicas que você utilizou não adianta você simplesmente ir lá rodar um comando no Python rodar uma fórmula no Excel e achar que

todo mundo entende o que você fez né você precisa falar olha eu usei tal técnica para extrair esse tipo de informação do meu dado e interpretá-lo por consequência tá então você pode ter tipos de técnicas como estatística probabilidade inferencia regressão classificação clusterização tudo isso são técnicas Quando você estuda análise de dados Você estuda técnicas não é o tipo de aprendizado se for um modelo de machine learning né entre supervisionado não supervisionado a variável resposta se é binária multiclasse as variáveis explicativas e as variáveis que você criou aqui você coloca o método de validação que você

utilizou se você tá criando um modelo de machine learning holdout kfold tem uma série de métodos as métricas de performance Que você obteve no no seu estudo que são correlação de pearson Information value KS acura tem várias métricas né então aqui pessoal no fundo no fundo é você tem que colocar no documento a técnica que você utilizou e de preferência explicando o que que essa técnica significa porque você não vai deixar para o cliente ir lá e procurar no Google criar fazer um curso para entender o que que você fez tá você precisa ir lá

e através de uma linguagem simples escrever o que que essa técnica se propõe a fazer os resultados dessa técnica tá então isso é bem importante você vai colocar os resultados né obtidos eh apresentar os insights do estudo que vão suportar os planos de ação se for o modelo de machine learning seria aqui o diagnóstico do modelo Qual foi a performance do modelo em treino Qual foi a performance do modelo em validação em teste eh mostrar que a interpretação do modelo usando Chaple values né colocar aqui os potenciais financeiros e não financeiros desse projeto tudo isso

pessoal para que você depois Entenda como que esse modelo chegou nos insights né ou Esse estudo chegou nos insites Que você obteve E aí eh você vai conseguir através desse dessa documentação dos resultados saber nas próximas versões se o seu projeto melhorou se o seu projeto piorou né então por exemplo critérios de sucesso Isso aqui é uma coisa bem interessante vocês saberem quando você tá lá e vai fazer um trabalho numa área você geralmente uma das etapas do crisp é você verificar se tem projetos anteriores e criados esses projetos anteriores TM Qual resultado porque aí

você consegue ter um parâmetro Olha o resultado por exemplo de um estudo e de cobrança que eu fiz mostrou que eh 90% dos clientes pagam até 5 dias a fatura e os outros 10 atrasam a fatura esse daqui esse 90% é a métrica que você chegou no estudo anterior agora que você vai fazer o novo estudo imagina que você chega em 95 Maravilha 95% dos Clientes estão pagando até 5 dias você já sabe que melhorou em 5% né o resultado anterior percebe E você só tem essa clareza de quanto que o seu projeto tá gerando

valor e portanto Qual que é o resultado financeiro né que você tá gerando pra empresa quando você consegue né Fazer o Benchmark entender o processo atual e o processo novo com o seu estudo sendo aplicado tá tudo isso pessoal é muito importante você entender e tá totalmente relacionado com metodologia né percebe como análise de dados não é só criar gráfico na ferramenta apertar botão é Método né é conhecimento de negócio é uma organização para que você Garanta resultados eh sustentáveis é isso que faz com que as pessoas ganhem os melhores salários né os melhores salários

da área estão em pessoas que fazem esse tipo de projeto senão você vai ficar no basicão lá de a maior parte do mercado tá então pegue e essa Live né E todas as outras que a gente já trouxe para você entender a importância de você ter uma metodologia é isso que vai fazer a diferença na sua carreira porque cada vez mais vocês sabem né cada vez mais ferramenta tá sendo automatizada você que tá se especializando aqui em ferramenta só você tá atento você vai ter grandes problemas Tudo começa Claro com a a técnica e uma

ferramenta Inicial aqui na preditiva por exemplo a gente ensina Excel no começo que é o mais simples para você já gerar valor com o tempo você vai aprendendo outras Mas o mais importante na carreira Quando você vai construir uma carreira é como que você usa todas essas técnicas e ferramentas dentro de um método para você gerar resultados consistentes da empresa tá isso envolve o método tá bom legal que mais você pode criar aqui um fluxo de solução do seu projeto então aqui ah a para criar um modelo né você vai extrair a base vai transformar

as variáveis aqui faz a aplicação do modelo você disponibiliza essa essa base para as áreas clientes eles retroalimentam as análises você faz o acompanhamento do modelo faz a calibração do modelo Se necessário E aí eh o o ciclo continua esse é um exemplo simples de uma eh de um fluxo de aplicação de um modelo de machine learning na no mercado certo se fosse um estudo Você poderia colocar alguma outra coisa Você poderia colocar o plano de ação aqui já os planos de ação né a eh sugeridos e já validados pelo cliente são esses é a

proposta de solução essa etapa que você coloca Tá certo para que aí finalmente você chega na etapa de conclusão pessoal e na conclusão O que que você precisa na etapa de Deploy você vai falar quais são os detalhes né para que esse processo seja implantado Qual que é a periodicidade da escor agem vai ser um processo diário o dashboard vai vai se atualizar diariamente vai se atualizar semanalmente mensalmente por exemplo Qual que é o tipo de disponibilização vai ser disponibilizado um arquivo csv na pasta tal lá no onedrive da empresa vai ser uma tabela SQL

que o time de engenharia a partir de agora vai construir um pipeline e Vai disponibilizar essa informação para outras áreas clientes vai est disponível lá um arquivo parquê um arquivo eh lá no no no S3 da aws disponível para todo mundo vai ser um arquivo de Excel não importa né você vai ter que mostrar aqui o tipo de disponibilização qual que é o local dessa disponibilização rede e-mail servidor etc e o ponto focal da pessoa que Vai disponibilizar vai ser o time de engenharia de dados vai ser você vai ser uma outra pessoa tudo isso

pessoal tem que tá na etapa de documentação porque de novo você vai pegar o documento vai ver o processo e você tem que ter condições através desse documento de saber procurar as pessoas certas os pontos focais quem libera as bases quem recebe as bases e tudo mais tá bom então essa aqui é uma etapa importante de você ter no documento acompanhamento do modelo ou do estudo aqui você vai descrever os kpis que devem ser utilizados para você monitorar tanto o seu estudo ou a performance do modelo então por exemplo se modelo você tem que ter

lá as métricas de sucesso do modelo em treino por exemplo em teste né a distribuição do dos scores né no conjunto de treino a taxa do target no conjunto de treino Então imagina que você foi lá e fez um trabalho de cobrança e aqui você tinha essa taxa de de de cobrança né Por exemplo 10% das pessoas eh pagavam eh a dívida nos primeiros eh nos últimos 180 dias esse daqui é o período ao longo do tempo que você percebeu imagina que a partir de um certo período essa caixa essa taxa cai muito você só

vai saber que Isso é um problema por quê Porque você documentou a taxa desse target lá no período de treino do seu modelo caso contrário você não sabe você perde a referência e portanto você não consegue acompanhar o seu modelo e depois porque você não documentou qual que era a taxa anterior tão entendendo pessoal então você precisa documentar tudo o as taxas e os resultados obtidos no durante o projeto porque depois isso vai valer ouro para você ir lá e não se perder fazer de novo não entender como isso foi feito e tudo mais certo

bom roadmap de melhorias descrever as atividades e as datas os próximos passos para paraas novas releases né do seu estudo ou modelo então aqui que você vai ter o plano de ação para coletar novos dados por exemplo no caso aqui número do chamado para o problema sistêmico que gerou o problema eh uma limitação aqui no meu trabalho atual você vai fazer novas reuniões de Brainstorm vai colocar novas variáveis etc etc etc então aqui você vai descrever tudo aquilo que Nessa versão do seu projeto você identificou no eh como processo Futuro no seu roadmap tá bom

bom pessoal E aí com isso você vai ter que colocar esse documento numa pasta tá E aqui eu coloco um exemplo de pastas para você também entender que eu percebo que isso também é uma dúvida muito comum das pessoas é muito comum você ir lá e colocar o pdf o PowerPoint as bases tudo numa pasta só né exem formas melhores mais padronizadas em projetos de estudos de dados e modelos de machine learning tá uma forma de você documentar esse projeto XY Z qualquer é você ter uma pasta isso aqui são pastas tá pessoal pastas aí

você tem uma pasta com os dados uma você vai ter dados brutos você vai colocar todos os dados brutos aqui e outra com os dados processados n então fica claro da onde o d veio e como que o dado ficou você coloca lá na pasta você tem que ter uma outra pasta com os códigos que você usou pode ser códigos Python se você utilizar Python arquivos pui códigos R códigos SQL n você coloca todas as queries e códigos utilizados numa pasta e códigos de limpeza dos dados brutos tá então tá aqui limpeza para esse dado

bruto exploração de dados que foi feito dos dados processados e e A modelagem que foi feita dos dados processados todos esses scripts geram gráficos geram tabelas E essas tabelas você pode colocar na passe de resultados gráficos tabelas resumo tudo isso tá lá organizadinho numa pasta de resultado Você pode ter também uma pasta com os notebooks né o Jupiter notebook que você utilizou o Jupiter notebook para quem não sabe é um é um formato de arquivo em que você consegue colocar código markdown né o código markdown eu mostrei para vocês é basicamente isso daqui né é

código markdown e você coloca código markdown junto com código Python numa mesma estrutura e roda isso certo então É bem interessante você ter um Júpiter notebook que faz o quê eh usa os scripts de limpeza que apontam pros dados brutos isso daqui vai gerar dados processados que ele vai utilizar outros scripts de exploração de dado e modelagem que vão gerando gráficos vão gerando tabelas e os resultados vão aparecendo dentro desse júpter tá então o Júpiter como que vai ligar todos os arquivos que já estão apartados nas pastas anteriormente tá bom E aí a gente tem

a documentação tudo isso que eu mostrei para vocês aqui é a documentação que você vai colocar né Essa documentação pode ser um PowerPoint Como eu vou mostrar que hoje pode ser um arquivo doc Então tudo todos esses pontos que eu passei aqui pode ser um arquivo doc tá o formato pouco importa desde que tenha isso as referências que você utilizou referências com arquivos e relatórios passados passados pela eh para você eh pelo cliente referências na internet que podem utilizar tudo isso faz parte da documentação né Então pessoal essa aqui é a forma sugerida que eu

sugiro que vocês organizem qualquer projeto de dados desde estudos né modelos de machine learning até dashboard se for necessário dashboard não tem jupter notebook né mas você pode criar estruturas parecidas com essa para que fique claro exatamente a estrutura né então por exemplo em vez aqui do do Júpiter notebook poderia est o arquivo de power bi aqui por exemplo né Eh esse arquivo de power bi ele vai ler o dado bruto esse dado bruto já vai estar sendo processado dentro do próprio Power bi né com eh a o Power query de limpeza exploração e aí

tá meio que junto certo vai depender Claro do processo que você tá o produto de dados né que você tá atuando tá bom ufa E aí Pessoal estão vivos viram quanta coisa Pois é eu falei que processo é é assim mesmo né processo de documentação são várias etapas essa aula aqui vai ficar gravada claro para você rever sempre que necessário tá essa próxima etapa aqui da Live eu vou mostrar para vocês num estudo que eu já mostrei em outras lives eh que é o estudo de minimização de turnover Então imagina que você tenha eh um

um projeto eu vou mostrar aqui claro né o projeto Mas assim vai ser um tudo analítico não vai ser um modelo nem dashboard e a o formato de documentação é o PowerPoint Então vou te mostrar aqui como você poderia documentar um projeto como esse seguindo todas as dicas que eu dei até agora tá bom deixa eu ver aqui como é que estamos na no chat coloca aqui pessoal as dúvidas que vocês estão vendo isso é bem bem importante tá ã por exemplo esse seu texto é feito em esse meu texto não entendi Tamara pergunta que

texto você tá falando Ah deixa eu ver aqui o Arturo muito bom o nível de detalhamento da Live destre enchando tudo sobre documentação Parabéns hora de pôr em prática boa esclarecimento esclarecedor essa Live Maravilha sensacional ótimo boa pessoal então vamos ver né como que vai ficar isso um exemplo de como que ficaria isso num projeto real Ah E aí eu vou dar para vocês dicas finais aqui de documentação tá bom antes da gente encerrar na Live de hoje Então segura aí que ainda tem conteúdo hein vamos lá então imagina aqui que eu vou fazer um

estudo analítico esse aqui é o turnover e uma empresa de grh esse aqui é um projeto que né Quem aluna da preditivo é um dos primeiros projetos que você executa nas trilhas fundamentais aqui J anális de dados da plataforma Ah E aí né tem a primeira etapa que é o contexto de negócio e objetivo do trabalho tá bom então aqui você coloca lá o contexto de negócio n o turnover é um grande problema para as empresas sempre com o funcionário deixa um determinado trabalho a empresa perde dinheiro blá blá blá blá para para tentar entender

quais as características o time de RH nos forneceu uma base de 1470 funcionários que deixaram ou permaneceram na empresa no último ano o resultado desse levantamento gerou 19 possíveis fatores que explicam o comportamento de turnov Portanto o objetivo desse trabalho é buscar quais políticas fatores deveriam mudar na empresa de forma a minimizar o turnov certo ou seja Quais planos de ação podemos sugerir ao RH da empresa esse aqui é o contexto de negócio e o objetivo de trabalho que mais o histórico de versões eu Vinícius Souza tô fazendo esse trabalho em agosto é a versão

Inicial aqui é o desenvolvimento do estudo de turnover da empresa você coloca lá no documento né o histórico de versões Quais são os papéis e responsabilidades certo então a área de recursos humanos a Letícia ela tá fazendo a descrição do processo ela que é o ponto focal que tá me ajudando na especificação do Objetivo ela que tá me falando como que esse trabalho vai ser utilizado Quais são os critérios de sucesso e assim por diante o time de engenharia O Luiz é responsável por me passar as bases necessárias né Eu como deira Science sou responsável

pelo desenvolvimento do estudo a Letícia vai validar o estudo né Eh como profissional de RH Tá bom então tá bem claro o papel e responsabilidade de todo mundo e aí pessoal você entra na etapa de premissas e limitações isso aqui é um exemplo o estudo considera apenas um ano de comportamentos de 2022 e 2023 em versões futuras desse trabalho a gente pode pegar mais tempo e verificar se as conclusões mudam já tô colocando aqui o período da base A base foi preparada pelo time de engenharia ver o ponto focal estamos supondo que todas as queres

de extração foram executadas corretamente e não temos maiores problemas oriundos de risco operacional olha aqui aqui eu tô fazendo algo que não é o recomendável né porque eu tô delegando para uma outra pessoa a qualidade do dado mas tá aqui eu deixei bem claro que isso é uma supondo que a base que o time de engenharia me passou tá certa é isso que eu vou atuar o turnover estudado aqui refere-se ao turnover voluntário Ou seja a rotatividade realizada quando o colaborador pede demissão dessa forma a empresa tem menos custos de rescisão eu não tô falando

aqui do turnover eh involuntário é aquele que a empresa manda embora um um profissional que tá com baixa performance que eu tô eu tô fazendo um estudo só daqueles que pediram demissão Certo olha aqui ó o turnover mensurado no último ano foi de 16% como o RH não nos passou uma expectativa de redução Vamos considerar isso como critério de sucesso para esse trabalho uma redução de seis pontos percentuais portanto a meta é desse trabalho é chegar em algum conjunto de práticas que nos forneçam um turnover máximo de 10% Tá bom então aqui eu tô colocando

as premissas e melhor os critérios de sucesso isso aqui pessoal tem que tá sem isso as pessoas não sabem a base não sabem Da onde veio o dado que liberou não sabe o critério do minha variável target que aqui é o target é eh turnover voluntário não sabe o que que o objetivo né é ter nesse projeto tá bom tudo isso tem que tá descrito aqui você vai lá faz a descrição das variáveis tá você coloca todas as variáveis do seu projeto certo e também as descrições aqui ó o target é a marcação se o

funcionário deixou a empresa no último ano sim se ele deixou a empresa e não caso contrário isso é muito importante tá Porque caso né senão você vai ter lá na base um e zero e aí você vai ver que que significa aquilo tem que est na documentação Claro N E aí todas as outras variáveis e as suas respectivas descrições pronto fez a primeira etapa próxima etapa análise exploratória é aqui pessoal que você vai colocar todas as análises que faz sentido para suportar o seu plano de ação é aqui que você vai colocar né a os

gráficos analíticos como por exemplo os histogramas e os gráficos de barras gráficos de barras com linhas em paretos as concentrações tudo isso você vai colocar nessa etapa né então existem muitas formas de mostrar os resumos estatísticos aqui é só um exemplo Claro eh mas poderia colocar tabelas gráficos e tudo aquilo que faz com que você entenda a qualidade do dado né o dado como que ele tá se ele precisa de uma transformação quais os insights gerados e tudo e tudo mais tá bom bom e qual que é a técnica que a gente vai utilizar para

responder a pergunta de negócio de quais fatores estão relacionados ao turnover dos funcionários aqui em RH aí você escolhe a técnica utilizada e você explica ela nesse caso aqui eu utilizei o information value uma das técnicas mais poderosas que a gente tem antes dos modelos de machine learning tá então n técnica eh é uma medida responsável por mensurar o poder de separação ou discriminação que uma variável possui sobre a variável target nesse caso que é o turnover se uma variável tem eh o poder forte Isso significa que uma ou mais categorias da variável tem um

alto ou baixo nível de turnover sendo útil estudá-la com mais profundidade Então olha como eu estou descrevendo para o leitor da minha documentação a técnica que eu utilizei o motivo dela o que que eu espero eh ao aplicá-lo certo nas páginas a seguir vamos trazer tabelas com os principais insights das variáveis com bom poder de discriminação certo então pessoal aqui é uma tabela que eu mostro o IV de cada uma das variáveis e segundo a a técnica Qual que é o grau de discriminação do turnover então por exemplo aquelas que tem forte são os fatores

mais relacionados ao turnover já que elas é muito frac ou fraco são as que estão menos relacionadas com o turnover por exemplo gênero e a formação do colaborador pouco importa pro turnover certo agora é o salário se ele faz hora extra ou não o tempo de empresa idade são fatores bem importantes para o turnover E aí a técnica do Information value ela fornece resumos como esse aqui pra gente a gente sabe ao longo das categorias de uma vari Quais são as taxas de turnover dessas categorias Então a gente tem aqui uma 16% de turnover geral

dos funcionários dessa empresa no último ano só que olha só funcionários que ganhavam até R 3.000 tinham praticamente o dobro de turnover Então olha que Insight importante que uma análise como essa traz pra gente então escolheu a técnica certa que extrai o Insight do dado né quem estuda análise de dados e se desenvolve nessa área consegue fazer coisas como essa porque você Você estuda as técnicas e essas técnicas quando bem aplicadas geram insites realmente relevantes tá então Aí você coloca também ó colaboradores que ganham até 3.000 T Inter over de 29 três pontos percentuais 13

né Acima da Média olha aqui ó funcionários que fazem hora extra tem 31% de turnover frente 16 de quem não vai não faz aqui você coloca uma hipótese talvez fazer hora extra constantemente pode degradar a qualidade de vida talvez essa seja a hipótese que explica a causalidade e você faz isso pessoal para cada uma das variáveis sempre colocando os insights obtidos lá na Sua documentação tá porque são esses os insights que vão gerar o planos de ação tem vários outros aqui certo você pode criar outras análises todas as análises que você fizer tem que estar

dentro da documentação aqui é uma análise de causalidade eu tô usando técnica correlação de pearson para tentar entender né as correlações entre os dados e tentar com isso afirmar né ou hipotetizar as causas então por exemplo anos do mesmo cargo e tempo de empresa tiveram ivs altos porém são correlacionados positivamente portanto qual é a causa mais provável do turnover entre os dois Será que quem tem muitos anos no mesmo cargo ou quem tem muito tempo de empresa O que que tá mais relacionado com turnover então análises como essa que você consegue identificar causalidade tudo isso

dentro da documentação até que né com todos esses insites obtidos você cria um plano de ação Olha só isso aqui é um plano de ação que você pode sugerir esse plano de ação ele tem o que fazer né por fazer quem vai fazer como vai ser feito isso e qual que é o custo dessa desse plano tudo isso com uma análise de prioridade porque um bom analista que executa um processo como esse com o método consegue dar prioridade sugestões de prioridade paraa sua área cliente n Então você vai lá olha RH eu analisei os dados

apliquei as técnicas certas e cheguei a essas conclusões e estou elencando em ordem de prioridade segundo aquilo que eu identifiquei faz sentido é isso que você também vê então por exemplo a prioridade número um seria rever a política de hora extras por quê Porque os colaboradores que fazem hora extra T probabilidade de 31% de turnover o dobro da Média geral nãoé Então quem que vai fazer essa revisão da política o RH e como vai fazer você pode colocar aqui ó criar um grupo controle e teste das pessoas que fazem hora extra e pessoas que não

fazem assim a gente pode mensurar a real diminuição do turnover ao longo do tempo com kpis e dashs de acompanhamento Então olha aqui você criando um plano de ação com o seu conhecimento de negócio com as várias reuniões que você fez com a RH com o seu conhecimento das técnicas e ferramentas de dados tudo isso olha que como combina num plano de ação orientado a dados data driving seguro e com e com muito valor tá Então pessoal Tudo isso tem um custo né a diminuição de produtividade de algumas áreas que precisam que os colaboradores Façam

mais horas aqui tem um um contraponto que tem que ser colocado Então pode rever salário pode rever a política de viagens corporativas pode Rever aqui a integração e a cultura pode fazer uma pesquisa de satisfação mais detalhada E aí você detalha pessoal todos os planos de ação oriundos dos insights obtidos pelas técnicas que você aplicou tá então isso daqui tem que tá na Sua documentação e claro lá na sua apresentação mesmo para as áreas né porque é isso que você vai discutir E aí a etapa de acompanhamento do plano de ação você pode pegar lá

por exemplo uma delas vamos acompanhar agora o plano de ação criado para a revisão da política de horas extras e aí você documentou o quê que no período de análise era por volta de 31% cadê Aqui ó o grupo controle eh tinha 45% de turnover eh já o grupo teste que é aquela aquele grupo que você falou para parar de fazer terno desculpa para parar de fazer hora extra né ele teve 9,8 Olha que interessante a diferença né então aqui ó quanto menor melhor certo esse daqui é o grupo controle é aqueles que ainda estão

fazendo Ah olha aí hora extra esse aqui é o grupo que tá fazendo hora extra já esse azulzinho aqui ó é o grupo que não faz mais não faz mais hora extra Então imagina que você implementa o monitoramento e vê algo como como esse que tá acontecendo aqui pessoal é a melhor dos mundos né porque você aplicou um plano de ação oriundo de análise de dados que você fez e com isso você criou um plano de ação que gera muito valor pra empresa porque você identificou a causa ou uma das possíveis causas do turnover e

a galera tá fazendo muita hora exa tá cansando não aguenta mais tão simples quanto tá então você acompanha isso num relatório você pode criar um dashboard lá no power bi né ou qualquer outra ferramenta que seja no Excel e vai acompanhando mês a mês o eh indicador de turnover aqui da da empresa entre os grupos certo isso aqui que é o que você faria tá E aí você tem o Road map que são os próximos passos n aqui alinhamento com os times de RH sobre os planos de ação que é isso que eu mostrei para

vocês agora a criação de um acompanhamento de turnover que é o que eu acabei de falar você pode extrair de forma automática os dados para você acompanhar os planos de ação porque ali eu pedi pro time de engenharia o time de engenharia me fez me passou uma base pronta e eu fiz o estudo você pode incluir novas variáveis Você pode considerar outros tipos de turnover como o turnover decial você pode realizar o cálculo do impacto o turnover traz pra empresa você pode criar um modelo de propensão a turnover olha que louco isso uma empresa essa

empresa pode fazer entrevista com as pessoas e já ter uma ideia se ela vai dá turnover no futuro dado as características dela agora no presente você está fazendo análise preditiva isso é possível fazer né criação de um modelo preditivo de turnover é um pouco do que eh eu falei eh Enfim então tudo isso pessoal é o quê Road map tá ro map nem tudo você vai terminar no projeto versão um né o worldmap serve para você fazer a versão dois do projeto versão 3 versão 4 e assim por diante bom bom pessoal com isso você

tem um excelente documento para que você consiga dar clareza para as pessoas que vão ler a a o documento você consegue gerar reprodutibilidade ou seja as pessoas que leem o seu documento vão conseguir identificar eh as bases os filtros que forem feitos as técnicas que foram utilizadas os planos de ação que foram gerados como resultado da interpretação dessas técn tnicas e um roadmap Claro para que aí você consiga fazer né esses essa essa atualização né do projeto com com o tempo certo bom essa Live é para evitar que essa situação aqui né pessoal acontece quando

eu fiz esse código só só eu e Deus sabíamos Como funcionava agora só Deus sabe esse meme é sensacional né Exatamente isso quem nunca né Você foi lá e revisitou um relatório do des que seja do Excel e você fala caramba como é que eu fiz esse gráfico como é que eu fiz essa tabela meu como que vou olhar a fórmula aqui mas eu colei valores nas fórmulas agora eu não sei a fórmula que tá pegando que dado que tá olhando como é que chegou nesse resultado isso é um terror né pessoal então coloca isso

em escala você que tá vendendo serviço como consultor Você que é um analista de marketing analista de RH que tá fazendo projetos né Eh para criar planos de ação paraa melhoria do do do negócio com análise de dados tudo isso precisa ter uma contemplação precisa ter um método precisa ter uma documentação adequada para você não se perder para que o seu cliente não se perca para que outras pessoas que vão assumir o seu projeto também tenham condições de elevar né Eh o projeto adiante então isso vale para estudos como esse que eu fiz o estudo

de RH modelo de machine learning dashboards todos eles vão de alguma forma passar por todas essas etapas e portanto você precisa documentar tá bom antes de olher aqui as as últimas perguntas dicas finais pessoal na dúvida sobre o que documentar pergunte-se a pessoa que vai ler esse documento ela vai entender como reprocessar e chegar na mesma conclusão que é para e pensa você foi lá tá lá seguindo crisp DM olha lá o que você comentou e fala caramba Hum será que eu conseguiria chegar na mesma conclusão conseguiria chegar na no na em reprocessar a mesma

coisa se você vê que tem alguma coisa que você não falou grandes são as chances de que tá faltando informação na Sua documentação vai lá e coloca tá bom vai seguir sempre aquele escopo pessoal introdução do projeto critérios de sucesso limitações premissas bases utilizadas papéis e responsabilidades depois ent trinamento do olia que você usou Qual é a técnica análise exploratória O que que você concluiu E aí na etapa final que é como é que você vai usar isso como é que você alinhou esses Passos né de utilização com as áreas como é que ficou os

planos de ação como é que ficou o cronograma como é que ficou né a forma de de fazer o acompanhamento posterior e tudo mais tá cria um glossário dos termos de negócio inclua a documentação isso é bem importante né vai depender muito do projeto que você atuar Claro mas eu já atuei em vários projetos que tinha uma uma terminologia muito específica aí você tá trabalhando você chegou na empresa e vai trabalhar em em em marketing e você nunca trabalhou em marketing você tem conhecimento de negócio geral e você tem conhecimento em análise de dados né

um profissional análise de dados O Bacana de ser um profissional de dados é que você consegue trabalhar em qualquer área você só precisa aprender o conhecimento de negócio daquela área não é isso eh é importante né você documentar né aquilo que você aprendeu dos termos do negócio colocar lá um glossário né e disponibilizar lá naquelas pastinhas de documentações e referências para que outras pessoas entendam o que que é CP eh Cpa em marketing digital o que que é KS do mercado financeiro o que que é eh Área baixa da curva rock né um analista de

dados e cientista deveria saber mas não é vai ser só o analista e o cientista de dados que vai olhar o documento né Eh então tudo isso pessoal você precisa colocar tá bom isso é bem importante sempre mantenha um atualizado histórico de versões do documento então também eu mesmo também já caí nesse problema fico aqui a dica para vocês não caírem eu fui atualizando o projeto e fui esquecendo de atualizar o histórico de versões Então isso é bem complicado porque aí depois eu falo caramba quando que essa feature começou a ser utilizada no modelo aí

eu olho lá o histórico de versões falo Putz eu não coloquei quando eu inseri essa feature aí eu não consigo responder algumas perguntas que podem surgir Então pessoal o histórico de versões é sagrado Vai lá mesmo que seja uma coisa mínima coloca lá versão 1.1.1 coloquei essa base de dados a mais versão 1.1.2 coloquei esse outro gráfico cria isso como cultura que vai fazer a diferença no seu no seu da documentação do seu projeto sempre documente as aprovações e alinhamentos com o seu cliente pessoal e guarde as atas de reunião na pasta de projeto aquela

que eu falei para vocês Acredite isso pode te evitar muita dor de cabeça muita quem também nunca passou pela aquela situação em que você fez uma um filtro criou um gráfico fez alguma coisa no seu projeto aí o seu cliente do projeto fala Putz mas eu não tava com isso no radar Ah mas você alinhou comigo antes de fazer isso Caramba aí você não tem e-mail porque foi no no bate-papo no Café né foi no WhatsApp que depois perdeu histórico gente não caia nessa silada tá analise né todas as informações que você recebeu eh guarde

todos os e-mails trocados entre cliente porque é isso vai fazer a diferença para você documentar né Eh eh e alinhar o projeto tá bom isso aqui é bem importante e por fim última dica a documentação Para muitos é um mal necessário né use essa situação para seu próprio bem diferenciação então tem muita gente Pessoal né e eu não assim não não julgo porque eu também não não sou muito fã né de não é a melhor parte do trabalho para mim mas ela é muito importante né E se você é como muita gente não gosta só

o fato de você começar a ficar bom em documentação em todo o projeto que você atuar ter uma boa documentação Você tá no oceano azul de oportunidades porque enquanto as outras pessoas estão reclamando você tá fazendo a diferença você tá criando um processo sustentável e você vai ser promovido com o tempo por quê Porque tudo que você faz tem documentação basta uma outra pessoa fazer seu trabalho né E você vai est lá num próximo vai est liberado para uma próxima atividade da empresa ou mesmo ter a tranquilidade de sair de férias por exemplo uma outra

pessoa vai fazer no seu lugar e você não tem que ficar lá e com o chefe enchendo o saco para você de Poxa você vai sair de férias mas e agora quem é que vai fazer o relatório quem é que vai fazer aquela análise a documentação serve para isso né para conseguir delegar para outras pessoas e com isso você estar livre para galgar outros eh outras praias né No fundo no fundo é isso tá bom E aí pessoal consegui contribuir aqui sobre documentação coloca por favor no chat É sempre bom ler aqui o que que

vocês acharam se vocês gostaram achar uma porcaria coloca Sempre é muito bom né eh ouvi-los deixa eu ver aqui se eu pulei alguma das da das perguntas eh deixa eu ver aqui aula fantástica muito bom sensacional esclareceu essa Live boa obrigado pessoal deixa eu ver aqui né o Artur eh muito bom o Ah isso aqui eu já tinha lido eh Adriana perguntando pode-se usar um gráfico gigante pode né Principalmente em cronogramas que você vai lá e coloca início e e fim de atividades Pode sim Ô Adri Sem problema nenhum tá o Marlon perguntando Vini no

caso de um projeto pessoal onde poderíamos colocar a arquitetura usada coleta api do Google etl no Python orquestração airflow armazenamento bcy e dashboard eh tablô por exemplo eh onde poderíamos colocar a arquitetura usada bom marn aqui todas essas etapas que você falou Deixa eu voltar aqui ó todas essas etapas que você falou são aqui na na estrutura das pastas Olha só você tem né Eh os dados brutos então esses dados brutos né se você tiver algum arquivo csv eh tá aqui senão né e Ah isso aqui eu coloquei limpeza mas eu poderia ter aqui aqui

um script de coleta também tá acabei pulando aqui ó mas poderia ter um script de coleta nessa coleta você vai lá e conecta na api né tá lá e depois você tem os scripts de limpeza blá blá blá blá e tem os os scripts de carga de dados né a parte de load digamos assim em outro ambiente vai lá e coloca depois da limpeza você carrega em outro local então é usar a mesma estrutura Tá e isso você pode colocar dentro de um Júpiter para compreender todo o processo ou não você pode deixar e um

arquivo pon pai e com um m n Um M E aí dentro disso você vai chamar todos os scripts de coleta de exploração na ordem só para ficar claro a etapa se for um airflow né você vai lá e a deg já vai est aqui também né dentro da pasta de notebooks ou dentro da pasta de scripts né E aí a documentação é toda a arquitetura que você utilizou você cria lá o diagrama da estrutura da arquitetura de todo o processo Tá bom então assim ainda é é utilizável a estrutura de pastas tá eu não

vejo como ser muito diferente não tá bom obrigado pela pergunta nossa aula esclarecedora Obrigado Evandro sensacional Professor essas hipóteses são obrigatórias David eh eu não diria que são obrigatórias Mas elas são super bem-vindas né porque afinal de contas é isso é para isso que a gente tá aqui a gente tá analisando o dado para gerar hipóteses que essas hipóteses podem ser analisadas eh também que geram novas perguntas ou elas viram parte do roadmap para análises futuras mas toda toda análise que você faz gera uma nova pergunta né Essas são as hipóteses tá bom Caraca aqui

aula absurda de brava boa Jonathan Obrigado incrível essas análises no relatório a mensuração no V seria importante colocar o benchmark ou seria muito informação não coloca o Benchmark como eu coloquei ali tá fui lá e mostrei ó o benchmark é esse quando o IV eh tem esse esse patamar é forte quando é médio e assim por diante tá Murilo tem colocar faz parte da descrição da técnica tá deixa eu ver o thgo aqui escola preditiva sempre gerando muito valor com dados com as técnicas certas para um bom analista sensacional o melhor é que tem é

é que tem tudo isso de maneira detalhada nas aulas dentro da plataforma boa Tiagão Obrigado aí pela presença muito interessante mais uma live excelente Obrigado sauca eh excelente conteúdo obrigado Mais uma vez Eu que agradeço excelentes sugestões para qu D me documentação como é tudo certo boa V sempre objetivo esclarecedor show Obrigado Claudi e eu pensava que era só dizer o que tinha feito de forma simples né imagina D aí a gente vai evoluindo aos poucos né mas é isso aí mesmo deixa eu ver eh o Felipe Há alguma Live sobre Python versus R não

Felipe porque eh o r assim e ele acaba sendo existe uma briguinha eterna entre Python e r sabe eu nem a gente nunca entrou nessa briga porque no fundo a gente é agnóstico a ferramenta você usa aquela que você quiser tá E aqui na preditiva a gente ensina por exemplo e Excel skl Power Bi e Python nas trilhas que são os três grupos de ferramentas que servem ao propósito tá entrando aqui as aulas de de aws então assim né você aprendeu uma meio que aprendeu todas tá eh Python e R é a mesma coisa só

muda a sintaxe Ah deixa eu ver Live incrível excelente Boa Muito obrigado contribuiu demais Maravilha bem útil eh uma porcaria que eu vou ter que fazer tudo isso mas a foi esclarecedora faz parte dele faz parte fia a noite toda aqui boa Anderson Obrigado muito boa excelente pessoal obrigado aqui aqui pelas considerações aqui pelo passando eh eh acho que não passei nenum por nenhuma dúvida né acho que é isso bom meus amigos para finalizar então a aula de hoje você colocar sua lista de presença ali a a palavra-chave de hoje é deixa eu tirar aqui

o comentário a palavra tô rindo aqui da frase mas a frase que eu escolhi para lá Live de hoje é é melhor documentar porque eu quero sair de férias teve alguém aqui que falou isso já deu até um spoiler da frase de hoje então é melhor documentar porque eu quero sair de férias é basicamente a motivação de documento né brincadeiras a parte pessoal claro isso ajuda Tá mas é isso né documentação é fazer com que você se e não fique preso a um processo esteja pronto para próximos projetos e com isso crescer na carreira e

ao mesmo tempo fazer com que a empresa armazene esse conhecimento para outras pessoas conseguirem beber dessa fonte e a empresa e a sua carreira evoluir né Acho que documentação é um ótimo ganha ganha e você precisa colocar dentro do seu escopo para fazer trabalhos melhores tá bom é isso meus amigos eh se não tiver mais nenhuma dúvida encerro por aqui né estamos finalizando aqui a Live de hoje eh fica a dica se você não aluno da preditiva o link descrição a partir do próximo mês a nossa formação gerando valor com dados vai ter um reajuste

de preço tá então eu garanto Eh Ou melhor Garanta sua vaga Antes desse reajuste porque para que pagar mais caro S você pode pagar bem mais em conta agora tá bom é isso obrigado pela presença de todos na próxima aula às terças 8 estamos aqui firme e forte para mais análise de dados carreira e negócios Tá certo obrigado pessoal por hoje Deixa aí o like se você ainda não deixou ajuda bastante a gente nesse sentido até a próxima tchau tchau