Formação Profissional em Computação - Ciência de Dados e Python

o Olá pessoal bem-vindos a nossa aula 2 da semana 7 da disciplina a formação profissional em computação vamos ao conteúdo o título da aula de hoje é ciência de dados e cartão tá bom essa disciplina até o momento a gente já trabalhou com questões né de definições e exemplos né de pensamento computacional Quais eram os objetivos depois falamos de internet desenvolvimento web falamos de Python Framework falamos de ot Web Services api e na aula passada nós falamos e ciência de dados e agora né agora a gente vai pensar o quê que a gente pode fazer

com tudo isso que a gente aprendeu é uma aula de hoje é uma ideia para vocês tentarem juntar um unir né colaborar todos esses outros conceitos nós vamos colocar todos os conhecimentos apreendidos num projeto vamos utilizar para esse projeto collab algumas bibliotecas de parto conexão ao serviço web para leitura de sensores de otite que estão aí coletando dados nos polos da Univesp e finalmente vamos fazer um pouco de ciências de dados com pequeno conjunto aí de informações que a gente vai usar a partir dos dos dados das coletas e os E aí dos polos da

Universo Antes de iniciar o desenvolvimento vamos instalar uma biblioteca que a gente não tinha instalado ainda que chama errou tá eu aí vocês vão perceber que ela não tava disponibilizada por de forno collab a essa biblioteca uma biblioteca partam que oferece aí uma abordagem bastante sensível amigável para a gente criar manipular formatar e converter e Que horas ela implementa e atualiza o tipo de data e hora preenchendo lacunas nas funcionalidades E com isso fornecendo aí uma pe de módulo inteligente que que suporta muitos cenários de criação é simplificando ela vai acabar ajudando vocês a trabalhar

com datas e horas ou menos importações e muito menos códigos tá o comando para instalar uma biblioteca como a gente fez antes né em aulas passadas lá no collab ep né Install e o nome da biblioteca a no nosso caso Então a gente vai usar PIP install errou né e é Presta atenção que tanto no jupyter quanto no collab do Google é necessário colocar um ponto de exclamação antes do comando de instalação antes do PPI tá então nós vamos digitar o comando é exclamação Pipe né install errou é e executar é com o botão aí

de play né aguardem Até que esse processo aí termine E aí vocês vão ver aí deverão ter como retorno é como mostrar daí na imagem né E agora vocês lembra o que é para utilizar as do meu técnicas do colab né no collab e fazer o importe né Nós já vimos isso aí nas aulas passadas é também vamos utilizar a biblioteca outro two né que é uma estrutura aí que vise que tem como função né que busca facilitar o fornecimento de autenticação é essa biblioteca né Ela é aí muito utilizada em um monte de aplicativos

para o dedicação o auxilie be é uma estrutura que implementa a lógica do altium ou do Altos dois né o sem assumir um objeto de solicitação http específico ou uma estrutura da web e dessa biblioteca vamos importar a Beck and application Klein com ela a gente vai poder solicitar um token de acesso usando apenas as credenciais de quando o cliente está solicitando acesso aos recursos protegidos sob o seu controle Ou aquelas de outro proprietário de recurso que foi previamente combinado com o servidor de autorização a outra biblioteca que eu queria falar para vocês então vejo

é aerowatch de autenticação a outra biblioteca é Ah não pai né que vem da palavra aí numérica o Python que é uma biblioteca de código aberta usada aí por muitas pessoas da área de ciências e engenharia né E aí o padrão universal para trabalhar com dados em Python né está aí no centro dos séculos sistema científicos e Impacto e pai dele tá né Outra biblioteca também a banda né que é aquela biblioteca que eu já vi a mencionada na aula quando a gente falou sobre pilotar dados né uma biblioteca criada pela linguagem parto para análise

de idade certa vocês já devem ter instalar em particular ela oferece a estruturas e operações para a gente trabalhar tanto com tabelas numéricas como com séries temporais então agora a gente tem que importar a biblioteca Neo errou que foi instalada ir lá naquele primeiro passo né E aí tem as palavrinhas que a gente pode usar né só from pandas e porte de Jason underline normalizem porte Jason e porte Blues Import matplotlib plot sp.lt E aí vocês vão ver que a gente vai usar tudo isso aí que a gente tá importando e é esse é o

passo a passo para definir as funções para o uso da api da plataforma é de coleta de dados e o tido os polos da universo né Então aí nesse slide vocês vão encontrar como a gente vai fazer essa coleta né O que que a gente usa aí quais são as funções para fazer a coleta aí dos as funções para uso aí dos dados da api da plataforma da universo é e nessa figura na parte 1 do quadro acima da figura nós temos os comandos para fazer conexão dos dados na conta da plataforma a aí você

vai ver que tem o URL depois apliquei show que é o universo né E aí a gente vai precisar dos dados na para essa conexão e na segunda parte então é autenticação né dos dados que precisa ir de username e password né Essa autenticação é uma autenticação de resgate de token de acesso tá essa é uma forma aí bastante conhecida é hoje já tem dedicação de segundo nível A então aí vocês vão conseguir encontrar os comandos utilizados e é agora na primeira parte aí agora listando os dispositivos desta conta nessa primeira parte da figura temos

os comandos para listar os dispositivos dessa ponta eu e a gente vai pegar os dados casa dispositivo ele possui um sensor dht22 está localizado num dos Pólos a existem dispositivos que não tem dados né e a gente imagina aí que eles nunca foram ligados e também existe alguns que tem dados intermitentes né que funciona um por um período e depois estamos ligados para vocês vão perceber olhando os dados aí vocês vão perceber essas características e ela executar o comando lá no final da primeira parte da figura um aquele comando deve underline list igual list underline

devices ou Alt né da autenticação Vai quando é isso você vai receber uma lista armazenada em deve list com todos os dispositivos que são autenticados na plataforma pelo seu Grid o guide ele é usado para baixar os dados de um único dispositivo a E aí finalmente na parte dois a gente vai examinar o dispositivo aí que tem um guide S8 x 0 20 0 a 0 B 4B 7 na esse dispositivo está em São Paulo e a iva eu posso usando o vídeo dele pegar os dados que estão aí nessa localização que vocês vão ver

no slide né - 23 que eu acredito que esteja longitude e latitude a a e nesse a outra parte agora a gente vai dar uma olhada nos dados desse dispositivo sair no mês de junho então vocês olham ali data Inicial né 1 de junho é de 2020 e a gente que define como data final é um de 8 né de 2020 Então a gente vai pegar todo mês seis e todo mês sete né junho e julho E aí vocês veja que nesse Cadu é uma busca na próxima linha usando o guide do dispositivo aí no

período especificado então ali na próxima linha você vê que eu tenho definido um deve data né e ele tá usando o guide as datas iniciais e tá está normalizando né Na próxima linha ali eu vejo uma normalização de Jason né E aí eu jogo esses dados normalizados Jason nessa variável status Oi mãe então é essa variável está DF ela que vai receber os resultados aí dessa minha busca usando esse guide e essas gatas eu vejo que aqui a gente tava trabalhando só com o guide né pensando Só no Gui aqui a gente está trabalhando na

busca usando data seguir é usando o pandas né Depois com resultados nós podemos mapear eles de diferentes formas né os dados lá que vinham na variável start DF tá E aí agora a gente pode criar tabelas e gráficos vamos examinar os dados do dispositivos por exemplo agrupando por pela pela em Como encher não né isso mais visando os valores do grupo podemos usar os dados para vários tipos de cálculos estatísticos né existem aí abaixo na segunda parte da figura outros dados um dos dispositivos né é veja o que eles tem três canais de dados a

independência tem um real que envia os dados com relação à rede na qual dispositivo está conectado E sobre os erros de leitura e envio dos dados tem uma underline Network envia os dados com relação às redes wi-fi para o dispositivo aí usado neve de modo que ele possa reconstruir a posição existe o deita que envia os dados de temperatura e umidade a lactação medidos pela aquele sensor que a Missioneiro dht22 e esses dados são gerados por processos distintos rodando aí no sp8266 Logo eles podem falhar né E aí eles podem falhar de maneira independente você

vai notar que o DH tem ter 22 ele tem um índice de falha é relativamente é né dado É de alto né dado que eles vão estar aí disponível não vou estar disponíveis em todos os intervalos a segunda parte da figura mostra essa análise do status DF né agrupados por income Channel né foram feitos aí cálculos usando apenas o a ideia de Contagem né por a contagem usando o cal né mas vocês podem fazer e usar outros cálculos estatísticos aí como média desvio padrão moda variância e outros mais e para fechar eu queria deixar para

vocês aqui a ideia né que nessa figura a gente tá usando agora outras funcionalidades do pandas né Essas funcionalidades são úteis para criar gráficos né aí vejam os plots né você tando para esses gráficos tamanho tipo do gráfico os rótulos os eixo X e eixo Y né Se vocês olharem aí a gente tá fazendo isso usando aí é a panda se vocês olharem no resultado que esse gráfico acima né essa linha aqui do gráfico né Azul representa a umidade né e a vermelha ela está representando a temperatura né então cada linha do gráfico aí ela

representa aí essas essas essas informações aí captadas dos sensores né é de polos na verdade do Guide né daquele vídeo de São Paulo né daquele dispositivo de São Paulo e se vocês repararem o dispositivo deve ter ficado um tempo em latim bom né porque você não tem uma uma variação na medição aí porque aqui a gente tem temperatura né por tempo então ela ficou um tempo aí sem variar provavelmente desligado queimado ou algum problema O legal é que usando as funções do panda a gente conseguiria por exemplo Cortar esse intervalo e fazer um gráfico aí

do intervalo Aonde a medição ocorreu de maneira mais constante então com isso pessoal a gente mostrou aí um exemplo rápido né de como vocês podem juntar o que vocês aprenderam né com python usando aí esses dados captados por equipamentos né dispositivos com sensores nos polos da univers e para fazer um trabalho aí de representação desses dados de modo que a gente possa trabalhar melhor né E conseguir extrair outras informações de uma maneira mais Global né Mas é por mais dados seria bastante interessante vamos pessoal com isso eu encerro a aula de hoje da semana 7

horas boa bom estudo para vocês e até a próxima tchau E aí E aí [Música]