Unknown

e aí e aí e aí e aí e aí oi bom dia oi tem alguém com a tv ligada aí a anna microfones coisas eu vejo estão boa tarde pessoal tudo bem continuando então com o nosso curso de metodologia da pesquisa em computação vamos agora para o quarto módulo né que a palestra design experimentos com as professoras andreia malucelli e sheila rigler tão agradeço muito aí em nome da organização a as duas pelo aceite por estar aqui conosco e vou fazer uma breve apresentação uma das duas né então a professora andreia ela é graduada em

bacharelado em informática pela universidade estadual de ponta grossa fez seu mestrado em engenharia elétrica e informática industrial pela utfpr de curitiba e a doutora em engenharia eletrotécnica e de computadores pela faculdade de engenharia da universidade do porto em portugal a andreia é docente na puc do paraná onde está de cana da escola politécnica e é pesquisadora no grupo de engenharia de software dentro do programa de pós-graduação em informática lá na puc no ppga achei lá rainer é graduado em engenharia mecânica pela universidade federal do paraná o mestre em informática pela puc do paraná e doutora

em engenharia da produção pela escola politécnica da usp é professora titular da puc do paraná pesquisadora e líbia do grupo de pesquisa de engenharia de software na puc e também é professora do programa de pós-graduação em informática é o pg tão muito obrigado por vocês e a palavra estar com vocês agora bom muito obrigada boa tarde clouds viterbo e toda equipe organizadora obrigada pelo convite ele achei nós estamos muito honrados aí né sei lá e a já com sotaque zinho para lá em estamos um pouquinho e parabenizar também a iniciativa de vocês que bom poder

ter iniciativas como essas para todos os nossos estudantes e que ainda possa ser compartilhado né por todo o brasil o o e já vem aqui são paulo o opa e foi bom o cláudio já fez aí as nossas avenidas apresentações aos andreia que vou conversar porque com vocês a sheila também a gente vai fazendo aí um bater papo nós dividimos apresentação mas eu vou talvez vai interferindo aí na sala da outra por favor vamos colocando no chefe os comentários de vocês para que nós possamos interagir aí um pouquinho então eu e a sheila somos da

puc do paraná do programa de pós-graduação em informática o grupo de pesquisa em engenharia de software e o folclore de viterbo né nos convidaram para que nós falaremos um pouco sobre design de experimentos é claro que é um pouquinho o tempo né curto 50 minutos então a gente vai fazer realmente um bate-papo para que nós possamos conhecer quem é o nosso público nós vamos pedir para vocês espero que vocês tenham aí o o celular fácil gostaria que vocês entrassem no mentimeter no www.mente.com utilizando o código 85 7372 e contassem para nós quem são vocês para

que a gente saiba com quem que a gente tava querendo um papo aí começar animada aí a nossa tarde vou dar um minutinho para vocês podem esfregando nochetti qualquer dúvida que vocês tenham comentários e aí e aí eu vou dar um minutinho e aí e aí e deu certo o meu celular mulherzinha aqui no código o www.mente.com isso estamos então com 38 sudeste mestrado 39/9 de graduação 14 doutorado três docentes 7 docentes pesquisadores e aumentando a quantidade de estudante de mestrado 45 disparado na frente e os nossos estudantes de pós-graduação em peso então sejam todos

bem-vindos a nossa cenário é né a maioria estudantes de pós-graduação então com certeza os nossos estudantes de pós-graduação também vão poder dividir conosco as experiências de vocês então nós vamos começar conversando conversando um pouquinho com vocês sobre métodos empíricos então a primeira pergunta que eu faço é o que é um método empírico e quem aí arrisca ou falar ou escrever no chat e a sheila vai me ajudando aí se alguém escrevendo o chefe eu não estou visualizando se alguém colocou aqui faltou um campo para preencher quem já está graduado né mas não está fazendo boss

é verdade nós colocamos graduação concluída não tinha né o podem colocar então por falta dura no chão aqui ó tão método que se baseia na observação baseado em observações empírico alto que é observando o repicado atravessa experimentos experimentação e observação e olha observa ação tá arrotando era empírico deve só corrigiu aqui algo né algo baseado em observação olá pessoal tá ligado aí nas pesquisas e com muitos alunos de pós-graduação com certeza já tiveram isso em algum momento das disciplinas de metodologia científica tem um método empírico realmente ele se desespere de uma pesquisa que é apenas

teórica né é ele produz e analisa dados que são realísticos a pesquisa empírica é extremamente importante e as conclusões elas são extraídas de evidências empíricas que são concretas e também verificaram então todos esses comentários que vocês fizeram ele é bem relevante e é o conjunto de tudo isso né então empírico quando a gente olha no dicionário ea baseado na experiência então é importante que nós saibamos aí até porque hoje é o primeiro dia dessas discussões o que é um método empírico e quais são esses métodos empíricos com as suas impor a sua importância dos métodos

empíricos eles são necessários para ajudar a avaliar e validar os resultados de uma investigação eles são necessários para que seja possível afirmar científicamente se alguma coisa é melhor de outra e eles são essenciais para o investigador e nós temos diferentes tipos de métodos empíricos servem estudo de caso pesquisar são o experimento o quais experimentos e hoje nessa nossa fala nessa nossa discussão com vocês a gente vai tratar um pouco sobre o experimento ou a experimentação o experimento controlado mas lembrando que existem vários métodos empíricos e dependendo do objetivo da pesquisa de vocês após o conhecimento

do problema de pesquisa sabendo qual é o objetivo é que vocês vão escolher oi tudo de pesquisa ou os métodos de pesquisa que vocês utilizaram para conduzir a pesquisa de vocês então o que é experimentação alguém aí arrisca o que vem a ser experimentação se tem alguma diferença será da experimentação para o experimento nós estamos então aí contextualizando estamos dentro dos métodos empíricos focando agora na experimentação e aí alguém arrisca experimentação a experimentação é botar o dedo na tomada então é isso aí por favor não faça isso né não repita isso em casa outra planejar

e conduzir experimentos observando e anotando os seus resultados é uma maneira também o processo o processo e é isso aí então esse experimento quando a gente tá falando em experimento quando nós estamos conduzindo uma experimentação o experimento ele é uma investigação formal e deve ser rigorosa e controlada então nós temos sempre que cuidar porque muitas vezes quando nós falamos ah eu fiz um teste fazer um teste que não é a mesma coisa que conduziram um experimento da maneira correta e um experimento os fatores-chaves eles são identificados e manipulados enquanto outros fatores do contexto os amantes

são mantidos sem mudança que são as variáveis que a gente fala né as variáveis em controle as variáveis que não estão controlados então é muito importante que nós tenhamos esses cuidados ea experimentação é o centro do processo científico somente experimentos verificam as teorias podem explorar os fãs o kit kuz e dar luz ao fenômeno novo para que as teorias possam ser formuladas e corrigidas então os experimentos eles são extremamente importantes extremamente relevante as pesquisas teóricas também mas os experimentos aqui nos fazem conseguir ter alguma comprovação do que nós estamos pesquisando a experimentação ela oferece uma

maneira bem sistemática disciplinada computável e controlada para avaliação da atividade humana todos esses cursos que vocês estão fazendo nessa semana né vamos fazer vocês vão notar que essa palavra sistemática vai aparecer bastante porque sempre que nós estamos conduzindo uma pesquisa científica a sistematização ela é extremamente importante indiferente do método de pesquisa que foi excluído bom então novos métodos novas técnicas linguagens e ferramentas não deveriam ser apenas sugeridos publicados ou apresentados para venda senha experimentação e sem a validação sem colocar o dedinho lá né da tomada é extremamente importante então é preciso avaliar novas invenções e

sugestões em comparação com a já existentes então eu preciso fazer o experimento conduzido um experimento de uma maneira formal mas também combinar com aquilo que já existe e aí nós temos também que aparece quando nós estamos falando de experimento nós vamos tratar em detalhes mas é um conceito relevante para nós lembrarmos que nós temos o quase experimento que é uma pesquisa empírica também que assimilaram o experimento mas atriz o tratamento aos sujeitos não podem ser baseado em randomização e emerge das características do próprio sujeito ou dos objetos então a mostra lá não é aleatória não

permita normalmente generalização em geral são menos robustos só pro ponto de vista analítico então nós temos algumas diferenças quando nós estamos conduzindo quase-experimento e não entraremos em detalhes aqui mas a gente sugere que as pessoas né leiam e se apropria desses diferentes conselhos e quando nós estamos falando aí do método experimental da maneira de se conduzir e não é uma pesquisa fácil de ser conduzida nenhuma é não é ea experimental ela é bem complexa você precisa sugerir o modelo desenvolver o método pode ser tanto qualitativos quanto quantitativos você vai aplicar o experimento você tem que

medir e analisar avaliar o modelo e repetir o processo mas ao longo da nossa faro nós vamos passar pelo por esses passos detalhadamente então o processo ele vai se iniciar como esse levantamento de um modelo novo não necessariamente precisa ser baseado em um modelo que já existe pode ser um modelo completamente inovador mas ele tenta mudar o respeito do processo ou produto sugerido por é ser modelo e é e é ir qual o objetivo da experimentação não é porque que ela é relevante para que que ela serve conforme alguns autores gente tá citando alguns aqui

seguindo alguns que a gente deixa no final para vocês as referências é um dos objetivos a que nós possamos compreender a natureza dos processos da informação os pesquisadores devem observar o fenômeno encontrar explicação formular a teoria e verificar lá e a experimentação ela é relevante qualquer área do conhecimento extremamente alimentares estão no momento vivendo no nosso país é uma da experimentação extremamente importante não é para medicamentos tratamentos aí que estão surgindo vacina olha ajudar a construir uma base de conhecimento confiável e reduzir a incerteza sobre quais teorias ferramentas e metodologias que e as mais adequadas

pode levar a novos e úteis meios de introspecção e abrir novas áreas de investigação hora acelerar o processo eliminando abordagens inúteis e suposições que são errôneas e também pode ajudar a orientar engenharia ea teoria nas direções promissoras de pesquisa é os experimentos podem ser custosos mas é sempre necessário levar em consideração a relação na custo-benefício você pode fazer é experimentos que não são tão custosos em laboratórios mas dependendo dos equipamentos e materiais que estão envolvidos eles podem ser bastante gostosos a tecnologia ela vem se modificando muito rápido né é nós que sabemos bem disso né

que somos da computação mas ela vem atingindo aí diferentes áreas do conhecimento as mudanças ela sempre traz e elimina suposições e o papel de todos nós não é pesquisadores é antecipar as mudanças nessas suposições e aplicaram os experimentos para explorar as consequências dessas mudanças para nós temos que eu te ver isso saber quais são as consequências daquilo que nós estamos propondo como já é do conhecimento provavelmente da maioria de vocês os experimentos eles podem ser realizados de diferentes maneiras é in vitro e in vivo podemos realizar em laboratório sob condições que são extremamente controladas ou

podemos estar em projetos reais sob condições que estão normais e cada um desses planejamentos ea condução desses experimentos ela seguirá os mesmos passos mas elas terão diferentes na sua essência naquilo eu vou estar utilizando para condução dessas pesquisas e a experimentação ela pode ser usada de diferentes maneiras você pode tá utilizando a experimentação para confirmar uma teoria ou seja testar teorias que já existem confirmar o celso comum a sabedoria popular você pode estar explorando relacionamentos ou seja testar se de terminado o relacionamento realmente existe avaliar a acurácia dos modelos validar medidas ou seja validar se

uma medida realmente mede o que deveria medir e o experimento é ele é bastante útil ele normalmente ele é realizado em laboratório e ele oferece o maior nível de controle objetivo normalmente né quando você está trabalhando com o experimento você vai manipular uma ou algumas variáveis e vai manter outras variáveis fixas para ser possível medir o efeito do seu resultado tão tudo isso tem que fazer parte do planejamento de vocês oi e a maior força da experimentação cuidado você tem ter no controle total sobre o processo e as variáveis ea possibilidade de ser repetido então

nós devemos conduzir a experimentação com o rigor científico é formalmente bem definido bem delineado para que a replicação seja possível lembrando que os experimentos eles não provam nada nenhuma experimento ele vai nos dar a certeza absoluta sobre alguma coisa os experimentos eles verificam a previsão teórica em relação à realidade eles nos dão muitas vezes a probabilidade mas não é uma sem por cento de certeza ou uma certeza absoluta que o experimento eu tenho uma prova mas é uma maneira que nós encontramos para conseguir avaliar e confiar nos resultados das nossas pesquisas e os experimentos eles

são puramente quantitativos é eles se concentram em medir diferentes variáveis alterá-las e medi-las novamente então você vai ter toda uma fase de coleta de dados quantitativos nos seus experimentos e depois você vai aplicar métodos estatísticos para analisar os dados que foram coletados também não temos tempo hoje a sheila depois nas etapas ela vai comentar um pouquinho mais com vocês sobre isso mas é também muito importante conhecer métodos estatísticos conforme os dados que são coletados para que vocês tomem a a melhor decisão sobre a análise dos dados que faz bastante diferença e nós vamos passar agora

para uma etapa aí do como conduzir uma ea experimentação a sheila vai conduzir agora com vocês esse pedacinho e vocês vão anotando aí dúvidas de vocês que a gente volta no final para um bate-papo e o áudio sheila sempre esqueça né no tava lotado conseguimos fazer uma troca que tá na minha mensagem agora né vou ver se a gente consegue sim fazer o mesmo acho que sim né deixa eu ver se eu consigo ir lá pessoal já deu boa tarde no início né brigada aqui pela está no juntos o andré comentou um pouquinho a respeito

dos conceitos que a gente tem boca de experimentação também chamado experimento né e agora a gente vai trabalhar um pouquinho para conversar um pouco a respeito das fases que a gente tem na experimentação com a gente conduz uma experimentação eu vamos começar né e apresentando aqui com a estância as etapas que a gente tem na experimentação a gente vai ter cinco etapas basicamente esse você sabe extrair em que a gente está falando de experimentação será que isso se aplica só experimentação ou será que as cinco etapas são as cinco etapas que a gente sempre tem

né em qualquer pesquisa e que vocês acham olá pessoal no chat aí é muito diferente né só que a gente falar essas etapas para servir por exemplo ou para estudo de caso ou para pesquisar são o para desinchar em surtos quê que vocês acham é muito diferente aparecido como que é estão pensando ainda eu tô pensando que eu tô tendo nenhum motivo da venda à vista em qualquer pesquisa vem aqui só necessários em todos são fundamentais é exatamente então se a gente não lê o que está escrito abaixo na escada faz a gente vai ver

que qualquer pesquisa tem que ter uma etapa de definição que na realidade como estabelecer na qual se corpo qual o problema de pesquisa onde que eu quero chegar eu tenho uma etapa de planejamento que é detalhar quais são as etapas detalhadas quais são os cronogramas para cada etapa a gente vai fazer execução depois de analisar os resultados e a gente vai apresentar né seus resultados e vai empacotar os dados da pesquisa ou seja para a gente arquivar aguardar servir de base para outra pesquisa ou para gente disponibilizar né porque você está morta ea pesquisa aberta

a ciência aberta ou 200 organização das bases que a gente utiliza em pesquisas empíricas então a gente tem essas cinco etapas elas são etapas gerais em que qualquer outro tipo de método também vai usar as vamos olhar aqui as particularidades que a gente tem para os métodos que nós estamos tratando aqui né prometo que é uma experimentação o que que é importante a gente o que tapa dessas que a gente pule né que a gente faça mais ou menos a gente para fazer que a gente não preste muita atenção né olá pessoal é que naquela

síndrome de programador né a louca second ficando antes de pensar muito que vai fazer às vezes o pesquisador colocou a mão na massa né porque nem sua colega ali no chat e colocar o dedo na tomada e acaba vídeo gerenciando um pouco alguma das etapas iniciais e quando a gente gente se alguma coisa nas etapas iniciais pela especialmente aqui na experimentação o que pode acontecer a gente vai lhe dar todo o resultado né e a gente tem que refazer todo o trabalho muitas vezes até difícil da gente vai fazer o trabalho porque não consegue reproduzir

a mesma situação né então é só um pouquinho agora nessas cinco etapas o que que é importante né andreia a gente pensou é pensamos algumas coisinhas importantes para deixar aqui para vocês para vocês é prestarem atenção quando forem conduzindo um experimento não é porque a gente começar a detalhar que essas definições eu queria pedir para vocês usar né aquele recurso de levantar a mão sabia que tem aqui no luso levantar não eu peguei estamos assistindo aqui pelos um por favor levante a mão aqueles participantes que na sua pesquisa já tem planejado não será necessário fazer

uma experimentação e a gente viu ali tem mais de 50 estudantes de mestrado né que estão envolvidos aqui na nossa apresentação já tem que quatro levantaram a mão cinco opá tem bastante gente aí que vai fazer experimentação loja tem 10 pessoas que levantaram a mão bom obrigada pessoal podem abaixar já fosse para 11 aqui 12 legal pode abaixar não obrigada pelas tem bastante gente aí que tá tá pensando já planejando a experimentação a gente a primeira coisa a gente tem que definir músculo né o que que eu escopo da experimentação objetivo porque a gente tá

estudando aquilo que é objeto de estudo né quais são os aspectos de qualidade que eu vou levar em consideração ou é o ponto de vista né sobre sob a ótica de quem que tá sendo conduzida se esse experimento igual a contexto geral que eu vou que eu vou que eu tenho seguido realmente fazer a experimentação o resultado que a gente espera quando terminar essa fase de definição do escopo me desculpem é que a gente tem direcionamento geral do experimento a gente tem um escopo muito claramente definido e que a gente tem uma base para formulação

das hipóteses nem já tem alguma coisa que a gente já tá preparando aí para fazer a nossa validação no final a então tudo isso eu fez na máquina desculpa e a base para o planejamento de pagar e quando a gente fala desculpo a primeira coisa que a gente faz é definir cisco claramente então uma das formas que nós podemos usar é uma forma muito laranja que ele não é o gol question médico ou seja eu posso ter um formato estruturado que tenha analisar né o verbo verbo importante depois o que né ao que objeto de

estudo com a finalidade de aí vem objetivo finalidade da pesquisa em relação à aqui o foco que a gente te dá para um elemento de qualidade vamos ver um exemplo ficar mais fácil de entender e no ponto de vista de quem né então qual é a perspectiva está sendo analisado em qual contexto lá então se a gente for usar um exemplo zinho aqui né só voltando para mim para explicar o que que é objeto de estudo gente nosso caso da computação nosso objeto de estudo normalmente é um processo processo de desenvolvimento um metro desenvolvimento uma

forma de desenvolver o ele é um produto é um algoritmo é uma coisa que eu tô profunda na técnica nova para é mesmo né pode ser o modelo pode ser métricas que eu quero avaliar se não mude seu não são úteis e o preço podem ser teorias então que nós vamos colocar naquele item analisar o processo xyz a ferramenta de exibição z eu isso é o que vai naquele analisar depois em seguida a gente tem o finalidade que falei personalidade por exemplo né avaliar o impacto de técnicas x y z então quando a gente faz

quando a gente anota é o que a gente quer na finalidade nós estamos já desenhando uma parte de como que vai ser a nossa experiência depois né nossa experimentação eu vejo que cada item desses ele é o primeiro passo para a gente definir né o design seja o projeto da pesquisa em relação à aí eu foco que eu quero dar normalmente a gente está analisando para saber se uma técnica é melhor que outra técnica nessa um algoritmo que eu fiz ele é melhor que o outro algoritmo então aquele algoritmo é mais eficiente ele reconhece mais

vamos dizer que o algoritmo para reconhecer face né então eu quero saber se aquele algoritmo novo que eu tô propondo ele reconhece mais é precisamente as faces do que os anteriores existentes se ele faz isso com menos recursos computacionais então quando eu falo com relação à e qual o foco de qualidade eu quero saber o que é exatamente que eu quero comprar né pode ser o custo de processamento pode ser no caso por exemplo dado pessoal pesquisa na área engenheiro de software no nosso caso né eu tô com um método novo para saber se ele

é mais eficiente documento do anterior ele se envolvido né uma forma nova de estimar processos de chá produtos trabalho pode ser que eu tenho que esteja acompanhando isso e o que que eu vou analisar os finalizar precisão personalizar o custo para fazer isso e do ponto de vista de bom aqui eu tenho colocar quem é que está envolvido nessa isso basta desenvolvedora ótica do gerente do pesquisador né e não compensa o específico que eu tô fazendo contexto vai me dizer quem são os sujeitos ou esse ou seja quem são as pessoas envolvidas a objetos é

o que que tá sendo analisar sujeito pode ser que vai realizar esse experimento né a vou pegar um conjunto de estudante de graduação dentro de um laboratório fazendo um experimento para avaliar se o método que eu tô com propondo que começa do que existir já existe né melhor ou pior só para gente deixar é claro né não é nenhuma nenhuma uma pergunta de precisão né porque a gente define algum algum objeto de análise e uma forma de analisar a gente tem que ser uma precisão que que eu quero exatamente eu quero que ele seja mais

eficiente eu quero que ele seja mais eficaz eu quero que ele seja mais simples de usar né menos passos complexos eu quero tirar tendo o público-alvo é menos treinado por exemplo então essas são as questões que eu posso e me deparar não lembro da pesquisa então quando a gente estrutura nesse formatinho que me ensinaram a formatura já que ele não é do mestre nós vamos fazendo é um passo bastante importante para que as próximas etapas sejam facilitadas se eu explico sobre a minha pesquisa eu não consigo identificar esses elementos tá faltando alguma coisa eu ainda

não me aprofundei o suficiente né aqui tem um quadrinho gosto quadrinho do quase volume é que é um quadro de mostra um pouquinho né quais são os tipos de objeto finalidade foco perspectiva e contexto né então vocês podem ver que foi que a gente falou em objeto é aquilo que eu vou mensurar a finalidade para que que eu tô fazendo isso né sobre aspectos sobre qual o atributo olhando ea perspectiva de quem e em que contexto eu estou aqui tem um outro exemplo então analisar a técnica de leitura baseada em perspectiva em relação à técnica

de check list uma finalidade de avaliar em relação a efetividade eficiência do ponto de vista do pesquisador no contexto de estudante de mestrado e doutorado levando um documento de requisitos então qualquer pessoa bate o olho nessa declaração né nesse tempo vai saber que se trata então de uma análise da pessoa para fazer uma avaliação e quer saber se entre essas duas técnicas né fazer a leitura baseada em perspectiva usar um checklist de apoio qual das duas é mais efetiva ea mais eficiente né para a leitura de documentos de requisitos em busca de inspeção de erros

e documentos de requisitos clima realizar isso estudante de mestrado e doutorado que ficar claro né quais são o contexto da nossa pesquisa aqui a gente tem outro exemplo a gente vai usar esse artigo aqui é um artigo é que foi feito na universidade federal do amazonas é aqui em quando o senhor pesquisa foi a professora tá aí na ponte como ribeiro e aqui pra usar vários textinhos desse achou como um exemplo ilustrativo para que vocês possam e acompanhando né etapa que a gente tá mostrando então aqui a ideia é só para você ter ideia do

contexto era o contexto de análise de uma técnica de inspeção de usabilidade chamada web due foi criado por eles em relação uma técnica anterior que era wdp é um aqui o objetivo era esse a ser a questão né e como é que ficou definido o objetivo naquele formatinho que nós colocamos ali a analisar tonalizar o que a técnica né web design gabinete falou isso que aquela técnica que são propondo é como propósito de caracterizar né com relação ao que a sua viabilidade em termos de efetividade e eficiência é comparado uma técnica anterior da bp do

ponto de vista de quem de pesquisadores da engenharia de software no contexto de uma avaliação de usabilidade baseada no lugar né de um sistema web em relação aí a ao grupo né e de inspetores de usabilidade então o sujeito é o inspetor de usabilidade o objeto né são os carros que foram desenvolvidos a no sistema web até aqui pessoal alguma questão bom então temos uma afirmação aqui né a fase de definição escorpião um projeto pode ser retificada a qualquer momento durante a execução do experimento quem acha que essa afirmação é verdadeira levanta a mão quem

acha que essa afirmativa não é verdadeira fica como abaixar e quem concorda que essa frase é verdadeira quatro com quatro concordando tempo o que as pessoas concordo e aí eu não lembro do nosso grupo então são nove pessoas concordam com a frase né é na verdade a resposta é meu né pessoal é a fase definição que este calor escute aqui que eu escopo né de um projeto ela pode ser retificado enquanto eu estou fazendo escova quando eu tô fechando escopo depois que eu passo para as fases seguintes é muito complicado a gente retificar porque o

que eu começo a mexer em elementos do planejamento e provavelmente sejam mais tarde difícil da gente conseguir um ser tá digamos entre aspas né para nossa pesquisa então lembrando que a fase de coco gente é super importante a hora que a gente termina a gente igual será que desculpa bem islaine para o restante não é passar tag né meio online a partir daí tudo que a gente fizer vai ser baseado no que a gente planejou no escopo se a gente muda alguma coisa dos pouco já não é mais o mesmo experimento então a gente tem

que mudar toda a nossa definição de experimento se podemos estar em vale e nada nem começando começar do zero uma nova rodada para que a gente possa ter o que a gente precisa né se a gente tiver que voltar porque eu tô vale a pena o investimento ela faz desculpa planejamento em relação ao planejamento que a segunda etapa então que nós vamos ver né da experimentação ela envolve a gente assim como as demais é mesmo longe dos demais métodos de pesquisa que vocês vão ver aqui não na prevenção de inverno vocês vão ver que a

gente vai ter um conjunto de coisas que se repete eu desses um pouquinho diferente né então nós vamos ter seis sete etapas que selecionar o contexto como assim pode selecionar variado sujeito escolha o tipo de pesquisa design do experimento instrumental de fazer coração da validade ou tudo isso aqui a gente vai ver o que mais agora né objetivo do que eu chegar ao final da fase de planejamento o experimento esteja totalmente planejado os detalhes todos tenham sido feitos né consigo planejar águas tem sido discutidos em um sido é avaliados para que possa começar a execução

com a segurança de que os essa é a sendo planejado para reduzir o que é o resultado não seja para ter um resultado confiável é primeiros dias é muito comum que às vezes a gente tem janelas de oportunidade é essa janela de oportunidade elas aparecem dentro da pesquisa de vocês especialmente quem tá fazendo mestrado né aparece aquela janela de oportunidade que naquele semestre que roda disciplina xyz que o meu professor amigo vai me deixar rodar um experimento com os estudantes dele eu tenho que ficar com tudo pronto agora não né dia desde agosto porque já

deixa a gostei' começar a rodar é isso é o lado bom e o lado ruim da pesquisa né o lado bom é que bom que você tem onde mudar sua pesquisa excelente né o lado ruim é que nem sempre a gente tá preparado né no momento em que a oportunidade tá chegando né então cuidado a gente para não se apressar né por conta de um calendário de perder uma oportunidade não se apressar e não planejar direito experimento porque pode acontecer de você perder essa rodada completamente né pô a folha de pagament especialmente na escolher como

é que vai ser o design do experimento então objetivo do planejamento é esse que a gente faça a execução com segurança na medida do que do que é pesquisa né especialmente quem conduz pesquisas na área mais qualitativa e na área de engenharia de software na medida em que possa ter segurança completa se alguma coisa mas a ideia aqui a gente reduza o que é nesse objetivo de qualquer método de pesquisa que a gente utiliza então a primeira etapa nessa nessa nossa jornada de planejamento é definir precisamente as hipóteses nem o que que é uma hipótese

e pode ser básico né que vai servir para nós fazermos as nossas análises só tão isso posições que a gente faz no início né quando a gente começa a pensar o que que nós queremos testar rapidinho no chat aí o que é uma hipótese nula e uma hipótese alternativa alguém arrisca responder para nós aqui oi chatinha e aí eu vou ver se eu consigo abrir uma chatice aqui do ladinho da minha apresentação abrir aqui o lula é o pedro fez uma resposta de alta a tomada lula a pomada não dá choque alternativa da muito pouco

forte ele também legal mais alguém para falar sobre o que que vai acontecer no look e que ela possa alternativa aqui a gente tem bastante confusão em relação a isso é bem comum as pessoas trocaram os conceitos né então a hipótese nula é aquela hipótese é que a gente quer rejeitar né ou seja é aquela hipótese que afirma que não existe nenhuma pendência nenhum padrão nenhuma relação causa-efeito entre o que a gente está testando né então se eu quero fazer uma análise se um método de xyz eficiente algum texto a hipótese nome diz que o

método né não faz diferença quero comparar dois metros eu tenho que já existia vai copiar no meu temor é que era comparasse o meu é melhor que o outro vai continuar da zero disse que não existe diferença significativa estatisticamente significativa entre e práticas que eu tô testando então o que que eu quero dizer que ele pode ser no aquela hipótese que as coisas são como são e não há diferença entre elas se eu não consegui rejeitar pode ser nulo significa com a minha proposta não é melhor não existe né se eu tô aí para o

algoritmo novo que diz assim mais eficientes a logo logotipo de segurança que visa detectar mais inclusão mais rapidamente inclusão se eu tô fazendo alguma coisa que reconhece padrões o reconhece imagem e eu quero que a minha o meu método né que eu tô propondo que ela vai a ser mais eficiente ou menos eficiente isso aqui é o que eu preciso estruturar uma hipótese nula ou seja não há diferenças significativas entre os métodos existentes o meu e eu quero rejeitar esse pó em favor de uma hipótese alternativa que a minha hipótese hh11 né cada um aí

e representa de uma forma e suas hipóteses em favor das quais né aí pode se muda rejeitar então se eu falo né que o meu método que eu queria mais eficiente o que que eu tô testando no meu zíper é um comparativamente o método que existe mesmo contexto a mesma base o meu método detectou mais x por cento do que o outro método ele desempenhou né eu só gosto de ir à prova pelo for bom negócio muito desempenhou nela ou seja e rodou mais rápida na cpu ele conseguiu - recurso de rede então essa é

a minha essa é a minha a minha meu ponto de partida é o que que eu quero avaliar e o que que ontem eu vou chegar eu hipótese h0 e essa e pode ser aqui é que eu quero negar ok o que temos um erro naquele mesmo artigo o continuado já tava olhando ali né então aqui vejam que teve dois tipos de análise né teve uma análise uma hipótese h0 um né que seria que não existe diferença né em termos de efetividade no uso da técnica que estavam propondo a web due em relação à anterior

já wdp né e pode ser alternativa enteada a web doe é uma técnica que apresenta o diferença né relação ao indicador de efetividade quando comparada com a anterior duas coisas diferentes né uma era efetividade outra eficiência então quando estamos falando da efetividade né se ele conseguiu detectar mais problemas né de usabilidade do que o outro deficiências isso foi mais rápido se foi o menos recurso - cursos assim por diante então veja que aqui tem duas a 0 né duas alternativas citadas mas com vítimas fossem dois experimentos distintos mas pode ser feita no mesmo experimento analisando

dois atributos diferentes não há dois erros podem acontecer quando a gente faz é um experimento não o que pode acontecer pode ser o erro do tipo 1 que a gente chama né o tipo um significa que quando o teste essa chuva usando né para o meu experimento a ponta existe algum tipo de correlação entre as variáveis quando na realidade essa correlação não existe nela foi obtida por acaso e o erro do tipo 2 e quando o teste estatístico não apontou que existe algum tipo de informação algum tipo de relacionamento quando na realidade essa correlação existe

né que eu falso positivo é falso negativo são os tipos de erro né que a gente tem que se preocupar né fazer um bom planejamento para evitar e as variáveis a gente já comi variável variável variável andrea falar um pouquinho arranhavam lá no começo né vai dar o olho então as royale a gente são dois tipos na variável independente e àquela variável que ela pode ser controlada e modificada no experimento ea variável dependente que aquela que é afetada pela variável independente cuidado né quando a gente quer testar coisas demais e a gente os problemas né

de interferência de um assegurou àquela variável independente é por exemplo né tô testando as duas técnicas diferentes de inspeção para saber qual delas é a melhor eu vou passo é uma técnica funciona funciona o texto se ela detecta mais defeitos do que a outra né posso ter um algoritmo que eu vou rodar e quero que seja né mais eficiente no consumo de recursos onde mais rápido que o anterior ou que ele consiga detectar né mais mais assertivamente as imagens que ele processa então essa é a variável independente a variável dependente é que ela vai água

que você a citada né quanto tempo de execução é de cássia na descoberta dos erros enfim quando introduziu o método novo por exemplo tecidinho expressão que a gente comentou aí o que que é a variável independente esse método né bloqueamento do alma tudo bem estou comparando os dois que que é dependente eu tempo de execução quantidade de retina porque o recibo diante aí mas eu sempre trabalhando estamos com trabalho sempre com a variável dependente e independente oi o curso jeitos é são aqueles que vão executar o nosso experimento então isso é bem importante é uma

função que a gente normalmente têm né quando ocidente fala do experimento é como é que nós vamos selecionar os sujeitos de forma que a gente determine né sujeitos característicos e possam é ter uma um desempenho no meu no meu no meu experimento de modo a conseguir chegar na resultado que eu preciso especialmente olhando para o perfil né quando eu falo que eu vou numa mostra nem quero testar nos desenvolvedores júnior se o instalar uma técnica ao né de especificação para eles poderem fazer implementação vai ser mais eficiente do que eles por exemplo né não receberam

especificação nenhuma só receber uma instrução verbal vamos soltar que é isso que nós vamos analisar quando eu falo do sujeito a gente eu tô falando de quem são as pessoas que vão ser objeto de um pouco de tomar hoje e quem são aquelas pessoas que vão executar essa técnica pra gente saber se vai dar certo não vai ser bom se não é ser melhor você pior se eu tenho sujeitos que não são representativos da minha amostra da população não seja uma massa precisa tirar da minha população ou seja os meus resultados depois eles sejam validados

aí pela tem que conseguir pessoas o que lhe é característica desenvolvedores menos experientes quem desenvolvi estabelecer um planejamento o que é um desenvolvedor o que é pouco experiência se eu tenho uma linguagem específica o termo específico desenvolvimento se serve para qualquer tipo de desenvolvimento por eu tipo de área de negócio por exemplo se faz diferença ou não não comi o caracteriza esse sujeito eu tenho certeza que eu escolhi os jeitos e representam a minha população escolher a gente fala pode ser tanto especificamente como randomicamente né mas eu tenho que estabelecer com a característica que eu

preciso ter nem sempre a gente consegue o sujeito ideal é isso o experimento ele tem uma determinada amostra e amostra nem sempre aí não o que que é importante para para você que o pesquisador é sempre pela ausência parcial é toda vez que a gente não conseguiu a situação ideal isso pode não ser um problema um passando problema para você afirmar categoricamente alguma coisa no final mas ele não ele pode não ser um problema se você discutir claramente esse viés se você tentar eliminar em começar desse viés ao longo do experimento e aí negócio não

são problema então o mais importante é como pesquisador você tem a visão crítica o que você está planejando e na onde que você consegue alcançar que resultado com aquele conjunto de sujeitos você consegue alcançar é muito comum área de software na nossa área de computação experimentos que vão pessoas ou seja que vão testar métodos que vão pensar ferramentas que vão testar aumento de produtividade é custo e na inferior e desenvolvimento todas essas pessoas relacionadas a pessoas são experimentos que envolvem e eles são experimentos que são ele tem que tomar mais cuidado porque a gente é

difícil a gente isolar todas as variáveis do contexto eu sempre brinco que quando a gente fala com o desenvolvedor é tudo afeta a produtividade do desenvolvedor né você já acordou com o estômago afeta a produtividade se ele brigou com a namorada afeta a produtividade e por que que acontece isso acontece porque nossa jornada extremamente cognitiva ea gente não aperta parafuso a gente desenvolve né então a gente tem muitas coisas que podem ter filho então a gente tem que tomar cuidado quando a gente trabalha com sujeito que uma pessoa se os meus os meus sujeitos não

são pessoas que eu tô rodando algoritmos em cima de uma base pronta nem essa base é uma base fixa que eu uso nos vários algoritmos que eu tô trabalhando isso não é um problema tão grave porque eu consigo isolar melhor esses fatores e fica mais fácil acho que usou essas outras influências do que quando eu corri sujeitos humanos então aqui a gente sempre descreve né na nossa pesquisa claramente quem foi que foram sujeitos nesse caso do artigo nós estamos olhando aqui a roupa discutir o que é que sem querer passei amizade não sujeitos aqui eram

estudantes da ciência da computação na universidade federal do amazonas né ao todo este 18 estudantes de graduação e pós-graduação e aí tem detalhes ali para frente que fala sobre o perfil desses estudantes aí o que que o que que foi considerado né para considerar válido um sujeito ou não quando nós vamos fazer a definição do que a gente chama de design ou a gente vai definir quais são os procedimentos qual é o estilo de pesquisa que eu vou fazer tem três coisas que a gente precisa se preocupar a gente conversar um pouquinho quando eu quando

exemplo anterior e a randomização ou não ou a possibilidade do randomizados né a minha a minha mostra o bloqueamento no sítio desbloquear possíveis interferências e o balanceamento né vamos supor tô testando uma coisa eu tenho grupo aí o grupo b tem que tomar cuidado com a quantidade de pessoas envolvidas em tomar cuidado sim aquilo que eu tô fazendo experimento há uma diferença ser uma pessoa mais nova irmã mais velha se faz diferença ser uma pessoa mais ou menos experiência em tecnologia estamos falando ele desse exemplo que a gente tá falando do artigo né ele é

um exemplo de teste de usabilidade usabilidade é diferente para uma pessoa que tem a necessidades especiais né para utilizar uma interface que precisa de recursos na área de acessibilidade é diferente para uma pessoa mais jovem nasceu dentro da tecnologia diferente uma pessoa mais velha com menos tempo né envolvida com a technology então quando a gente fala em balanceamento é balancear os grupos de trabalho né que eu vou lá no meio experimento essa é uma questão importante também não e a gente tem vários tipos de design de pesquisa vamos explorar um deles aqui né um deles

um desses tipos de design de pesquisa e quando eu tenho um fator a ser analisado e tenho dois tratamentos a serem aplicados nessas né então é um tratamento por exemplo é comparar né geralmente o que que nós fazemos aí no a gente quer olhar para um tipo de método como é que eu vou testar em alguma alguma situação comparado com outro método que eu também o atestado eu muito comum que a comparação entre o que funciona que não funciona entre o metro que eu tô comprando a comenta que eu tô com raiva do b ela

seja feita pela média da variável dependente é um exemplo aqui que a gente poderia conciliar supondo que o fator que eu tô eu tô testando é um método de inspeção de código né eu tô testando lá passo método de inspecionar a código da forma xyz é melhor do que aquele outro que já existe né eu creio uma forma nova entendeu uma nova modalidade isso acontece muito né a gente adora na área de computação criar criar método oi e aí a gente vai ver se o nosso é melhor ou pior de um fator é o médico

não tratamento nem tão dois métodos diferentes de impressão de código que vão se comparar então quando eu tenho fator foi por um método que o tratamento os dois métodos diferentes sendo comparado que que avaliar sem dizer que a variável no nosso caso aqui é a quantidade de defeitos ecológico que eu consigo descobrir não quero saber o quão efetivo esse método quando eu ponho ele na prática né ele usando o método a assistir mais mais efetivo acha mais defeitos em córrego documento do né eu fiz imagina o que pode acontecer aqui né de viés nessa pesquisa

é no tratamento desse fator né com esses dois tratamentos e parece a variável dependente quê que vocês acham que pode influenciar essa minha pesquisa e que pode afetar o resultado o a credibilidade dos meus resultados no experimento e quem arrisca fala alguma coisa pode abrir o microfone ou pode então colocar aqui no chat zinho para gente sobre o site aqui o jean carlo colocou aqui out liars né e eu posso templars eu posso ter pessoas é muito boa sem inspecionar né que você tem que olhar né isso pode ser um problema que é o fator

humano né outra que sabe o quê que vocês acham mais que pode haver de viés nessa pesquisa o que pode acontecer mais ver essa pesquisa pequeno número de participantes sim o número muito reduzido de participantes pode ser um viés alguém colocou aqui o código que está sendo inspecionado sim que mais capacidade do inspetor então gente aqui tem uma questão bem importante né dia que todas essas são são características importantes mas a capacidade inspetor é uma questão é bem relevante neste caso né tem pessoas e tem realmente uma capacidade muito grande de bater o olho uma

coisa é só problema né não sou psicólogo ainda não sei explicar né o que que eu personalidade o que que é mas tem pessoas que rapidamente bate o olho eu acho acho um problema eu sempre brinco quem trabalha com avaliação né avaliação de empresa aqui não tá muito treinada para inspecionar a costa bate o olho já acho né mas o que acontece né gente é que a gente tem oi eu não vi acho que pode ser introduzido pelas diferenças de capacidade entre os vários entre as várias pessoas envolvidas né eu posso ter uma pessoa que

nunca fez inspeção nenhuma mas ela é uma pessoa sou super detalhista e ela bate o olhar já passou os problemas então vez o método não seja o causador das eficácia né mas sim a característica pessoal eu vejo que quando a gente faz no experimento e a gente quer fazer uma análise séria disso né é bem importante que a gente descreva essas possíveis questões e que a gente tem que eliminar né é a gente pode usar o teste né para ver se existe diferença na habilidade de fazer aquela atividade antes de fazer um experimento outra coisa

que a gente tem que tomar cuidado inclusive é a ordem que executa esse experimento lá isso é uma questão que a gente vai ver daqui a pouquinho então aqui eu lhe falo famoso viaja confirmação né delinear os resultados de acordo de que seja verdade os problemas é sério né cuidado com todas as pessoas que não tá comendo aí a gente falou muito aqui a respeito de questões que envolvem ser humano né que envolvem pessoas na pesquisa então quando a gente volta pessoas no outro ponto aqui que estiveram colocou mas vocês vão discutir durante essa semana

né área de computação ela nunca foi muito acostumada porque os nossos veículos de publicação não exigem né ah é colocar os nossos projetos no comitê de ética em pesquisa vem embora a gente às vezes envolve humanos né quando não tem experimentação que as pessoas executando tarefas todos os experimentos dessa natureza deveriam passar pelo comitê de ética das universidades de pesquisa e na nossa área acaba não sendo tão comum porque os veículos nos quais nós publicamos não exige que a gente tem o parecer do comitê de ética em pesquisa o cep né mas outras áreas elas

exigem que para você fazer a sua missão publicação de um artigo aconteça a passagem né pelo pelo comitê de ética em pesquisa e é mas você não mais imersos mas como é que a gente também isso mesmo pelas regras da pesquisa qualquer pesquisa envolvendo gente né ela tem que estar passando por exemplo o sorvete né você vê uma pesquisa de opinião deixa que eu não consegui identificar e rastrear a pessoa de jeito nenhum ok ela não precisa passar né mas se eu não falar consigo rastrear e voltar né ao indivíduo que respondeu sim tem que

passar quando eu faço estudo de caso né eu vou em organizações eu faço entrevistas eu faço conversas eu vou lá estudar um caso também é quando eu vou fazer uma pesquisa-ação também que envolve pessoas em volta shopping de criação de cocriação também precisa né quando eu faço observação etnográfica né vou observar o ambiente onde estão envolvendo as pessoas trabalhando ele envolve né eu conhecer como é que essas pessoas trabalham caracterizar o perfil dessas pessoas tudo isso envolve o comitê de ética em pesquisa zinho aberto aqui tô vendo onde eu tô falando experimentação também tá então

eu lembrei de pessoas curtindo viesse né mas além do viés não esqueça né essa parte do comitê de ética em pesquisa também vocês vão ter um módulo só sobre isso e não vai dar para trabalharem bem essa questão bom então é existe algumas formas eles tudo pra que experimento você comentou ali atrás natal som daquele da técnica de expressão então o mesmo sujeito ele pode realizar o experimento os dois tratamentos você ajudou esse método né ele inspeciona código com método inspeciona código começo dois a pergunta é a ordem que os procedimentos são realizados será que

foi esse o resultado então o que que nós precisamos garantir né e se a gente tem uma uma suspeita né de que realizados experimentos né na ordem a ou b faça a diferença aí é o primeiro aplique o método um depois eu fiquei com o método 2 eu mesmo eu mesmo a sheila como sujeito da pesquisa faça uma inspeção usando a minha do mundo depois faço outro especial usando o método dos comprimento e não mesmo código que seu corpo é diferente né mas se usar o método no primeiro e no segundo pode ser que tem

uma ordem que me leve a desenvolver um tipo de raciocínio que é diferente deus ao método dois primeiros do método no primeiro caso a metade os meus sujeitos passa na ordem a depois b e a outra metade faça na hora e meia depois lá e como que eu vou saber se isso deu certo o diferença estatística entre eles tem que ter um resultado positivo tomar né e fez o antes do b e a turma b fez o bem se doar tem que ser estrategicamente então isso é uma coisa que está planejando experimento aqui a gente

trouxe algumas reflexões né para vocês mas tem muito mais do que isso né mas é só para vocês pensarem como conduzir um experimento as histórias uma coisa muito simples né mas ela requer um cuidado metodológico bastante grande para que a gente tenha confiança que o resultado houve realmente um resultado significativo de pesquisa né e que a gente eliminou na medida do possível tudo viesse que poderia essa introduzido naquele naquele nariz né naquele daquele tratamento para o dando ali em algum projeto de pesquisa né diferente o jeito também podem realizar o experimento com um dos tratamentos

a gente posta e por fazer um grupo fazendo o método a e um grupo fazendo o método b qual é a questão importante aqui e a gente tem que tentar randomizar esses grupos de modo que né eu também não tenho abs né ou seja tem que ter confiança de que o perfil envolvido no ar é muito similar ao perfil envolvido no b ou então existe um viés também né as pessoas já estão acostumadas a usar o método a já existe né e eu tô trazendo meu método novo para testar né então eu tenho que ter

confiança de que a experiência das pessoas envolvidas usando o método que já existe ela tem que ser similar né vamos supor que eu vou vou deixar um novo método para estimar a complexidade do projeto do sol nem as pessoas tão acostumada a usar pontos de função oi e aí eu vou fazer uma estimativa usando pontos de função comparativo com estimativo usando esse método novo que eu queria uma cor garantir que não tem viés primeiro de tudo é eu tenho que saber se as pessoas que usam pontos de função tem a mesma experiência nem mesmo tempo

de experiência no mesmo tipo de sorte mesmo tipo de projeto onde se for diferente não é da diferença também na minha alimentação né eu achei que tomar cuidado quando a gente faz essa seleção dos sujeitos por isso que eu te falo como importante né o planejamento de um experimento quanta coisa né que mesmo a gente fazendo todo esforço pode dar errado porque tem vício do início né já de concepção ela ainda eu abro passando a sair de garantir né não recebi essa o ronaldinho não foi alguém falou oi oi olá eu sou a gente alguma

pergunta pessoal a interferência de áudio né então continuando né gente tem que garantir se balanceamento um exemplo aqui né que a gente tem um artigo que a gente tava analisando ali então de forma a reduzir o viés né de inspetores mais experientes usando o método do outro nós distribuímos os sujeitos em duas dois times de forma equilibrada a então aqui dá uma preocupação o padre se ativo né relações e balanceamento eu junto no nosso tempo aqui de uma hora né passar um pouquinho que os brotinhos então definição do design a gente vai ter os espelho

o a definição do experimento em relação aos procedimentos aqui tem um outro exemplo né é dentro do mesmo artigo então todos os sujeitos da pesquisa né o pessoal que executou com aquele experimento tiveram aulas de usabilidade paraná paraná né não quê que nós temos aqui jesus descrevendo todo cuidado que foi tomado pelos pesquisadores nesse caso aqui ó é uma pergunta que é bem rápida levantem a mão se concordarem com a afirmativa a seguir é quase nula a zero é que queremos rejeitar em favor das mais idosas fazendo contramão quem concorda em 455 levantar a mão

6 7 8 e vai ser um concordância transpor 152 participantes na sala no momento 15 levantaram a mão 10 por 118 aumentando e o batismo que desistiu aqui ele vai pegar sou eu e tem uns respondendo na chefe aqui tenho que diz que não necessariamente em é legal pessoal então essa afirmativa aqui é uma afirmativa verdadeira a hipótese nula e pode que nós queremos de ajeitar em favor das mais pobres que são chamadas de hipóteses alternativas ok é uma coisa gostando não tem muito que comentar né a não ser que a gente tem que ter

todo o cuidado né necessário para seguir o planejamento né e a gente tem que tomar cuidado quando a gente tiver um envolvimento de sujeitos que são pessoas né não é uma pesquisa tecnológico vai ser com pessoas que as pessoas estejam é claramente identificadas que o seu perfil esteja claramente identificado elas participam de livre espontânea vontade de forma ética né explicando todos os procedimentos metodológicos que ela tem que seguir e tendo claro né que ela tem disposição para fazer aquela atividade né evitando aí o mal-entendido a falta de interesse né quando o nosso experimento ele é

muito alongado nas vezes a gente tem uma lista muito grande tarefas para pessoa precisa ser compadre pode acontecer as pessoas abandonarem no meio do caminho ou chegar na final elas responderem mesmo qualquer jeito né então cuidado com isso também o mesmo efeito que tem no surveys né você começa o sangue você começa a vou fazer isso aqui para ajudar o colega e daqui a pouco você tá na pergunta 70 e não acabou ainda o serviço né então cuidado né que pode ser que no final as pessoas senhora né tendência a a se distanciar um pouquinho

da pesquisa e fazer o menos cuidado né com meus carinho aí o experimento ou você vem mesmo né então quando a gente fala aqui de público-alvo não esqueçam de se os cuidados né a coleta tem que ser realizada né de maneira que não tenha nenhum efeito né em cima do processo para se executar as vezes a gente pode instrumentar né a nossa a nossa o nosso artefatos para coletar medições automáticas sem que eu tenho que interferir né no processo ou fazer perguntas para as pessoas então é isso que a gente tá colocando aqui né aqui

tem um exemplo né também gente como que foi tratado ali não um ótimo né então fala um pouquinho a cada sujeito eu tenho três dias para completar inspeção preparar um relatório de defeitos e assim por diante então aqui tá o detalhamento cuidado né uma com essa pode ser pesquisa aqui também tem uma continuidade raça o planejamento para todas as inspeções as áreas de expressão foram entregues no tempo esperado né em um deles deve o descartável e assim por diante então eles vão explicando os procedimentos de pesquisa aqui é bem importante e aí chegou missionários dos

resultados é o nosso objetivo na análise dos resultados é que a gente consiga né pegar na nossa definição inicial lá naquelas de rejeitar a hipótese nula pode ser que nosso experimento não rejeitem pode ser humano é o resultado não foi esperar criança por exemplo mento novo inspeção ele não é mais eficiente que o anterior né que pena não deu certo é o resultado né de pesquisa é não por isso em vários é simplesmente não é o melhor então é bem importante a gente eliminar os dados né que estão fora decepção fiz autorais né a teve

todo mundo fez em média a inspeção em 15 minutos e um cara fez lá em três minutos ou uma pessoa fez em três minutos e não achou nenhum defeito perguntei mesmo tempo todos os defeitos ao clareador onde são eliminadas e outra que são bem importante né que é escolher o teste estatístico adequado vamos para isso é bem importante que a gente que às vezes não domina toda a técnica estatística procure ajuda dos colegas que conhecem mais que a gente na estatística ou procura quer saber qual melhor o experimento que a gente tá fazendo ninguém obrigado

aí a conhecer para o centro teste saber para usar a gente sabe aonde buscar pra usar o teste correto de acordo com a nossa mostra de acordo com o que eu tô eu tô específica que eu tô experimentando né explicar os resultados sempre considerando aspectos de validade jogar dá uma olhadinha ali no próximo slide realizar análise né de custo-benefício do projeto interpretar os resultados negativos né ou seja eu analisar interpretar e demonstrar a gente sempre fala que o mais importante é de uma pesquisa não tem para simone e a gente ser bastante humilde né colocar

e soltar os bons resultados e mostrar as limitações também ser ea maturidade do pesquisador vale para vocês todos né estudante de mestrado ou doutorado não tem problema em dizer na minha pesquisa que alimentação abc né isso é a maturidade olhar para pesquisa e agora nós vamos esses cuidados aqui eu consegui eliminar esse viés aqui mas esse aqui não foi possível eliminar completamente isso é bem o a e os vai analisar pesquisa sobre alguns aspectos primeiro a validade interna né então a validade interna é análise de fato né se o tratamento que a gente fez ele

causa o resultado que a gente tá demonstrando uma que não tem um exemplo zinho também daquele daquele aquele nosso artigo que nós vamos acompanhando aqui né então ele mostre né neste estudo consideramos quatro ameaças importantes né efeitos do treinamento de treinaram as pessoas né em usabilidade e pessoas né eu conhecimento das pessoas em usabilidade a classificação da expertise de cada pessoa e a mensuração aqui você né é outra questão a validade externa né ou seja eu vou olhar para resultados similares que já existem fazer comparações né então aqui veja aqui o que a pessoa colocou

aqui com uma pilha de chuvas nos acompanhando aí né quatro questões importantes da validade externa é os estudantes né provavelmente não tem noção não são bom representante o inspetor de profissionais então pessoas que são profissionais e usabilidade e nos empenho diferenciado que estudantes fazendo uma inspeção de usabilidade ambiente acadêmico que são diferentes né no dia a dia de expertise e experiência de indústria enfim não é rico o sistema que eles usaram lá né que website yz pode não ser um representativo e ao né de todas as web applications eles acho que eles aqui em cima

né é um representante mas não é toda a quantidade de gama né de variedades de usabilidade que você pode ter e a gente alguma questão ainda da técnica anterior que eu dava nem então veja que é importante a gente analisar esses fatores e a gente fazer a pra gente poder chegar no momento né de analisar se é válido nossa conclusão e outra né qual é a capacidade que têm de ser generalizada para outros contextos que é uma questão bem importante também né muitas vezes a gente não consegue generalizar porque a gente escolheu mal né o

design do experimento de jantar fazendo as pessoas que nós escolhemos o as técnicas que a gente colocou para validar metrô para comparar então é bem importante a gente saber qual é a capacidade de generalizável a técnica se aplica vick para esse tipo de código para esse tipo de em contexto né pra esse tipo de ambiente com pessoas mais experiência e assim por diante e por último né a validade do construto né que diz respeito então relacionamento da teoria observação aqueles colocam é um pouquinho aqui que foi feita né é um critério utilizado para medir a

viabilidade paraná e deixam claro que o que foi feito que não foi feita né a gente tá andando um pouquinho mais rápido agora né mas aqui no finalzinho já e por fim a apresentação empacotamento e é o que a gente faz né corrente terra pesquisa e a possibilidade que o experimento deve ter da gente replicar então se eu pegasse a mesma o mesmo contexto desse exemplo que a gente utilizou aqui né desse desse artigo de usabilidade se eu pegasse o mesmo contexto e técnicas que foram avaliados selecionar se pessoas com experiência similar ao que tinha

naquela mostra e eu fosse fazer isso né no meu laboratório andré eu vamos fazer uma experiência para replicar o que foi feito lá nós deveríamos obter um padrão similar nessa gente seguir as orientações mas para a gente fazer o experimento ser o mais parecido possível eu tenho que ter empacotado direitinho os meus dados e todas essas minhas informações para que alguém possa pegar esses dados em algum momento fazer a replicação é bem diferente assim puxa de uma base né de dados públicas acontece muito mihas processamento de imagens é que as pensamento vale a e mais

o pública que da sua perna eu já pode utilizar gostar muito comum na massagem computação pesquisar em cima do mit né então eu pego o meu guide projetos abertos o esforço e faço n né esse nossos lá simulações pedido da técnica contribuição do desenvolvedor e assim por diante né então quando a gente tem as condições similares os resultados tem que ser parecidos mas pelo que isso é o final da minha pesquisa eu tenho imputado nos dados para clara ou seja especifiquei todo o procedimento as condições compõe assim por diante isso é um pré-requisito para gente

conseguir fazer pesquisa de qualidade e o experimento tem que estar organizado dessa forma né para que a gente possa fazer essa essa reprodução e se houver base de dados ajuda igual muito cuidado hoje né com ele de bebê se a gente pode ou não disponibilizados né é dados que caracterizem um sujeito especificamente a gente tem que ter autorização para isso né inclusive por onde vai transitar vai estar armazenado e assim por diante para quê que vai ser utilizado então cuidado né sabe né e é bom é forração a forma de apresentação não tem um padrão

né a gente pode utilizar ferramentas de apoio para nos ajudar e o objetivo né que a gente ele cresça e nas pesquisas experimentais ganhem confiança né nos métodos e técnicas que a gente cria por avaliá-los de uma forma realmente fica né e uma forma realmente cuidadosa e respeitosa né os dados comunidade científica é uma também volto agora né infelizmente rápida de poder me informe descobertas científicas o pseudocientíficos assim por diante a gente a natália tem vários fatores que podem causar viés mais ainda né do que os que estão envolvidos na medicina na bioquímica do centro

para nós é bem importante que a gente passa esse planejamento com bastante cuidado porque a gente tem há pesquisas confiáveis de qualidade né um viés reduzir a gente passamos pelas cinco fases da pesquisa um pouco rapidamente né jogar um pouquinho mais de tempo aí no planejamento aqui em caixa que eu mais importante aí para a gente ir com você oi e a gente fica aberto aí para as perguntas e para as dúvidas dos colegas e nos quedamos assistindo a intenção referências aqui o final nem tem nossos contatos professora andreia malucelli eu não trabalhamos a inapto

e fazemos pesquisa no grupo de pesquisa engenharia de software a key andré estrela muito obrigado é tem uma pergunta no youtube e tem algumas perguntas aqui no chat eu vou tentar sintetizar então a primeira do roberto que diz assim mas você é lixeira se for obrigado pela apresentação e uma dúvida comum dos alunos é a diferença entre pergunta de pesquisa e isso hipótese de pesquisa se vocês podem comentar um pouquinho dessa diferenciação para ele se eu posso assumir que é roberto é isso aí eu acho que tem várias confusões né eu acho que eu não

começa confundindo que é um problema de pesquisa né para conversar né o que que é um problema que vale a pena investigar e a gente sempre brinca com os nossos alunos que a fase mais difícil mesmo né é um busca de um problema é em diante o acusado né então começa a diferença entre opção problemas de pesquisa não problemas de pesquisa alguma coisa que não tem solução não tem solução satisfatória né e a partir daí a gente começa a se questionar né puxa dado o que né vamos vamos voltar lá dentro da técnica de extensão

né nada que ia só técnica gente estão são muito poderosas armas tão difícil dizer ah não tem nenhuma que diga assim puxa só que eficiente a pouco né e acha bastante defeito então será que se eu fizesse essa abordagem tive que fazer seria uma coisa interessante será que daria certo né a minha pesquisa a minha questão de pesquisa pode ser né existe alguma forma a gente fazer mais eficiente do que de hoje né só que aqui se a gente for por esse caminho aqui né olhando para essa nova técnica de inspecionar aqui seria bom e

aí eu vou mostrar porque essa técnica né vou procurar o artefato eu vou procurar aquilo que eu quero experimentar olha tem uma ideia que tudo certo e vou fazer lá no meu processo minha técnica minha ferramenta o importa que seja a partir daí eu preciso saber se isso funciona com sono então quê que eu funciona não funciona é eu montar o experimento e daí eu e montar a minha a minha a minha hipótese né de que a minha técnica que eu estou propondo ela traz resultados mais eficientes para aquele ambiente ou não né então é

bem importante a pensar que a gente tem que primeiro identificar aonde é que tá oportunidade qual é o problema eu não queria uma nova técnica que me deu vontade hoje à tarde fazer uma técnica nova inscrição né eu crio porque eu estou angustiado eu tô inconformado que a técnica essa quase não somou ela não tem produzido bons resultados então o que a gente tem como tem pesquisa essa inquietação olha tem vários algoritmos lá que faz o reconhecimento facial mas puxa quando eu olho pro meu celular demora lá dois segundos para reconhecer não dá para fazer

mais rápido isso não só essas inquietações que levam a gente app né o problema de pesquisa né olha existem várias mas elas não são tão boas a não ser desfeito era alguma coisa melhor e a partir daí vem as perguntas de pesquisa né é capaz será que se usar uma coisa vai dar certo será que podemos tentar uma outra alternativo e aí vamos parar desenvolvimento desses artefatos em pelotas e fato bem outro né código processo que for pelo sudeste e o teste experimentação é isso obrigado tem outras aqui tá eu vou tentar o nilson e

o alessandro fizeram perguntas meio que eu vou juntar então único coloca no desenvolvimento do algoritmo a plataforma de raptor pode ser considerado um sujeito já que eu tenho a variação o alessandro fala tá mas nesse caso não é melhor então olhar a complexidade computacional depende o que você tá na exame sempre lembre o seguinte gente né se o foco é analisar para a crítica dos algoritmos né o seu goritmo é bom ou é ruim se ele é melhor que o ai que bené tinha uai eu tô fazendo um beijo que é melhor agora porque ele

vai ser mais eficiente muito cuidado e como que você estrutura o experimento né em termos de tipo de rasga em termos de carga da máquina no momento do experimento o cuidado né com rotinas que rodam né em background que podem entrar né num determinado momento no background outro momento não cuidado com sistema de medição esse algoritmo né então quando a gente fala de vier gente tenham sempre a cabeça muito aberta para você retirar todo o viés né possível para sua a sua pesquisa então quando a gente fala de pesquisa com humanos parece que vem mais

rapidamente a mente né nossa jogar ter uma experiência que o outro faz diferença mas fui nada aqui no processamento de algoritmos tem outras coisas que fazem bastante diferença né acesso a recursos da máquina enfim e tenha muito claro foi a variável que você quer comprar né e essa variável ela tem que ser o máximo possível isolada das demais se não você não está comparando a mesma coisa para comer uma laranja não então uniforme harley cuidado né torrado assim lá o que tá rodando em baixo assim lá no sistema operacional rotinas eu não eu estou aqui

uma continuar alisadora que eu nem sabia que tava escutando na minha máquina daqui a pouco você vê lá que tem uma um viés que entrou que você nem tinha percebido às vezes é fácil de cuidar de novo né você começa com outra vez e executa de novo e às vezes não né vezes quando dias mais disse para você saber então muito cuidado com isso né se a máquina é multi processador ou não para sair de errado a resposta aqui a equivalentes né mas os pés eu isso mesmo e assim só o complemento rapidinho é que

às vezes a complexidade computacional como alessandro falou é suficiente mas às vezes a gente tá realmente fazendo comparação e não tem essa medida não é o foco da pesquisa aí entra tudo isso que você falou da parte de cuidar né dos cuidados do experimento de raiva né aí o heitor foca e para falar um pouquinho da quantidade mínima de sujeitos na pesquisa e a necessidade e da importância de fazer um experimento piloto e aí como tem mais uma pergunta que eu vou juntar aqui que é da leila se é ético ofereceu um brinde para quem

vai responder para incentivar as pessoas a participar então fica meio essas três aí vem o piloto número de jeitos e essa questão da do incentivo essa daí acho que é muito engraçado né porque a gente ficou da aula de metodologia científica né daí eu preciso estar junto assim a gente sempre trabalha junto hoje a gente até não interferir muito uma na outra né nas apresentações mas a gente sempre dá aula em duas desde brinca aqui no nosso grupo de pesquisa pede um dia dois né e ver gente sempre interferem uma fala da outro e a

gente trabalha muito com a ética em pesquisa e fala muito já na primeira aula e eu acho que ele deixou aluno tão traumatizado aqui ele tudo que ele vai fazer perguntas 50 vez e tem algum problema ético né beijo a gente a gente tem uma questão bem delicada ou no incentivo à pesquisa né as vezes a gente tem por exemplo servem não seria uma coisa muito difícil de responder né as pessoas não gosta de conhecer e participar do experimento é um pouco pior porque logo experimento durou cinco minutos não sei que não consigo cara responde

cinco minutos experimento o cara tem que ir no lugar para fazer experimento ainda né então quando a gente fala de pesquisa por exemplo uma das coisas que eu tenho visto que eu achei bem legal é quando você coloca uma pesquisa lá e o incentivo não é diretamente para pessoa é uma coisa bem bacana vamos doar um real né por uma instituição de caridade a cada né para cada pessoa que responder a pesquisa isso é uma costume recentemente achei bem bacana no server que eu respondi e agora já tá colocando os ele também hora que a

gente tá pensando em fazer a mesma coisa né então eu acho que essa incentivos que não são benefício direto para pessoa né mas é um benefício o que é uma coisa bacana né é eu sei é bem reticente em a gente tem benefícios individuais sabe eu acho que são é bem questionáveis então eu acho que a gente tem um cuidado com esses benefícios de troca para lá e para cá outra pergunta que eu voltar um pouquinho aqui era piloto né mesmo é para qualquer método de pesquisa e vocês vão acordar de conversar com vários professores

né a gente tem que sempre que possível gastar um tempinho copiloto né piloto para sempre questionário fundamental né não tem como você sair com um sorvetinho piloto o piloto ele nos mostra erros mesmo que tenha nas perguntas ela teve português ele descrita o piloto nos mostra erro do encadeamento de perguntas extra põe isso para qualquer outro mesmo eu vou fazer um estudo de casa pequenas empresas tô conversando com as pessoas tô coletando nado daqui a pouco eu descubro que a minha primeira coleta foi muito difícil prestar atenção no cara fazendo grau e eu tenho que

mudar meu neto na próxima vez eu tenho que ir levar alguém comigo alguém a moto eu vou só gravo então tudo isso a gente ajuda no piloto nem o experimento a mesma coisa posso tentar fazer um experimento piloto né converso com pessoas que podem executar cuidado né que o piloto ele tem que ser muito similar né o público-alvo da pesquisa final porque se não tem outro negócio personalidade né tudo o que o outro é só para ver se algum de sair tudo funcionar aqui quero ver se vai dar tudo certo tá eu pego lá cinco

seis pessoas faça um teste zinho ok aí funcionou tudo ou não eu quero fazer um piloto que república realmente a minha mostra né e as pessoas sujeito então sim acho que tem que ser piloto porque tem muita coisa que ficou descobrindo que não vai dar certo e que a gente pode ajustar para fazer no no final vale para todas as pesquisas empíricas qual que é a mais difícil de fazer piloto a pesquisar são né pela natureza da pesquisa eu pesquiso ação ela aquela pesquisa que envolve nossa pegou eu sou dando spoiler né umas outro mas

a pesquisa também envolve a empresa ela envolveu contexto envolve as pessoas que estão estão participando do contexto do problema junto pesquisador que está buscando a solução então essa é mais difícil fazer um piloto né porque ela acontece nação é uma pesquisa em ação as demais métodos empíricos que a gente comentou aqui todos deveriam ser pelo face ah tá e aí quanto ela está o número de pessoas mínima para para mostra a gente essa pergunta complexa né não tem menos gente é difícil isso porque vai depender do problema do contexto né a josi puxa uma cê

só avaliou com 5 né é a mesma coisa que colocar mostra para todo mundo tá para o serviço de casa para experimentar se fosse nossa o cara foi fazer isso de casa eu só com três empresas mas só vivendo nas três empresas super significativas aquele setor a tô pesquisando startup seu peguei as três etapas mega blaster unicórnio que era essa que o que precisava eu não teria pegar desta vez não só tem são super significativas né embora a gente não parte de amostra significativa estudo de caso mas elas são representativas do meu problema experimento a

mesma coisa né será que eu preciso eu sei que existe um milhão de desenvolvedores e quanto que está para saber se os outros vai dar a mesma coisa é bem complexo isso porque é difícil a gente saber o número da nossa mas é um certeza a gente cuidado que está com duas três pessoas em geral não vai esquecer ah tá é tem três perguntas e agora é o encerro tá com o marcelo vai ser a última a tem uma aquele que o nilson pergunta não seria interessante buscar de todas as formas entre aspas honestas provar

a hipótese nula se minimizaria o viés de confirmação [Música] eu não entendi o que que ele quer vender teu conselho pois é porque exatamente eu também fiquei na dúvida aqui mas resolvi para mim é isso você tem as alternativas para provar né então esse para é a janine colocou que a dissertação dela tá trabalhando com a proposta de modelo para a transformação do seu spublicos digitais e trabalha com i hc com design centrado no usuário com algumas fases do design fim e nessas fases de empate vai ter abordagem do design no gráfico prototipação e teste

com solário risco passar pelo comitê de ética mesmo não permitindo identificar os usuários é sim e aí i i a última é pode você poderia explicar o que é grupo de controle no experimento e aí você é uma armadura pessoal tem normalmente né aquele grupo que eu conheço e controle e ele serve como um controle para aquilo que eu vou fazer né o que que acontece muita gente quando a gente começa a planejar um experimento a gente tem que ter alguém que executa é alguém que não executa é alguém que executa do jeito alguém fazer

do jeito b mas depende muito do que você tá fazendo o design do experimento veja que a gente fala um pouquinho ali sobre aquele tipo um né eu tenho vou olhar para os dois lados aqui que talvez fique mais fácil para mostrar para ela aqui para ela para ele eu vou compartilhar de novo aqui ó e eu disse compartilhei só sobrou algum para te amo muito e aí oi gente sim o que é que nós temos que garantir gente ver como é que nós vamos garantir o que a gente tá é a tando dentro do

nosso experimento então aqui um dos tipos mas vocês podem ter acesso quem quiser detalhes de acesso também os tipos vários experimentos eu recomendo o livro do do com as vou instalar para referência ele experimentation sofre vinil que não vale só preencher e solta ele vai experimento né mas o que que nós temos ali nós temos um tratamento que comparado com outro né geralmente a gente acompanhando o que um jeito de fazer uma coisa com o outro jeito de fazer a mesma coisa o quê que eu tenho que tomar cuidado esse eu tô separando em duas

dois dois grupos distintos se eu tô separando as pessoas por experiências eu tô separando por aparelho que eu comentei que vocês não é um antes do dois ou dois antes do um então se conforme o estrutura os meus grupos eu tenho um resultado se pode ou não está em viajar então cuidado quando você vai fazer a sessão no coração para que você tem exatamente é a mesma capacidade de análise que você vai ter transformando né é aquilo que eu comentei assim é todo mundo faz primeiro a depois o dia todo mundo faz o bem primeiro

ar fosse um grupo só faz um a um grupo ou só faz o bebê então quando nós falamos em grupo de pão duro a gente se faz o quê que a preocupação gente sempre a vida toda quando a gente fizer experimento o que é um dos métodos que são os considerado simples é que eu tenha confiança e que eu fiz em viés esse é o grande o grande é o grande mote da nossa pesquisa e esse aqui é o exemplo maior que já tem aqui né e se pode considerar que a maior parte dos nossos

experimentos vão ser dessa desse tipo aqui que nós temos aqui é um tipo eu peço o o arco e peço o clube o quê que pode acontecer eu posso atestar com uma pessoas totalmente inexperientes ou com pessoas experientes o pessoas usando um metro o tradicional e o método que eu estou propondo tem um quando eu vou planejar o mais importante eu saber qual é o resultado que eu posso ver planejando de maneira missão de maneira separar isso que eu mais importante para a gente tratar o viés a pesquisa especialmente essa né que ela peça usando

pessoas então sempre muito cuidado quando eu peço usando pessoa e oque é o nilson só explicou que a gente não tinha entendido disse que não precisa responder só explicando se você não conseguir provar a hipótese nula de jeito nenhum então certamente ela é uma hipótese alternativa por construção assim se conseguir minimiza o viés de confirmação porque a confirmação passa a ser um efeito colateral e se você busca resultado anula pode ficar apressado ele colocou ali no chat não sei se você não precisa ele vai ficar não entendi ele não ele não quer não quer mudar

eu posso não entendi veja gente a hipótese nula nossa ela sempre é uma hipótese que a situação como está não pode mudar seu conceito de posse no o quê resposta alternativa não tem como mudar sim é apresentando essa forma alternativa de realizar é o que eu tô realizando mas entendi nisso agora edificação eu já disse que ia não tem e o que ela fosse o contrário né aham bom eu acho que que é isso né sheila andreia muito obrigado a gente agradece muito em nome de organização e de todos os participantes onlines que verão esse

material depois que gravei muito obrigado aí pela disponibilidade de vocês não aceite pronto do nosso convite e aí então com isso a gente serra obrigado andreia você quer falar alguma coisa ela agradecer a sheila já fez todo tô igual a última pessoa que fala na banca parcelas a responder agradecer achei sensacional a ideia de vocês cento e poucas pessoas aí participando e aprendendo assim conjuntamente a pandemia tem dessas coisas boas né nos aproximar dos colegas que a gente tanto gosta e admira e a oportunidade de poder dividir um pouco com quem está aprendendo ou tentando

aí aperfeiçoar os conhecimentos então parabéns pela organização pela ideia acontecer sempre conosco um prazer estar aqui com vocês e um beijo para vocês muito obrigado meninas obesity beijo e continuamos hoje à tarde ainda tem tutorial né e à noite um painel e amanhã a gente continua com a escola confirma programação e divulguem youtube e material vai ficar todo disponível que a gente quer que realmente eu sou se apropriem disso né e chega na pós graduação já com umas ideia né da pesquisa científica é isso a gente acredita que vai impulsionar qualidade dos trabalhos vai acelerar

essa apropriação dos alunos dentro dos próprios grupos de pesquisa e dos ppgs onde eles estão então é isso encerramos viterbo um grande abraço a todos e até