TUDO sobre Evidências de Validade e Fidedignidade de Instrumentos Psicológicos

Olá pessoal tudo bem Bruno Damázio da psicometria online aqui no vídeo de hoje a gente vai falar sobre evidências de validade de instrumentos psicológicos então se você tá trabalhando com construção adaptação e validação de instrumentos ou simplesmente você precisa entender essas evidências de validade você quer entender como é que a gente mostra por A mais B que o instrumento que a gente tá utilizando nas nossas pesquisas realmente funciona esse vídeo é para você então vamos que vamos depois da vinheta [Música] Então vamos lá pessoal por que evidências de validade é algo tão importante nas nossas

pesquisas com seres humanos Eu costumo dizer que não existe pesquisa boa com instrumentos ruins Então os instrumentos que a gente utiliza nas nossas pesquisas são um proxy ou seja uma aproximação da realidade que a gente tá querendo trabalhar se você tá por exemplo trabalhando com depressão com ansiedade com motivação com liderança com sei lá qualquer coisa e você tá utilizando instrumentos de pesquisa para mensurar essa qualquer coisa você precisa ter garantia que seu instrumento ele é bom ele é válido ele é confiável porque se ele não for toda e qualquer inferência que você tá fazendo

na sua pesquisa tá equivocada então a gente só pode ter mínimas garantias de que aqueles resultados que a gente tá ali obtendo discutindo problematizando eles são confiáveis se o nosso instrumento ele tiver evidências de validade existe um corpo consagrado na literatura né algumas estruturas já bem organizadas que vai nos mostrar como é que a gente avalia E operacionaliza essas evidências de validade esse vídeo aqui pessoal ele é baseado na estrutura desses standards que é esse livro que você tá vendo standards for educational and psychological testing esse livro ele foi proposto há muitos anos atrás há

mais de 60 anos e ele vem evoluindo desde então e ele foi proposto pela American educational research Association a era American psychological Association apa e o National cons on measurement in education Então são duas associações de educação e uma associação de Psicologia todas as três associações Americanas e esse livro aqui os standards eles são Provavelmente o maior livro né assim o livro mais consagrado na literatura sobre validade de instrumentos Então esse livro é gratuito inclusive se você quiser baixar basta digitar o título dele colocar ali o título e PDF que você vai chegar no site

aqui das entidades para baixar gratuitamente é óbvio existem outras estruturas também que são muito renomadas como por exemplo a estrutura do cosm que é uma outra referência extremamente aceita na literatura que é similar à estrutura proposta pelos standards né então se você conhece a estrutura do cosm você A partir dessa aula você vai conseguir identificar ali também tem pequenas mudanças de nomenclatura Mas você vai conseguir entender também toda a proposta do cosm tá uma outra referência turma que eu queria já indicar aqui para vocês é o meu livro manual de desenvolvimento de instrumentos psicológicos é

um livro onde a gente apresenta toda a parte teórica e toda a parte empírica né como é que você realiza as análises específicas para demonstrar essas evidências de validade um material em português aí que vai ajudar muito você a se desenvolver beleza bem Então vamos lá vamos agora entender essa estrutura de validade pela proposta dos standards a primeira coisa que a gente precisa entender é a definição de validade Então existe uma definição na literatura que é muito clara muito simples de entender e eu vou começar por ela que diz o seguinte a validade do teste

avalia se o teste mé que ele se propõe a medir Olha só como é objetiva fácil Clara então basicamente se você tá trabalhando com o instrumento de depressão você precisa testar que de fato Esse instrumento ele mede depressão simples assim agora veja que embora isso pareça Óbvio quando a gente fala de fenômenos psicológicos as coisas não são tão simples assim por quê Porque muitas vezes a gente tem fenômenos psicológicos que eles são muito parecidos entre si e também muito relacionados entre si de modo que essa separação ela não é muito fácil vou dar um exemplo

aqui na temática que eu trabalho né que eu pesquisa a temática teórica é sentido de vida realização existencial e as primeiras escalas de sentido de vida e realização existencial elas não mensurava sentido de vida elas mensuravel depressão felicidade Então veja que embora sentido de vida seja muito relacionado com depressão e com felicidade são construtos psicológicos diferentes então você não pode dentro da sua escala medir coisas que são relacionadas precisam ser medidas diferentes vou dar um outro exemplo você tá trabalhando com uma escala de depressão essa escala não deve ter itens de ansiedade mesmo que ansiedade

e depressão muitas vezes sejam muito comórbidos aconteçam ao mesmo tempo mas são fenômenos psicológicos diferentes Beleza então isso aqui precisa ficar claro existe também uma outra definição de validade que é importante entender essa definição aqui inclusive ela é mais robusta cientificamente mais forte vai dizer o seguinte validade é o grau em que todas as evidências acumuladas corrobora a interpretação pretendida dos scores de um teste essa definição inclusive é a definição oficial dos standards o que que essa definição significa né O que que ela quer dizer primeira coisa né Ó o grau em que as evidências

acumuladas corroboram a interpretação dos scores de um teste primeira coisa validade é uma questão de grau não existe essa dicotomia o teste é válido ou o teste não é válido não O teste vai apresentar mais ou menos evidências de validade e quando quanto mais evidências de validade o teste tiver melhor o que que isso significa por exemplo Imagina que uma escala foi construída na década de 90 de lá para cá São 30 anos de pesquisa em várias amostras demonstrando que de fato aquele instrumento ele funciona que a estrutura fatorial do instrumento é estável que ele

realmente se relaciona com outras variáveis da forma Teoricamente esperada veja que ao longo do tempo o instrumento ele pode ter várias evidências de validade acumulada E todas as vezes que você vai pegar Esse instrumento você vai utilizar ele na sua amostra que é uma amostra que ainda não foi utilizada né que o instrumento ainda não foi aplicado por assim dizer você precisa também demonstrar que aquele instrumento ele funciona na sua amostra então sempre é importante na sua própria pesquisa você apresentar evidências de validade paraa medida tá uma outra coisa importante que essa definição ela também

problematiza é que a qualidade é uma propriedade dos scores do teste e não uma propriedade do teste per si o que que isso significa muitas vezes as pessoas acham que só porque o instrumento ele foi construído ele foi adaptado e se apresentou evidências de validade em outras amostras Isso significa que o instrumento ele é bom funciona e ponto e não é assim o instrumento ele pode ser maravilhoso por exemplo para adolescentes e não funcionar para adultos Então isso é um exemplo clássico né de que por exemplo mudando a amostra as propriedades psicométricas do instrumento as

propriedades da medida podem não se sustentar então Mais uma vez você tá aplicando seu instrumento em uma determinada amostra você precisa demonstrar que naquela sua amostra aquele instrumento ele tá gerando scores que corroboram a interpretação que você quer dar aos resultados do teste Então esse ponto é importante tá pessoal não caiam no erro né de achar que só porque o instrumento ele foi construído foi adaptado validado há alguns anos atrás ele vai funcionar para sempre né que você não precisa mais fazer nada tá as coisas não se dão dessa maneira Beleza e como é que

se dá Então essa estrutura das evidências de validade eu vou apresentar aqui para vocês pessoal tanto uma perspectiva um pouco mais antiga que foi proposta pelos standards há muitos anos atrás e também a perspectiva mais atual que é de fato a que a gente vai se grar mas essa daqui ela é importante porque Embora ela seja entre aspas desatualizada Tem muita gente que ainda usa tá então em 1966 os standards propuseram né o modelo tripartite ou modelo 3c esse modelo ia separar as evidências de validade em Três blocos validade de conteúdo validade de construto e

validade de critério validade de conteúdo seria em que medida o teste engloba adequadamente o construto de interesse então basicamente a gente conversava né pesquisava fazia entrevistas com juízes e a população alvo e eles iam dizer né ali o quanto o instrumento de fato tá mensurando aquilo que ele pretende os expertes né os juízes iam avaliar mais do ponto de vista científico enquanto que a população alvo ia avaliar mais do ponto de vista de adequações gramaticais linguísticas de clareza dos itens etc isso é o que a gente chama de validade de conteúdo e eu vou abordar

isso mais paraa frente porque isso se mantém depois a gente tinha a validade de construto a validade de construto avaliava né em que medida o construto estava sendo a estrutura do construto estava sendo respeitada empiricamente então basicamente quando a gente pensa né no instrumento de pesquisa a gente pensa que os itens desse instrumento vão se agrupar de uma determinada forma e que essa forma de agrupamento ela deve respeitar a teoria então por exemplo a GT Burnout que é uma doença ocupacional Teoricamente a principal teoria do Burnout diz que o Burnout ele se classifica em três

agrupamentos que seria exaustão emocional despersonalização baixa realização do trabalho então se Teoricamente o Burnout tem esses três blocos esses três fatores empiricamente se você construiu ou tá adaptando uma medida que é baseada nessa estrutura teórica você espera que empiricamente você encontre essa mesma estrutura então isso era o que a gente chamava né de validade de construto e depois a gente tinha a validade de critério que era para avaliar em que medida os escores do teste se relacionavam de forma esperada com outras medidas externas bem essa nomenclatura ela não é mais utilizada né pelo menos nos

guidelines dos dos standards por quê Porque hoje a gente entende que todas essas evidências de validade elas de fato existem pra gente validar o construto então é como se validade de construto hoje fosse tudo que a gente fizesse para demonstrar né que o instrumento de fato funciona Beleza então modelo tripartite pela lógica dos standards já tá defasado beleza então hoje pessoal a gente tem uma outra estrutura que essa sim é a mais atual que foi desenvolvida em 1999 e que foi replicada né aqui se Manteve em 2014 que é a última versão dos standards aqui

a gente vai ter cinco blocos de evidências de validade O primeiro é validade de conteúdo depois validade baseada na estrutura interna depois validade baseada nas relações com medidas externas depois validade baseada no padrão de resposta aos itens e por fim a validade consequencial e agora a gente vai entender cada uma delas Então vamos começar pela validade de conteúdo a validade de conteúdo vai investigar em que medida o construto de interesse está sendo adequadamente avaliado nesse procedimento aqui pessoal a gente vai investigar por exemplo se o conjunto de itens da medida faz parte do construto de

interesse ou seja lembra daquele exemplo que eu dei né de que as escalas de sentido de vida mensurava felicidade mensurava depressão a validade de conteúdo é a etapa onde a gente vai de fato investigar se esses itens Eles são de fato daquele construto que a gente tá querendo trabalhar ou se foram itens mal construídos ou mal adaptados que acaba mensurando outras coisas que não o nosso construto alvo então a gente faz essa avaliação na validade de conteúdo o quanto o construto de interesse está sendo adequadamente mensurado pelo conjunto de itens ou seja Será que existem

aqui alguns elementos do construto que a gente quer trabalhar que os itens não estão pegando Será que a gente tá deixando alguma coisa de fora ou será que a gente construiu muitos itens muito parecidos muito redundantes para mensurar uma determinada eh faceta aqui do construto um determinado aspecto também na parte de validade de conteúdo a gente avalia não só essa parte mais científica do construto mas também questões ortográficas gramaticais qu bem escritos estão os itens se eles estão claros ou não se a população quando ler vai de fato entender aquilo que a gente tá querendo

pesquisar então essa parte de validade de conteúdo ela é trabalhada com dois grandes blocos de pessoas de atores O primeiro é os juízes experts que é a parte mais científica que vai avaliar o quão bem em termos científicos aqueles itens estão de fato mensurando aquilo que se propõe tá então a gente vai ter ali um grupo de expertes um grupo de Juízes geralmente ali quatro cinco juízes para que a gente faça análises de concordância Então você vai pedir para esses juízes avaliarem os itens avaliar a clareza pertinência relevância etc e aí você vai ver né

o quanto esses esses juízes concordam que a medida tá legal ou não E aí existem algumas técnicas algumas análises como coeficiente de validade de conteúdo onde a gente vai olhar a concordância né para pensar se a gente vai excluir itens que não tão bons ou se a a gente vai melhorar alguns itens né então Existem algumas eh decisões aí nessa parte de avaliação de juízes e também depois que a gente passa da avaliação de Juízes a gente tem também uma avaliação pela população alvo a população alvo nada mais é do que pessoas semelhantes àquelas que

você vai pesquisar então por exemplo você tá construindo uma medida por exemplo para jovens de 18 a 24 anos em alguma etapa da sua pesquisa antes de você fazer a pesquisa realmente ali aquela grande coleta de dados você precisa passar pela avaliação da população alvo que vão ser jovens de 18 a 24 anos que vão avaliar por exemplo a clareza do item vão demonstrar se eles entenderam o que o item tá perguntando muitas vezes né a gente também quer saber se os termos que a gente utilizou nas nossas frases são adequadamente utilizados também pela população

alvo então por exemplo né você tá Construindo Um item para jovens mas Digamos que você você já não é mais um jovem então mesmo que você seja um pesquisador da Juventude Provavelmente você não vai ter total clareza do linguajar que esses jovens utilizam no dia a dia então a gente precisa muitas vezes né utilizar esses jovens ali como população alvo para que eles nos digam né nos deem feedbacks sobre a construção dos itens por exemplo tá então validade de conteúdo dois grandes blocos juízes experts que vão avaliar a cientificidade do construto e população alvo que

vai avaliar de modo simplista né falando aqui a clareza dos itens a a adequação da forma como Esse instrumento ele tá construído ele foi eh elaborado essa parte de validade de conteúdo deve ser realizada com fichas padronizadas de avaliação então aqui você vai ter uma ficha onde você vai pedir para os juízes expertos e a população alvo preencher essa ficha para que você possa fazer algumas análises estatísticas ali para avaliar por exemplo a concordância né dos problemas ou das características positivas dessa sua escala tá joia isso aqui pessoal é o processo mais importante na construção

de um instrumento tá Por quê Porque se você não constrói um instrumento com uma boa validade de conteúdo Com certeza absoluta as etapas seguintes onde a gente vai fazer análises estatísticas também não vai funcionar Então existe aquela frase que diz assim ó entrou lixo sai lixo tá aqui também é a mesma coisa um instrumento que é bem construído aqui na na etapa de validade de conteúdo Muito provavelmente ele vai ter boas propriedades psicométricas lá na frente tá então não ignorem de jeito nenhum essa etapa veja aqui pessoal que se você tá construindo o instrumento a

sua etapa de validade de conteúdo ela vai avaliar Muito mais coisa porque afinal de contas o instrumento ele tá sendo construído agora o instrumento é seu você tem liberdade para retirar itens para itens para melhorar itens e etc quando você tá adaptando um instrumento Ou seja você tá pegando um instrumento que já existe e você tá simplesmente trazendo para um contexto para o seu contexto Nacional você não tem tanta liberdade assim de fazer o que você quer com com essa medida então e aí tem um outro ponto né também quando você tá trabalhando com instrumentos

que já foram construídos é imprescindível que Esse instrumento ele também já tenho passado por evidências de validade de conteúdo então assim quando você vai fazer a validade de conteúdo de um processo de adaptação de instrumentos muitas vezes esses juízes experts aqui eles não vão avaliar tudo sobre o construto se tem itens que estão faltando não eles vão avaliar a qualidade do seu processo de adaptação tá isso é outra história é um pouquinho diferente tá vai ficar confuso Se eu tentar explicar em detalhes os aspectos que são organizados para validade de conteúdo na construção de instrumento

e os aspectos que são feitos né do processo de adaptação tá lá dentro da Academy a gente tem aulas muito clara sobre todo passo a passo paraa construção e um outro passo a passo paraa adaptação levaria um tempo muito considerável aqui para fazer essa distinção mas é importante que você saiba disso tá processo validade de conteúdo de construção é um processo de validade de conteúdo de adaptação é outro beleza agora a gente vai passar para as evidências de validad baseadas na estrutura interna aqui pessoal A lógica é bem simples tá todo instrumento ele reflete um

construto Então você tá utilizando um instrumento e Esse instrumento ele é uma aproximação uma tentativa né de você mensurar um construto psicológico esses construtos psicológicos eles têm uma estrutura teórica de modo que a gente espera né que o mento reflita essa estrutura teórica do do seu construto então eu dei o exemplo do Burnout né a principal teoria do Burnout né vai dizer que esse fenômeno ele é composto por três facetas primeiro é exaustão emocional onde você perdeu toda sua energia ali pro trabalho depois uma despersonalização que são sentimentos de frieza né de afastamento emocional de

pessoas que você precisa lidar no seu trabalho e por fim uma baixa realização no trabalho essa é a faceta né as três facetas do Burnout quando você tá construindo um instrumento que tem por base essa teoria você espera então que você tenha um instrumento de três fatores e que cada fator mensure cada um desses aspectos geralmente pessoal quando a gente tá falando de estrutura interna a gente vai trabalhar com análise fatorial exploratória análise fatorial confirmatória se você quiser aprofundar um pouco mais teoria de resposta ao item e também indicadores de confiabilidade e fidedignidade a análise

fatorial exploratória a gente vai encontrar o padrão de correlação dos itens e esse padrão de correlação é que vai formar os fatores então na análise fatorial exploratória a gente deixa o programa encontrar essa estrutura fatorial pra gente a gente não determina nada o programa simplesmente ele vai a partir de alguns critérios né de alguns métodos de análise de dados que você vai solicitar o programa Vai encontrar essa estrutura fatorial depois a gente tem a análise fatorial confirmatória que basicamente né aqui você já tem uma estrutura teórica plausível ou você tá por exemplo adaptando um instrumento

E você já sabe né Essa estrutura do instrumento você pode fazer uma análise fatorial confirmatória para avaliar em que medida aquela estrutura ela se sustenta na sua amostra Então você tá querendo confirmar uma estrutura que você já conhece na teoria de resposta ao item você vai avaliar de forma muito mais pormenorizada muito mais detalhada as propriedades psicométricas de cada item individualmente e também a relação do da dificuldade dos itens com o padrão de resposta das pessoas então pessoas que têm mais daquilo que tá sendo medido respondem de forma adequada esses itens aqui então basicamente a

teoria de resposta ao item ela vai trazer mais informações entre o nível daquilo que a pessoa tem com a forma que ela responde cada um dos itens Tá e por fim né ali a gente tem os indicadores de confiabilidade de fid dignidade que vão tá avaliando o erro da medida né o quão preciso é a resposta quão precisas são as respostas aos itens do seu instrumento tá então isso aqui é a estrutura interna né as análises que em geral a gente faz essa etapa de estrutura interna aqui no canal a gente tem vários vídeos sobre

análise fatorial exploratória sobre análise fatorial confirmatória quando usar cada uma dessas técnicas tá então deem uma olhada aqui no canal do YouTube que a gente tem muito material sobre isso Beleza depois pessoal a gente tem as evidências de validade baseadas nas relações com medidas externas aqui pessoal a gente quer avaliar em que medida os scores do nosso instrumento se relacionam da forma esperada com outras medidas externas então basicamente é o seguinte olha só a gente começa fazendo a validade de conteúdo Então beleza passou por aquela etapa os juízes disseram que tá legal depois a população

alvo disse também que tá tudo certo que eles entendem tudo que tá sendo perguntado ali a gente vai pra etapa de estrutura interna onde a gente vai entender se a estrutura fatorial do instrumento tá legal ou não se tá funcionando ou não se tá corroborando né a a estrutura teórica só que isso ainda não é suficiente por quê Porque você precisa colocar o seu instrumento à prova com outros instrumentos que é o que a gente vai chamar de instrumentos padrão ouro então por exemplo se eu sei que depressão tem uma alta correlação com ansiedade eu

quero colocar um outro instrumento externo de ansiedade aqui para eu confrontar o meu instrumento de depressão com ele tá então isso aqui é um exemplo básico do que é essas relações com medidas externas as rel ações com medidas externas dentro do manual dos standards vai se subdividir da seguinte forma validade convergente validade discriminante validade de critério e a validade de critério nos standards ela se subdivide em validade concorrente e validade preditiva e a gente vai entender cada uma delas agora tá a validade convergente a gente vai avaliar em que medida instrumentos que mensuram construtos semelhantes

se associam de acordo com o esperado Então a gente vai ter por exemplo a convergência positiva e a convergência negativa O que que é uma convergência positiva dois instrumentos que avaliam construtos semelhantes a gente espera que eles se correlacionem positivamente então por exemplo estresse e ansiedade Você tá criando adaptando uma medida de stresse você pega uma medida de ansiedade que já existe que já tem boas propriedades psicométricas e você correlaciona esses dois construtos que que a gente espera que quando quant maior for o nível de estresse maior também vai ser os níveis de ansiedade Teoricamente

você tem essa relação e a gente espera que essa relação também seja atestada empiricamente a gente tem a convergência negativa que basicamente você pega construtos que tendem a se correlacionar negativamente então por exemplo otimismo e depressão imagina que você tá adaptando ou construindo uma escala de otimismo você pode pegar uma escala de depressão e a gente espera né que quanto maior for os níveis de otimismo quanto maiores forem os níveis de otimismo menores vão ser os níveis de depressão então a gente espera uma correlação uma associação negativa então aqui por exemplo né ó Burnout quanto

maior for os índices de Burnout despersonalização exão emocional baixa realização do trabalho maiores vão ser os índices de depressão de estresse de afetos negativos de ansiedade então isso aqui é um exemplo né de correlações positivas aqui entre indicadores de psicopatologia na valid D convergente a gente espera que o nível de correlação seja moderado geralmente ali né de 0,40 até 0,70 óbvio que a interpretação né do quão correlacionado vai ser vai depender dos instrumentos né que você tiver utilizando do construto que você tiver trabalhando então por exemplo a gente sabe né que Burnout ele é muito

relacionado com depressão Burnout é muito relacionado com o stresse então a gente lá pras tantas espera né que a que a correlação de Burnout com depressão e estress seja maior do que por exemplo com ansiedade por quê Porque a gente Teoricamente já sabe que isso é plausível tá então você precisa ter aqui uma teoria que vai guiar você na interpretação dessas correlações aqui tá joia depois pessoal a gente vai ter a validade discriminante a validade discriminante de acordo com a definição dos standards é o seguinte duas variáveis que Teoricamente não se relacionam empiricamente também também

não devem se relacionar então por exemplo imagina que você tá trabalhando aqui com raciocínio lógico raciocínio lógico relações interpessoais bem não me parece ter uma relação entre o meu raciocínio lógico com a minha por exemplo qualidade de relação interpessoal imagina que Teoricamente isso aqui não faz sentido se Teoricamente isso aqui não faz sentido você não deve esperar uma correlação Entre esses dois fenômenos empiricamente você também não deve tá então aqui a gente espera né que o de correlação seja baixo ou nulo né que seja estatisticamente não significativo ou seja muito baixinho em geral quando a

gente trabalha com validade discriminante a gente espera né que você tenha uma correlação abaixo de 0,30 E um R quadado né que seria correlação ao quadrado de 0,09 que dá ali né aproximadamente 99% né de associação entre essas variáveis tá então geralmente você espera disso para baixo tá joia depois pessoal a gente tem o que a gente vai chamar de validade de critério e o validade de critério ela vai se subdividir em validade concorrente e validade preditiva muita gente fica na dúvida né do que é validade concorrente e o que é validade convergente eu falei

para vocês que validade convergente era quando você associava o seu construto com construtos semelhantes então por exemplo você pega uma escala de depressão e você associa com ansiedade veja aqui são dois fenômenos diferentes isso é validade convergente na validade concorrente você tá colocando dois instrumentos que medem a mesma coisa para se associarem Então esse termo né concorrente pense em produtos concorrentes o que que são produtos concorrentes são produtos que fazem a mesma coisa validado concorrente também são dois instrumentos que medem a mesma coisa então por exemplo você tá construindo um instrumento de depressão O que

que você vai fazer você vai p pegar os scores desse seu instrumento de depressão e você vai tentar corroborar esses scores com uma outra medida de depressão que já seja consagrada na literatura que seja o padrão ouro como esses dois instrumentos eles medem a mesma coisa a gente espera que o padrão de correlação seja muito alto entre eles afinal de contas eles estão medindo a mesma coisa né então a gente espera que o nível da correlação aqui seja bem maior do que por exemplo você encontra na validade convergente né Por quê Porque na validade convergente

você tá relacionando o seu instrumento com instrumentos que medem outras coisas aqui não aqui você tá relacionando com o instrumento que mede a mesma coisa então obviamente a gente espera que essa correlação aqui seja maior e que seja maior do que 0,70 tá por quê Porque quando a gente pensa né no na correlação de 0,70 a gente pode pensar né aqui na variância compartilhada que é o r quadrado então então o r qu de 0,70 dá aproximadamente 50% né 0,49 então assim ó se esses instrumentos eles estão medindo a mesma coisa a gente espera que

eles tenham mais variância compartilhada entre si mais do que 50% do que variância específica Então se são dois instrumentos que medem a mesma coisa eu espero né que essa variância compartilhada aqui seja maior do que 50% por quê Porque mostra que mais da metade dos scores do inst ento estão Associados com o score de outro instrumento que mede a mesma coisa E por que esse mais da metade é importante porque mostra né que a maior parte do instrumento É de fato a mesma coisa se esse R quadrado fosse pequeno fosse menor do que 50% a

gente estaria dizendo que esses scores medem mais coisas individuais do que um construto só tá então esse ponto de corte aqui né de e 50% de vari ân compartilhada um R qur né Maior Que 0,49 0,50 para cima e uma correlação maior que 0,70 isso aqui é importante pra validade concorrente Beleza depois pessoal aqui dentro né de validade de critério a gente vai ter a validade preditiva que avalia o grau em que o desempenho em um teste produz resultados em outro teste ou situação basicamente a validade preditiva é como se ela fosse uma validade convergente

só que longitudinal Ou seja eu tenho uma pesquisa longitudinal para avaliar em que medida os scores do meu teste são capazes de produzir um desfecho futuro então vou dar um exemplo imagina que você fez um teste de atenção concentrada E aí você depois né vai avaliar os acidentes de trânsito das pessoas Então o que é que a gente espera né Teoricamente que quanto menores forem os níveis de atenção concentrada mais as pessoas vão tender a se envolver em acidentes de trânsito só que a gente não tem como saber isso fazendo uma pesquisa só muitas vezes

a gente coleta os dados de atenção concentrada em um determinado momento e você acompanha longitudinalmente para ver se de Fato né os níveis de atenção concentrada são preditores né ali da da quantidade de acidentes que as pessoas se envolveram ao longo do tempo vou dar um outro exemplo você mensura os níveis de inteligência de crianças no começo do ano letivo e depois você vai avaliando o desempenho escolar dela ao ao longo do tempo habilidades técnicas desempenho profissional Você tem uma pesquisa sobre determinadas habilidades técnicas e você vai vendo né o desempenho profissional ao longo do

tempo equilíbrio corporal queda em idosos Então veja que aqui né tenho vários exemplos de como você pode mensurar uma determinada coisa no tempo um e avaliar né longitudinalmente se isso aqui é preditor de Fato né de fechos que a gente espera que seja então isso aqui é o que a gente vai chamar de validade preditiva tá joia então Só para deixar bem claro aqui para vocês pessoal nessa parte aqui específica de evidências de validade baseada nas relações com medidas externas essa daqui é é a divisão tá ó validade convergente validade discriminante e validade de critério

subdividida em validade concorrente e validade preditiva um ponto importante que vale a pena mencionar é que às vezes você vai ver esses termos sendo usados de uma forma um pouquinho diferente isso se dá porque existem outros guidelines tá então vou mostrar por exemplo uma utilização diferente por exemplo de validade discriminante existe algumas pessoas que utilizam validade discriminante de uma forma diferente do tipo assim os scores do meu teste são capazes de discriminar grupos de separar grupos então por exemplo imagina que você tem um teste de inteligência e você tem crianças de 6 anos e criança

de 9 anos a gente sabe que a inteligência em geral ela vai crescendo com a idade até um determinado momento então se você coloca crianças de 9 anos e crianças de 6 anos para responder ao mesmo teste de inteligência em geral Você vai esperar que as crianças de 9 anos perform melhor então se você coloca esses dois grupos e você faz testes né de comparação esses Entre esses dois grupos e você mostra que de fato as crianças de 9 anos estão performando melhor algumas pessoas utilizam o termo de validade discriminante por quê Porque o teste

tá sendo capaz de discriminar a performance de acordo com a idade Beleza então esse termo também ele é utilizado tá saindo das evidências de validade baseado nas relações com medidas externas a gente entra no nosso quarto bloco que são as evidências de validade baseadas no processo de resposta aos itens os estardes eles são bem rasos na forma como eles apresentam e definem esse tipo de evidência de validade de modo que você vai ver vários autores diferentes utilizando evidências diferentes e classificando aqui beleza bem em termos de definição a gente diz né que a validade baseada

no processo de resposta é onde a gente vai avaliar teórica e empiricamente sobre a forma como os respondentes estão de fato respondendo às escalas e os processos cognitivos que estão ali envolvidos tá basicamente aqui para simplificar esse processo para vocês a gente tem dois grandes blocos tá o primeiro é onde as pessoas vão entender validade baseada no processo de resposta como uma etapa de validade de conteúdo então basicamente a ideia aqui seria que a gente entendesse Quais são os processos cognitivos que as pessoas utilizam quando elas estão respondendo aos itens da nossa escala E aí

Aqui as pessoas trabalham com grupo focal Então pega a população alvo coloca dentro de uma sala faz perguntas eles vão dizendo as opiniões deles as opiniões são contrastadas entre si enfim né todo o método de grupo focal para você entender como é que eles estão entendendo né aqueles itens existe também né a entrevista cognitiva que basicamente né a pessoa lê o item e depois ela vai explicar o raciocínio dela ao responder o item né então ela responde o item depois ela vai explicar o porque ela respondeu o item daquela forma e na medida que ela

faz isso você entende se ela de fato tá pensando no construto que você tá querendo medir a depender do tipo de teste que você esteja trabalhando existem possibilidades de rastreamento ocular né it tracking mas isso aqui é muito teste de desempenho né não se aplica a autorrelato tá então por exemplo você tá querendo testar né ali desenvolver um teste de a tensão concentrada e a tensão difusa E aí você tá querendo trabalhar por exemplo com operadores de voo né então você coloca os operadores de voo em uma cabine e você faz rastreamento ocular para você

ver para onde ele tá olhando Qual é o processo né que ele tá é realizando na hora de desempenhar ali no teste né então isso é uma possibilidade também às vezes você pode avaliar tempo de resposta né Então as pessoas estão demorando mais do que o esperado ou tão respondendo esse teste de forma mais que o esperado você pode tentar entender a partir desse tempo de resposta de entrevistas até mesmo aqui dentro do grupo focal da entrevista cognitiva entender o que é que pode estar acontecendo aqui então vej pessoal que a partir disso aqui principalmente

aqui grupo focal entrevista cognitiva as pessoas utilizam isso aqui como uma evidência de validade de conteúdo Beleza depois existe um grupo de autores que vai entender essa evidência de validade baseada no processo de resposta como uma forma de avaliar a própria estrutura interna do instrumento então basicamente aqui a gente vai avaliar se a resposta do sujeito é Teoricamente e empiricamente plausível ou esperada e muitas vezes a gente faz isso aqui com teoria de resposta ao item e teoria de resposta ao item em geral ela tá estruturado dentro de estrutura interna Então olha só imagina que

você tá trabalhando com teste de inteligência e aí você tem crianças mais velhas que estão errando mais teste quando comparado com crianças mais novas Teoricamente isso não é esperado a gente espera que crianças mais velhas acertem mais um teste de inteligência do que crianças mais novas porque a inteligência ela vai aumentando com a idade até um determinado ponto então se crianças mais velhas estão errando mais a gente consegue inspecionar esse padrão de resposta por meio de tri vou dar outro exemplo aqui as pessoas elas estão acertando itens mais difíceis e estão errando itens mais fáceis

então como assim como é que uma pessoa é capaz de acertar Um item né que ela é mais difícil que vai exigir mais do traço latente e tá errando itens mais fáceis isso também é uma inconsistência do padrão de resposta e a gente consegue investigar isso com muita clareza por meio da teoria de resposta ao item tá a gente tem também dentro da teoria de resposta ao item o que a gente vai chamar de funcionamento diferencial do item que é quando por exemplo um item ele é é respondido de forma diferente por grupos diferentes então

por exemplo Imagine que você tem uma escala de depressão e você tem um item que é chorar com frequência bem a gente sabe isso não é uma opinião tá isso aqui é um dado a gente sabe que o comportamento de choro na depressão é mais frequente em mulheres do que em homens Então veja que se você tem o item de depressão chorar com frequência e os homens estão respondendo de forma é diferente das mulheres isso é esperado só que muitas vezes né se você não controlar isso você pode acabar gerando né escores menores de depressão

para homem do que para mulheres porque os homens estão respondendo mais baixo nesse item mas isso a gente sabe que é uma manifestação eh conhecida né do da forma como a depressão ela se manifesta em homens e mulheres então a gente precisa ter um pouco de controle a gente precisa ter capacidade de avaliar né esses itens que tem um funcionamento diferencial que vão impactar né no padrão de resposta e a teoria de resposta ao item também faz isso Então veja pessoal que essa parte aqui de validade baseada no processo de resposta ela é igualmente é

é igualmente plausível você conceber isso através de uma validade de conteúdo ou através de teoria de resposta ao item e eventualmente inserir isso né dentro das evidências de validade baseado na estrutura interna tá então isso aqui é um ponto importante para vocês terem clareza porque isso vai ser uma decisão que vocês vão tomar e vão precisar justificar e por fim a gente chega né na nossa validade consequencial que é a última etapa né de evidências de validade de acordo com os standards a validade consequencial pessoal é uma coisa mais ética tá não é tanto um

tipo de validado que você vai testar empiricamente mas é importante que você conheça você basicamente não vai ver né literatura sobre isso atestando de fato as evidências de validade consequenciais mas é importante que você entenda que ela existe basicamente né a validade consequencial busca avaliar as consequências do teste e dos procedimentos de aplicação porque quando a gente constrói uma medida a gente espera né que essa medida ela traga muito mais benefícios pra Sociedade do que prejuízos se isso não acontece você pode estar diante de uma situação em que a sequência do uso do teste não

é adequada então basicamente né vou dar um exemplo aqui para isso aqui ficar bem claro imagina que você né construiu uma medida de depressão em idosos essa medida ela é muito boa e ela foi agora inserida né dentro de um programa nacional de rastreio de depressão em idosos Então essa medida ela tá sendo utilizada nacionalmente o estudo epidemiológico muito grande e a partir dessa pesquisa Se descobre né que um número muito reduzido de idosos tem depressão por exemplo aí o que que pode acontecer em consequência disso eventualmente Você pode ter redução Nos programas comunitários de

saúde mental para terceira idade diminuição na cobertura de serviços de atendimento psicológico ofertados pelos planos de saúde Então os planos de saúde olham né ali aquela incidência também a prevalência vai dizer assim ah não quer saber não faz sentido a gente tá oferecendo aqui para um grupo tão pequeno de pessoas vamos retirar aqui a cobertura de saúde mental pros idosos Isso é uma consequência negativa uma consequência indesejada né Você pode ter uma diminuição ali das políticas públicas voltadas à saúde paraa terceira idade Então veja né que isso são consequências indesejadas né consequências que podem né

gerar aí problematizações muito importantes pra sociedade e é isso né são esses tipos de preocupações que a validade consequencial vai se ater né vai se atentar agora qual é o ponto né ó essa validade consequencial como eu falei para você é um aspecto muito mais ético é um aspecto muito mais de problematização da mensuração em larga escala então basicamente você não vai ver artigos publicados sobre isso você não vai ver principalmente artigos empíricos né fazendo testes estatísticos para testar a validade consequencial não é essa a lógica tá então assim embora né a os standards aqui

né da aera iepa e o ncma já tenam postulado sobre a importância e a necessidade ainda é bastante escasso ver esse tipo de discussão sendo realizado na prática Tá mas é importante você saber que existe então só para finalizar né você pode estar se perguntando tá então diante de tudo isso né Quais são as evidências de validade que eu devo apresentar nos meus estudos bem boas revistas em geral vão querer que você apresente o maior número possível de evidências de validade dentro de um único estudo tá então recomendo que você presente validade de conteúdo validade

baseada na estrutura interna então uma análise fatorial seja ela exploratória confirmatória às vezes né a depender do seu nível uma teoria de resposta ao item que é bem menos comum do que análise fatorial então assim análise fatorial imprescindível teoria de resposta ao item seria um plus a mais né que você ia dar mais qualidade paraa sua pesquisa e validade baseada nas relações com medidas externas né então essas três evidências aqui elas são as mais utilizadas né Bruno mas dentro de validade baseada nas relações com medidas externas eu preciso apresentar tudo em geral as pessoas vão

trabalhar mais com validade convergente e validade concorrente tá então se você conseguir apresentar isso validade de conteúdo estrutura interna validade convergente E concorrente aqui nas relações com medidas externas você certamente aí vai estar com o artigo padrão de construção ou adaptação de instrumentos Beleza então era isso eu espero que esse vídeo tenha sido muito útil para você se você ficou com dúvidas escreva aqui nos comentários que eu vou tentar te ajudar e se você quiser se desenvolver muito mais em construção adaptação e validação de instrumentos eu convido fortemente e recomendo muito que você venha pra

psicometria online Academy porque lá a gente tem absolutamente tudo que você precisa para construir adaptar e validar instrumentos utilizando os aspectos mais modernos do mundo sem exagero essa é a nossa grande expertise e vai ser um prazer te ajudar a fundo com esse processo Beleza então fica bem um grande abraço de uma olhada aqui nos links que estão aqui na descrição