Fidelidade Flashcards
Fidelidade
consistência dos resultados obtidos pelas mesmas pessoas, mesmo teste (ou equivalente) em diferentes ocasiões
Na teoria clássica dos testes, o resultado obtido num teste é…
resultado verdadeiro + erro de medida (fatores aleatórios)
O erro de medida é…
resultado obtido no teste - resultado verdadeiro
O resultado verdadeiro é conceptualizado como…
o resultado médio que se obteria se se avaliasse o sujeito um número infinito de vezes
Em estatística, uma observação é…
modelo sistemático + erro
As diferenças entre indivíduos numa amostra de resultados são…
diferenças reais na capacidade + diferenças de outros fatores
Variância total é…
variância sistemática + variância erro
A (…) é aquela que decorre de qualquer condição que seja irrelevante para o objetivo do teste
variância erro
Fontes de variância erro em psicologia (3)
- contexto da avaliação (ambiente, cotador…)
- indivíduo (flutuações de humor…)
- próprio instrumento (que influencia os resultados)
Como se minimiza o erro de medida?
Estandardizando as condições do teste (na aplicação e cotação)
Tipos de fidelidade (5)
teste-reteste de forma paralela método das metades (split-half) consistência interna (KR e Cronbach) do avaliador
Fidelidade teste-reteste: o que é
aplica-se o teste em vários momentos e comparam-se os resultados.
Fidelidade teste-reteste: fontes de erro
amostragem de tempo: flutuações aleatórias do desempenho (seja das condições do teste seja do sujeito)
Fidelidade teste-reteste: limitações
Efeitos de memória e da prática
Fidelidade teste-reteste: como se calcula
através do índice de fidelidade ou do coeficiente de fidelidade (Rxx)
Índice de fidelidade - como se calcula
coeficiente de correlação (de Pearson por ex.) entre os resultados obtidos nos diferentes momentos
s verdadeiro / s resultados
Coeficiente de fidelidade - como se calcula
índice de fidelidade ^2
ou
var. verdadeira / var. resultados(ou total)
Coeficiente de fidelidade - como se interpreta
proporção de variância explicada pelo modelo (quanta da variância total é sistemática)
Fidelidade de forma paralela - o que é
consistência da resposta a diferentes amostras de itens equivalentes
Fidelidade de forma paralela - limitações (2)
Efeitos de prática
dificuldade em criar formas verdadeiramente equivalentes
Método das metades (split-half) - o que é?
Dividir um mesmo teste em 2 metades, calculando um resultado para cada metade como se fossem 2 testes diferentes (e sobre os quais se calcula a fidelidade)
A fidelidade no método das metades dá-nos…
a consistência dos itens na amostra de conteúdo
Método das metades - vantagem
Contraria o efeito “aquecimento”, fadiga, aborrecimento, prática, etc.
Método das metades - desvantagem
Tendem a ser longos
Fidelidade do método das metades - como se calcula
índice de fidelidade (correlação) com a correção de Spearman-Brown
Fidelidade de consistência interna - o que nos dá
dá-nos quão correlacionados entre si estão os itens do instrumento (consistência inter-item)
Fidelidade de consistência interna - fontes de erro (2)
- qualidade dos itens (amostragem de conteúdo)
- heterogeneidade do domínio do conteúdo (ex. vocabulário+aritmética)
Fidelidade de consistência interna - como se calcula (para itens dicotómicos e para outros)
- itens dicotómicos: fórmula Kuder-Richardson (KR-20)
- outros itens: alfa de Cronbach
Fidelidade de consistência interna - como se interpretam os resultados (KR-20 e alfa de Cronbach)
interpretam-se como coeficientes de determinação (proporção de variância sistemática em relação à variância total)
Fidelidade do avaliador - o que mede
as diferenças nos resultados consoante diferentes avaliadores/observadores.
Fidelidade do avaliador - como minimizar
estandardizando os procedimentos
Fidelidade do avaliador - como se calcula
através do Kappa de Cohen, que nos dá a proporção de acordo/concordância entre avaliadores face às suas avaliações acima do qual não foram avaliações ao acaso
Kappa de Cohen - fórmula
(acordo observado-acordo ao acaso) / (acordo máximo-acordo ao acaso)
ou
(p0-pe)/(1-pe)
Se é apenas necessária 1 sessão e tenho apenas 1 formato de teste, para avaliar a fidelidade posso recorrer…
ao método das metades ou calculando consistência interna (estabilidade inter-item)
Se tenho apenas 1 formato de teste e aplico-o em 2 sessões, estamos a falar da fidelidade…
teste-reteste
Se tenho 2 versões equivalentes do teste posso analisar a fidelidade recorrendo…
à forma paralela imediata (se os aplicar numa única sessão)
ou forma paralela com intervalo (se as aplicar em 2 sessões)
Diferentes tipos de coeficientes de fidelidade referem-se a diferentes tipos de erro.
Verdadeiro
O coeficiente de fidelidade no teste-reteste refere-se a que tipo de variância erro?
Amostragem de tempo
O coeficiente de fidelidade na forma alternada imediata refere-se a que tipo de variância erro?
Amostragem de conteúdo
O coeficiente de fidelidade na forma alternada retardada refere-se a que tipo de variância erro?
Amostragem de tempo e amostragem de conteúdo
O coeficiente de fidelidade no método das metades refere-se a que tipo de variância erro?
Amostragem de conteúdo
O coeficiente de fidelidade no Kuder-Richardson e Coeficiente Alfa (consistência interna) refere-se a que tipo de variância erro?
Amostragem de conteúdo e heterogeneidade de conteúdo
O coeficiente de fidelidade dos avaliadores refere-se a que tipo de variância erro?
Diferenças entre avaliadores
Como se calcula a variância de erro total de medida?
Somando todos os erros de medida de cada tipo de fidelidade (que por sua vez é 1-coeficiente de fidelidade)
Como se calcula a variância verdadeira (fidelidade)?
1-variância de erro total de medida
Como se interpreta a variância verdadeira?
É a variância verdadeira do teste, estável ao longo do tempo.
Como se calcula o erro padrão de medida?
EPM= desvio-padrão x raiz de (1-coeficiente de fidelidade)
Quanto maior a variabilidade dos resultados A é o erro padrão de medida. Quanto maior a fidelidade B o erro padrão de medida.
A: maior
B: menor
Sendo qualquer instrumento de avaliação psicológica impreciso, só devo interpretar resultados que ultrapassem o intervalo dessa imprecisão.
Verdadeiro
Para interpretar diferenças de resultados e evitar o ênfase nas pequenas diferenças (típicas de um instrumento impreciso) devemos calcular…
o erro padrão da diferença
O erro padrão da diferença é sempre A que o erro padrão de medida
maior (por causa da aditividade dos erros - somamos duas imprecisões de duas medidas diferentes)
Como se calcula o erro padrão da diferença?
raiz do quadrado dos 2 erros de padrão de medida
O limiar de significância para avaliarmos se as diferenças entre 2 observações são significativas calcula-se…
Erro padrão da diferença x 1,96
