Fiabilidade e validade dos resultados Flashcards
O que nos diz a fiabilidade dos resultados e quais os dois significiados habituais?
Fiabilidade dos resultados
A fiabilidade dos resultados numa prova diz-nos sobre o grau de confiança ou de exatidão que podemos ter na informação obtida. Apresenta dois significados no contexto mais habitual:
* o teste avalia o mesmo quando aplicado em dois momentos diferentes aos mesmos sujeitos (sentido de estabilidade e constância dos resultados)
* os itens que compõem o teste apresentam-se como um todo homogéneo (consistência interna).
Quais os metodos usados para o elemento da constancia
Para o 1º podemos o método do teste-reteste ou reteste com formas-paralelas.
Quais os metodos usados para o elemento da hmogeneidade
Para o 2º caso podemos recorrer ao método da bipartição dos itens e ao da consistência interna dos itens.
Em que consistem o metodo de teste-reteste e reteste com versao paralela
Teste-reteste: Refere-se à consistência de um instrumento de medida ao longo do tempo. Nesse método, o mesmo teste é administrado duas vezes aos mesmos participantes em dois momentos diferentes, e a correlação entre os resultados é calculada. Uma correlação alta sugere que o instrumento é estável ao longo do tempo.
Teste-reteste com versão paralela: Similar ao teste-reteste, mas em vez de administrar exatamente o mesmo teste duas vezes, são usados dois testes paralelos, que medem a mesma coisa, mas são formulados de maneira diferente. Isso ajuda a reduzir o efeito de familiaridade com o teste na segunda administração.
Em que consistem o teste da biparticação
Bipartição: É uma técnica usada para estimar a consistência interna de um instrumento de medida, como um questionário. O instrumento é dividido em duas partes, e a correlação entre as pontuações obtidas em cada parte é calculada. Uma correlação alta sugere que as duas partes do instrumento são equivalentes
Em que consiste o coeficiente de speraman brown e qual a sua relacao com o metodo da biparticao
Coeficiente de Spearman-Brown de correção: É uma medida estatística que ajusta a confiabilidade de um teste ao adicionar ou remover itens. Geralmente é usado quando se deseja estimar como a confiabilidade de um teste mudaria se o teste fosse mais longo ou mais curto. Este coeficiente é frequentemente usado em testes de consistência interna, como o alfa de Cronbach.
A relação entre o Coeficiente de Spearman-Brown e a bipartição dos itens está na ideia de que, ao dividir um teste em duas partes e calcular a correlação entre essas partes, você está, de certa forma, avaliando a confiabilidade do teste como um todo. O Coeficiente de Spearman-Brown é usado para ajustar a estimativa da confiabilidade de um teste com base na consistência dos itens quando um teste é dividido em partes.
O que se entende por consistencia interna dos itens
Entende-se por consistência interna o grau de uniformidade ou de coerência existente tenras as respostas dos sujeitos a cada um dos itens que compõem a prova.
Requer apenas uma única aplicação da prova – valores próximos de 1 indicam uma boa uniformidade e de coerência de respostas. Valores abaixo de 0.7 são rejeitáveis.
Em que medidas se baseia a consistencia interna dos itens
Alfa de Cronbach e Omega de mcdonald – é estimada com recurso a variabilidade no teste – desvio padrão (ao quadrado da variância dos resultados) – vão analisar se a soma da variância item a item se vai dar a variância total – quanto mais próximo de 1 mais consistente com a variância do teste, quanto mais próximo de 0 menos perfeito nunca deve ser a baixo de .70 ou .75
Sentido de acordo de juízes – técnicas qualitativas – se coincide com aquilo que é analisado, se aquilo que é relatado é corroborado pelos dados. Se os resultados de dois investigadores não forem iguais, temos que ter em conta que as grelhas de observação não são coerentes. Se a checklist (grelha) for muito ambígua haverá uma dispersão de resultados face ao mesmo problema – caso seja adequada o resultado é efetivamente o mesmo Superior a 80%
Quais os dois sentidos para o construto de validade
- Correspondência face à teoria ou expetativa de partida (válido quando sabemos o que estamos a medir) – sentido mais teórico – o nosso teste inclui-se neste modelo mais teórico – querem saber se a prova mede mesmo aquele construto
- Previsão de um comportamento (válido quando mede aqui que é suposto avaliar) – sentido mais pratico – validade de implicação – tem de ter raciocínio apto, aprender melhor
Em que consiste a validade do conteudo
Validade de conteúdo – tem a ver com o grau de adequação dos itens em relação à dimensão do comportamento avaliada pela prova. Como o proprio nome deixa a antever, procura-se apreciar em que medida o conteúdo da prova cobre os aspetos mais relevantes do construto – bipartido em dois conceitos: representatividade e coerência.
Representatividade – se o conteúdo compreende elementos de vários tipos, esse elemento tem de estar efetivamente presentes (o teste tem de constituir grande parte dos elementos de aula)
Coerência – se existe uma coerência entre a relevância de conteúdos e aquele que ta a ser testado
Quais os elementos a avaliar para a validade de conteúdo
- Relevância: Refere-se à importância ou significância das dimensões a serem avaliadas em relação aos objetivos do teste. Por exemplo, se o teste é de matemática, as questões de matemática terão maior relevância do que as questões de história.
- Representatividade/Abrangência: Indica o quão bem as dimensões selecionadas representam o espectro completo do conteúdo que está sendo avaliado. Por exemplo, se o teste de ciências abrange apenas biologia, mas deixa de fora química e física, sua representatividade é limitada.
- Ponderação: Refere-se à atribuição de pesos ou importância relativa a diferentes dimensões ou itens dentro do teste. Por exemplo, se a matemática é considerada mais importante que a história neste teste, as questões de matemática podem receber um peso maior.
- Validade Facial (Face Validity): Este conceito diz respeito à aparência superficial ou evidência de validade de um teste. Em outras palavras, parece para os participantes e observadores que o teste está medindo o que se propõe a medir. Por exemplo, se um teste de matemática parece incluir apenas problemas de matemática e não contém perguntas aparentemente irrelevantes, ele tem validade facial.
Em que consiste a validade empirica ou de criterio
A validade empírica esta intimamente ligada ao primeiro conceito a que a expressão validade parece associado (o grau de que o teste mede aquilo que é suposto medir). Este tipo de validade baseia-se na comparação entre os resultados obtidos no teste em questão e os resultados de algum critério externo que se acredita representar a característica que está sendo medida.
Por exemplo, se um teste é projetado para medir o desempenho acadêmico em matemática, os pesquisadores podem usar as notas finais dos alunos em matemática como critério externo. A validade empírica ou de critério seria estabelecida pela correlação entre as pontuações dos alunos no teste e suas notas finais em matemática.
Quais os dopis conceitos em que se divide a validade empírico
Pode ser subdividido em dois conceitos – validade externa preditiva e valida concomitante ou concomitiva
Concomitante – falamos neste tipo de validade quando se verifica uma simultaneidade no tempo entre a aplicação, do teste e a obtenção das notas reportas ao critério. Por exemplo, se você estiver desenvolvendo um teste de habilidade matemática para alunos do ensino médio, você pode administrar o teste para um grupo de alunos e, ao mesmo tempo, coletar suas notas finais de matemática. Em seguida, você calcularia a correlação entre as pontuações no teste e as notas de matemática.
Preditiva – coeficientes obtidos através de estudos onde a informação relativa a prova e ao critério não são obtidas em simultâneo e, por norma, a informação do critério externo é posterior Por exemplo, a capacidade de um teste de admissão universitária de prever o desempenho acadêmico futuro dos estudantes na universidade.
indica e explicita em que quatro pontos se assenta a validade empírica
- Significado e Relevância: A validade externa ou de critério é significativa porque avalia até que ponto os resultados do teste estão relacionados a resultados em critérios externos, como desempenho acadêmico, sucesso no trabalho, comportamento social, entre outros. A relevância dessa validade está em garantir que os resultados do teste tenham aplicabilidade e valor prático além do contexto específico do teste.
- Correlação / Diferença de Grupos no Critério Externo: A validade externa pode ser estabelecida pela correlação entre as pontuações do teste e os resultados em um critério externo. Quanto mais alta a correlação, mais forte é a evidência de validade externa. Além disso, diferenças significativas nos resultados do critério externo entre grupos que pontuam alto e baixo no teste também podem indicar validade externa.
- Método Temporal de Cálculo: Preditiva e Concorrente: Existem dois métodos temporais para calcular a validade externa: preditiva e concorrente.
* Validade Preditiva: Neste método, o teste é administrado primeiro, e os resultados são posteriormente comparados com os resultados em um critério externo que ocorre no futuro. Por exemplo, a pontuação em um teste de admissão universitária pode ser usada para prever o desempenho acadêmico dos alunos na universidade.
* Validade Concorrente: Neste método, o teste e o critério externo são medidos simultaneamente, e a correlação entre eles é calculada. Este método é frequentemente usado quando é impraticável ou impossível realizar uma medida preditiva. - Critérios Externos de Validação: Diversidade e Escolha: É importante considerar uma variedade de critérios externos para validar um teste, especialmente se o construto medido pelo teste tem múltiplas dimensões ou aspectos. Além disso, os critérios externos devem ser escolhidos com cuidado para garantir que sejam relevantes, confiáveis e válidos em relação ao construto sendo medido pelo teste.
Em que consiste a validade interna
É a expressão mais recente no estudo da validade de resultados e tem vários pontos que podem integrar a sua definição. Mas basicamente o que está em causa é o grau de consonância entre os resultados do teste, a teoria a prática para o proposto das dimensões em avaliação.
