exam final Flashcards
coefficient alpha … mythe et réalité
vrai ou faux
C’est une propriété fixe ??
Vérité: Ce n’est pas une propriété fixe
coefficient alpha … mythe et réalité
Il mesure seulement la cohérence d’un test?
Vérité: Pas toujours
coefficient alpha … mythe et réalité
Un alpha élevé est toujours meilleur??
Vérité: Un coefficient alpha de 0,90 peut signifier un effet de redondance
coefficient alpha … mythe et réalité
Un coefficient alpha varie toujours entre 0 et 1 ??!?!
Vérité: Dans certaines situations le coefficient alpha peut être négatif
quelles sont les quatre formes de fidélité??
1) Stabilité
2) Équivalence
3) Cohérence interne
4) Équivalence interjuges
Voici les 4 formes de fidélité avec leurs méthode de calcul… dit moi l’erreur qui peut être associé à chacune !!!!!!
Formes de fidélité Méthodes de calcul
1)Stabilité : Fidélité par test-retest
2) Équivalence: Fidélité par versions
parallèles (ou alternatives)
3,1) Cohérence interne: Fidélité par
bissection
3,2) Cohérence interne: Coefficient alpha
4) Équivalence interjuges: Fidélité entre
examinateurs /correcteurs
1)Stabilité = Échantillonnage temporel
2) Équivalence =Échantillonnage des contenus
3) Cohérence interne = Échantillonnage des contenus
Cohérence interne = Échantillonnage des contenus et hétérogénéité des contenus
4) Équivalence interjuges = Différence entre les examinateurs / juges
qui suis je ??
«Elle réfère au degré d’entente (d’accord) entre deux ou plusieurs examinateurs dans leur évaluation d’une variable. On peut donc s’intéresser à __________ entre deux psychoéducateurs, entre deux psychiatres, deux professionnels, etc.»
l’équivalence interjuges
Il existe plusieurs méthodes de calcul pour évaluer l’entente (l’accord) entre deux examinateurs (pour les tableaux de contingence 2 x 2).
On retrouve dans la littérature plusieurs coefficients (indices ou index) d’accord:
1)
2)
3)
1) Pourcentage d’accord (total agreement);
2) Indices de similarité (surtout dans le domaine de l’écologie);
3) Pourcentage d’accord véritable (exclusion des accords attribuables à la chance);
Important: Il existe deux façons de définir Pc.
3,1) Le nombre de catégories de rangement / classement (méthode a priori). _______ __ _____
3,2) La probabilité des examinateurs de diagnostiquer la présence ou l’absence d’une maladie (méthode a posteriori) _______ ____ __ ____
3,1) Le nombre de catégories de rangement / classement (méthode a priori). Brennan et Prediger
3,2) La probabilité des examinateurs de diagnostiquer la présence ou l’absence d’une maladie (méthode a posteriori) coefficient kappa (k) de Cohen
qui suis-je ?? Le _________ _____est une proportion d’accord maximum corrigé entre les deux examinateurs.
Le ________ ____ peut varier entre -1 et +1.
Le coefficient kappa (K)
Trois conditions sont nécessaires afin d’utiliser le coefficient kappa (k) de Cohen:
1) Les examinés sont __________________
2) Les évaluateurs effectuent leur mesure de façon ________;
3) Les catégories de classement doivent être mutuellement _______.
1) Les examinés sont indépendants les uns des autres;
2) Les évaluateurs effectuent leur mesure de façon indépendante;
3) Les catégories de classement doivent être mutuellement exclusives.
Limites du coefficient kappa:
1) Utilisation uniquement lorsqu’il y a deux _________
2) Utilisation uniquement avec des données _______ _ __ ______
3) Importance de la _______ du phénomène étudié.
1) Utilisation uniquement lorsqu’il y a deux examinateurs/juges;
2) Utilisation uniquement avec des données nominales à deux niveaux.
3) Importance de la prévalence du phénomène étudié.
Certains auteurs considèrent qu’il est inutile d’exclure la chance des calculs. Aussi, ils considèrent que la formule du coefficient kappa ne devrait pas être utilisé.
Ils suggèrent d’utiliser deux formules plutôt que de corriger pour la chance.
Les deux formules sont respectivement:
Les accords ______ ______
2 (A) / 2 (A) + B + C
Les accords ______ ______
2 (D) / 2 (D) + B + C
Les accords positifs spécifiques
2 (A) / 2 (A) + B + C
Les accords négatifs spécifiques
2 (D) / 2 (D) + B + C
Validité: La validité fait référence au fait que l’on mesure __ _____ _____
Avant de diffuser un test, il faut donc s’assurer d’avoir des _____» qu’il mesure bien ce qu’il prétend mesurer.
la bonne chose
«preuves
Le concept de_____ est considéré comme le plus fondamental et le plus important
validité
Il existe trois grandes catégories de validité
nomme les
Validité de contenu
Validité de construit
Validité critériée
Formule de _____ ______
Cette formule permet de calculer un indice de congruence
Il varie entre -1 et +1.
Crocker et Algina (1985).
Deux concepts sont importants avec la validité de construit:
1) _____________
On s’attend à trouver une association importante entre le test et le critère qui sont censé mesurer le construit (le concept).
2)_____________
On s’attend à trouver une association relativement faible ou négative avec le test et d’autres construits (concepts) que celui que l’on souhaite mesurer.
1) La validité convergente
2) La validité divergente (ou discriminante)
Le critère externe peut être de deux types et cela donne lieu à deux formes de validité
____________;
Fait référence à la concordance entre les résultats à un test et la valeur actuelle d’autres critères. La validité concomitante consiste à évaluer le degré de corrélation entre les scores aux tests et une mesure prise comme référence (mesure «étalon-or»).
__________:
Le test vise à prédire la valeur que prendront certains critères à l’avenir.
La validité concomitante
La validité prédictive
Pourquoi avoir des normes?
-Il faut donner un sens aux scores obtenus (bruts) à un test précis.
Notion de positionnement relatif. (score par rapport à un ensemble de scores)
-Les scores bruts des test sont interprétés en se référant à des normes d’un groupe de référence.
Les normes sont établi de façon empirique.
-A tous les jours, on raisonne en fonction de normes.
÷Contextes.
¢100 mètres en 24 secondes.
un score n’a aucun sens sans……quoi ?
contexte pour le comparer et l’expliquer
La fidélité
si une séance de testage est requises et une version de test requises… de quoi on parle ??
si une séance de testage est requises et deux versions de test sont requises ? de quoi parle t-on?
si deux séances de testage sont requises et une version ?
si deux séances de testage sont requises et deux versions ?
si une séance de lestage est requises et une version de test requises. = cohérence interne (bissection) ou homogénéité (alpha de cronbach)
si une séance de lestage est requises et deux versions de test sont requises = équivalence (version parallèle sans délai
si deux séances de testage sont requises et une version = stabilité ( test-retest)
si deux séances de testage sont requises et deux versions = équivalence et stabilité (version parallèle avec delai)
Po - Pc / 1 - Pc
Po est la proportion d’accord ______
Pc est la proportion d’accord ______ ___ __ _____
le résultat pour les tableaux 2 X 2 varie entre ______
Po = d’accord Observé
Pc= attribuable à la Chance
-1 et 1
avec un tableau 2X2 on utilise Brennan Prediger Po - Pc / 1 - Pc ici Po signifie, égal à : Pc est égal à : Pc est :
ici Po signifie: égal a la proportion d’accord entre les deux examinateurs (A + D )
Pc est égal à 1 /n soit1/2 = 0,50
Pc est 1/n (n = nombre de catégorie , donc tableau 2 par 2 1 /2 , tableau 3 par 3 1/3….. on comprend
Avec le coefficient de Kappa (k) de Cohen, il faut utiliser la formule Po - Pc / 1 - Pc, mais il y a une autre façon de calculer Pc, pour ce faire il faut utiliser les probabilités de rangement/classement des ___ _____ autant pour la présence que pour l’absence.
on utilise les proportions en bleu dans les cellules et comment on calcule les proportions en bleu ??
cellule A=
cellule D =
deux examinateurs
cellule A : total de la ligne présence pour exam 1 multiplié parle total de la colonne présence pour exam 2
cellule D: total de la ligne absence pour exam 1 multiplié par le total de la colonne absence pour exam 2
Le coefficient de Kappa (k) peut varier entre ??
-1 et 1
validité
Il faut faire attention au ___ du test; en effet, il ne faut pas considérer le ___ comme un indice précis de ce qu’il mesure.
La validité est présentée comme un concept unitaire «se rapportant non au test lui-même, mais aux _____ faites à partir des _____ de celui-ci»
nom
interférences
résultats
validité de contenue … deux formes de jugements des experts :
- validité
- validité par
- validité nominale ( un seul expert)
- validité par consensus ( deux expert ou plus)
validité de contenue
les principes de Haynes et coll (1995)
- Définir avec soin le domaine et les _____ du construit et ____ cette définition
-Utiliser un échantillon d’____ et de membres de la population de référence
- soumettre toutes les dimensions du test à une _____ _ _____
-utiliser plusieurs____ pour valider le contenu du test
-examen de la représentation proportionnelle des items en fonction des différentes _____ du construit
- dimensions et valider
- experts
- validation de contenu
- experts
- dimensions
Formule de Crocker et Algina, permet de calculer un : ______ _ _____
indice de congruence
qui suis je ?? une sorte de validité
ce type de validité consiste en une évaluation de surface des items d’un test
les personnes qui valent ne sont pas nécessairement des experts (probablement la procédure qui est le moins scientifique )
validité apparente
qui suis je ?? une sorte de validité
la plupart utilisent le terme en référence à un modèle théorique
validité de construit
deux concepts sont importants avec la validité de construit …lesquels ?
la validité convergente et la validité divergente (ou discriminante)
qui suis-je ?
une forme de validation, en référence à un critère externe, permet d’évaluer avec quel degré d’efficacité le test prédit la performance d’un individu dans une activité spécifique
validité critériée
validité critériée
le critère externe peut être de deux tyês et cela donne lieu à deux formes de validité
-la validité ______
-la validité ______
la validité concomitante et prédictive
