Résumé Flashcards
Validité de contenu
Définition précise du concept, construction d’un instrument, quelle mesure les divers aspects d’un instru sont représentatifs d’un concept (quali + quanti), indicateurs valides du concept mesuré, exhaustivité (toutes les facettes d’un concept), manière proportionnelle, évalue aussi l’administration
Exemple de validité de contenu
Tests de rendement (tableau de spécifications), tests d’aptitudes prof (comparaison contenu du test et les caractéristiques du poste), aptitudes intell + inv. prof (comparaison contenu à la définition du concept)
Validité critériée
Relation entre résultats de l’instrument et un autre critère considéré comme important indice du construit à l’étude. Prédire…
Validité de construit
Degré de certitude que reflète les comp. théoriques du concept visé. cogérence avec la structure théorique. Chapeaute et comprend critériée et de contenu. Indices de validité de construit; corrélations avec autres versions de l’instrument (r plus grand que 0,8), corrélations convergentes, analyse factorielle (poids des items, relève les facteurs, indice de saturation)
Validité critériée
Preuve pragmatique de l’utilité de l’instrument. Degré d’association, Corrélation (validité convergente avec corr. élevée ou validité divergente avec corr. faible). Également validité concomitante (association transversale en mesure simultanée), validité prédictive (association longitudinale en mesure à intervalle de temps). Capacité à distinguer les gens entre eux… ou prédire
Nom du coefficient de corrélation
Pearson = coefficient de validité
Mesure de la validité
Sous-représentaiton du construit (SC) et variance non-reliée au construit (VNRC)
On mesure en
Intensité de validité, en degrés de
La validité dépend de…
La fidélité
Validité
capacité à mesure ce qu’il prétend mesurer
Validité de contenu: temps
attention: relative au temps, nécessite d’être réévaluée
Validité apparente
se parlent entre professionnels, ce qu’il semble mesurer, sentiment subjectif. Impacts potentiels sur le style de réponse de la pers. évaluée (désirabilité sociale, biais)
Validité différentielle
Refère au fait qu’un instru est biaisée lorsqu’il fonctionne différemment selon les groupes.
Validité incrémentale
Vérifie la plus value de notre tests vs autre existant
Validité de conséquence
S’intéresse aux conséquences souhaitées ou non de l’usage, impact de la communication des résultats sur la perception de soi de la personne évaluée
Degré de validité
r plus grand que 0,5 convergente = corrélation élevée et r plus petit que 0,5 divergente = corrélation faible
Théorie de la décision associée à la validité critériée
capacité de différencier les personnes évaluées, aussi l’aspect prédictif
Sensibilité
Capacité à identifier les “cas” = vrais positifs ; VP/ (VP+FN) x 100; 2 décimales
Spécificité
Capacité à identifier les “non-cas” = vrais négatifs; VN/(VN+FP) x 100 ; 2 décimales
Objectif de la théorie de la décision
Maximiser la sensibilité et la spécificité
Critères les plus choisis
-Adapté à la clientèle
-à l’aise à l’utiliser et interpréter
-répond le plus au besoin client
-facilité d,utilisation
-coût
Critères les moins choisis
-durée d’existence du test
-exhaustivité de la mesure
-habitude d’utilisation
-possibilité de formation
-réputation de l’instrument
Critères qui devraient être plus élevés
-prop. psychométriques
-qualité des normes
-normes québécoises
Sources de biais
-administration (influence en situation de testage; variance d’erreur)
-à l’évaluateur (non-respect de la procédure d’administration, attention à avoir une neutralité bienveillante)
-à la personne évaluée (anxiété, âge (plus jeune, plus affecté), dérogation prévue pour genre aveugle)
-au contexte (passation individualisée vs massif (dérangement, distraction)
Choix d’un instrument
DECÉVVT
-Définir les besoins
-Examiner les bases conceptuelles
-Choisir le bon format
-Évaluer les normes
-Vérifier fidélité (plus grand que 0,7)
-Vérifier la validité (surtout prédictive)
-Tenir comptes des contraintes pratiques (langue, coût, ext.)
Considérations de l’admin d’un instru
-Choisir un ou plusieurs (batteries de test)
-Individuel ou groupal (tjrs mieux indivi)
-Bonnes dispositions pour passer le test
-Rassurer la nature confidentielle
-Nécessaire de standardiser la procédure d’admin pour (comp., éviter de biaiser, attention aux consignes abrégées ou temps alloué non resp.)
Sources d’info sur les instru
1-Répertoires d’instru publiées ou non publiées
2-Séries périodiques de compte rendus critiques
3-Répertoires électroniques en version élec
4-Recueils spécialisés
5-Ouvrages consacrés à un instrument
6-Manuels de psychométrie
7-Revues scientifiques
8-Catalogues d’éditeurs
9-Utilisateurs d’instruments
Admin. informatisée +
-meilleure efficacité pour calcul des scores
-moins cher
-contrôle de l’ordre de présentation des questions
-limiter le nombre de réponses manquantes
-sauvegarde de données numriques et à des fins stat
-utilisation de la plus récente version
-à distance, au meilleur moment
-contrôle le biais évaluateur
Admin informatisée -
-Certains tests ne sont pas informatisables
-Études requises pour adapter de papier-crayon à informatique
-Biais de non-familiarité de l’informatique
-Danger que la personne le prenne à la légère
À distance;
-savoir si c’est réellement la personne évaluée qui répond ou si elle a été aidée
Comptabilisation des résultats
-cumuler les réponses aux items ou épreuves en 1 ou plusieurs scores
-manuel indique les infos sur la façon de faire
-à l’aide d’un calque ou d’une grille
-pondération spécifique
-indications sur comment gérer les rép. manquantes
-échelles de validité pour rép aléatoires ou dites mensongères ou tend. à l’acqui.
Normes
-score brut n’est jamais interprétable seul
-scores sont interprétés en référant à des normes d’un échantillon normatif
-on situe le score d’un individu à l’intérieur de la distribution de scores des personnes de l’échantillons normatif (indice sur la performance et situe sa position relative)
Critères importants des normes
moins de 10 ans et N plus grand que 1000, échantillon doit être représentatif d’une population de la clientèle définie. Avant d’utiliser un instrument sur une personne, s’assurer que des normes sont dispos pour sa population
Normes intragroupes
score pondéré: exprimant le rang d’un score ou sa position relative à la moyenne de manière standardisée (comme score Z)
2 méthodes de normes intragroupes
1-mettre en rang tous les scores; rang centile, déciles, quartiles ou stanines
2-position du score individuel p/r à la moyenne de l’échelle normatif; score Z, T, ou QI de déviation
score Z
transfo de score brut
distance à la moyenne exprimé en écart-type
M=0 ÉT=1; 2 décimales
Z=(X-M)/ÉT
On ressort ensuite la proportion de valeurs se situant entre la moyenne et la valeur de Z. Lorsque Z plus grand que 0; 50%+ la proportion de Z. Lorsque Z plus petit que 0; 50%-proportion de Z.
Avantages du score Z
part du score brut, on peut comparer des scores d’instruments différents ou des scores de sous-échelles
Désavantage du score Z
décimales
Score T
M = 50 ÉT= 10; T=50 + 10 x Z. Pas de décimales, pas de négatif. On commence par trouver le Z. Largement utilisé dans les tests inventaires de perso et intérêts.
QI de déviation
pas de négatif. M =100 et ÉT = 15 ou 16. QI = 100 + 15 x Z. tests d’intelligence WAIS-WISC
Quantiles
position relative
quartiles; 4 classes des 25%
quintiles; 5 classes de 20%
déciles; 10 classes de 10%
centiles; 100 classes de 1% (le plus utilisé, fréquemment confondu avec %)
PAS de décimales, l’unité la plus haute. 22,4% sera 23e centile
Stanines
Standard nine. 9 catégories. Rend compte de la distribution normale.
M= 5 ÉT= 2, dérivées des rangs centiles. Moins précis que les autres normes intragroupes cependant.
Instruments critériées
ex: passer un examen à 60%, on tient compte de l’intervalle de confiance. Interprétation plus simple.
