Mesure Et Évaluation Flashcards
Qualité métrologique + tests stats + modèles conceptuels
Validité (définition)
Permet de vérifie si un instrument mesure ce qu’il doit/prétend mesurer.
==> Décrit comment l’outil de mesure reflète l’information à propos d’un concept.
Fidélité/ Fiabilité (définition)
Permet de vérifier dans quelle mesure les résultats ou les scores observés sont exempts d’erreur.
Capacité à donner des résultats identiques lorsqu’un outil de mesure est appliqué dans le meme contexte à plusieurs occasions.
- Absence d’ardeur aléatoire dans la mesure
- Réfère à la stabilité de la mesure
Sensibilité aux changements (définition)
Permet de vérifier si l’instrument étudié peut discriminer différents degrés d’intensité du concept qu’il mesure (s’il y a présence de changements significatifs)
Applicabilité (definition)
Permet de déterminer dans quel contexte un outil peut être utilisé.
Faisabilité (définition)
Utilisation compatible avec les contraintes inhérentes du milieu.
Étapes de la pratique basée sur les données.
Sackett et Al (2000)
1) Formuler une question ❓
2) Trouver données probantes (stratégie de recherche/mots clés)
3) Effectuer évaluation critique de la validité et applicabilité des données trouvées (base de données DARE ou réalisation lui même)
4) Identifier résultats les + importants (sont ils applicables ?)
5) Vérifier régulièrement nouvelles données / trouver tests de suivis.
Applicabilité (❓)
Le contenu et l’emphase sont ils adaptés à ce que l’on veut mesurer?
(Mesure spécifiques versus mesures génériques)
Mesures génériques
Functional independence measure
Comparer diverses population
Mesures spécifiques
Études dans une population spécifiques
Applicabilité - stats?
Pas de mesure stats, jugement que l’on porte sur sa capacité à rencontrer les besoins de l’étude.
Faisabilité - question ❓
Le contexte clinique est il favorable à l’utilisation de l’instrument ?
(Coûts? Temps? Équipements ? Formation ?…)
Usagers peuvent ils être soumis aux procédures qui peuvent prendre bcp de temps?
Les contraintes d’utilisation de l’outils sont elles essentielles à notre démarche cliniques ?
Faisabilité - test statistique
Aucune procédure statistique n’est utilisée.
Faisabilité - test statistique
Aucune procédure statistique n’est utilisée.
Validité - principaux types
Apparente
De critères
De contenu
De construit
Note: tous les auteurs ne s’entendent pas sur la définition des types de validité.
Validité apparente - question ❓
Est ce que le test semble mesurer ce qu’il doit mesurer?
Validité apparente - test statistique ?
Rien.
Méthode la moins rigoureuse.
Basée sur l’impression.
Ne devrait pas être considérée comme suffisante.
Validité apparente - cas d’utilisation
Souvent attribué aux tests d’amplitude, mouvements, forces, discrimination et sensations ==> observations.
Validité de contenu - définition
L’étendue avec laquelle une mesure représente toutes les dimensions théoriques du concept d’intérêt.
Généralement 1ere étapes que réalisé le chercheur qui développe un outil.
Validité de contenu - méthode
Soumission à un groupe d’experts (~10-15) qui connaissent le domaine et auront à porter un jugement sur la qualité de l’outil.
(Items ou éléments adéquats pour couvrir le concept interrogé, énoncés et consignes sont libellés de manière explicite)
Validité de contenu - analyse statistique
Méthode qualitative : le chercheur utilisé les commentaires des experts pour bonifier son outil de mesure.
Validité de critères (définition)
Étendue avec laquelle une mesure est reliée à une autre mesure de référence (étalon ou gold Standard)
Quelle approche est considérée comme la plus pratique et la plus valide pour tester la validité de mesure?
Validé de critère
Validité de critère : principaux types
Validité de critère concomitant
Validité de critère prédictive
Validité de critère concomitante (définition)
Niveau d’association des résultats mesurés avec un nouvel outil comparativement aux résultats obtenus avec une mesure étalon.
(Mesure prise en même temps)
Validité de critère concomitante - objectif
Tester la validité des tests diagnostiques
Tester la validité d’un nouveau test, potentiellement plus efficace.
Validité de critères concomitante - test stats
Analyses de corrélations
Validité de critère prédictive (définition)
1) L’étendue avec laquelle un test effectué à un temps donnée peut prédire les résultats futurs d’un autre test.
(TUG utilisé chez PA pour prédire le risque de chute)
2) Déterminer si un outil de mesure peut prédire des résultats obtenus par un outils qui mesure un autre concept, mais dont le construit est supposé être associé au concept initial
Validité de critère prédictive - tests stats
Relation entre test cible et résultats final analysé.
Nécessite plusieurs temps de mesure
Ex: amplitude articulaire à T1 puis T2
Validité de critère - tests stats
Corrélations entre le test cible et gold standard
==> Si le coefficient est haut (proche de 1) le test est considéré comme une méthode valide.
Validité de construit (définition)
L’étendue avec laquelle une mesure est liée ou est représentée du construit à l’étude et jusqu’à quel point le construit à l’étude est bien défini.
Validité de construit - condition d’application et implication
Pas de gold standard
Implique de générer une ou plusieurs théories sur la variable d’intérêt pour ensuite vérifier si la théorie s’applique à ce qui a été trouvé dans les résultats.
Validité de construit - différents types
Validité de convergence (convergent)
Validité de divergence (divergente)
Validité discriminante (discriminative)
Validité de convergence
Capacité à obtenir des résultats qui corrèlent fortent avec ceux obtenus par un autre outil mesurant un concept apparenté.
Opp: validité de divergence
Validité de divergence
Capacité à obtenir des résultats qui corrèlent faiblement avec ceux obtenus par un autre outils mesurant un concept différents
Opp: Validité de convergence.
Validité de divergence et de convergence - test stats
Coefficients de corrélations (r)
Coefficient de corrélation r, valeurs
1 = parfaite > 0.8 très forte Entre 0.5 et 0.8 forte Entre 0.2 et 0.5 moyenne Entre 0 et 0.2 faible =0 nulle
p versus r
Une forte corrélation (r) n’indiquent pas un résultat significatifs (p)
P généralement établi à 5%
Validité discriminante (définition)
Capacité à distinguer les résultats obtenus par 2 groupes ayant des caractéristiques différentes.
Validité discriminante - test stats
Tests de différences !
Test-t ou ANOVA –> déterminer si les résultats entre les groupes different.
Coefficient de corrélation pourraient également être utilisé pour évaluer similarité et divergence entre les groupes étudiés.
Effet plancher/plafond (floor and ceiling effect)
Se produire lorsque les données ne peuvent pas prendre une valeur plus petite qu’un nombre particulier (plancher) ou plus haute (plafond).
Analyse factorielle : famille
Famille des analyses multivariées utilisée pour décrire la variabilité entre les variables observées, au moyen de variables latentes (non observées)
Pour réduire le nombre de variables, la méthode calcule ces variables latentes comme combinaisons linéaires des variables observées.
Analyse factorielle en métrologie - objectifs
Déterminer la structure (l’organisation) qui régit les inter-relations entre une série de variables (ex: Items présents dans un instrument de mesure)
Exploitée parfois pour vérifier le degré d’homogénéité (consistance interne) d’un questionnaire, car celui ci dépend des relations existantes entre les items qui le composent.
La méthode permet également de déterminer si ces éléments peut être “regroupés” en un ou plusieurs ensembles (dimensions. Facteurs) homogènes.
Examiner 1 à 1 les corrélations d’une matrice est un exercice long et ardu. Qd il y a bcp de corrélations significative, il est difficile de toutes se les représenter. L’analyse factorielle permet de systématiser et simplifier cette interprétation.
Consistance interne - définition
Degré d’homogénéité d’un questionnaire.
Considération à l’égard de l’analyse factorielle
1) si analyse de régression pas possible alors analyse factorielle pas possible
2) Pour faciliter l’interprétation de la matrice de saturation, il faut un répertoire de variables le plus diversifié possible
3) les variables doivent être principalement sensibles à des facteurs généraux plutôt qu’à des variables spécifiques
4) l’échantillon doit contenir plus de 10 participants
5) L’indice KMO (kaiser-Meyer-olkin) est un critère fiable de qualité.
Indice KMO (kaiser Meyer olkin)
Déterminer si les données ont une certaine probabilité de se regrouper sous des facteurs communs
Il doit tendre vers 1, sinon la factorisation n’est pas conseillée.
> 0.8 souhaitable
- 7 minimalement acceptable
- 6 médiocre.
Ou
- 6 à 0.7 médiocre
- 7 à 0.8 moyen (souhaitable)
- 8 méritoire
Fiabilité (synonymes)
Fidélité/ reliabilité /reproductibilité
Reproductibilité/fiabilité - dimensions
Stabilité –> fidélité test retest
Cohérence interne
Fidélité - Sources de variabilité (composantes)
1) Outil de mesure/appareil/ procédure/ questionnaire.
2) Évaluateur.
3) Variations entre les évaluateurs
4) Participants à l’étude / sujet.
Illustration : Mesure amplitude
1) goniomètre = axes trop mobile
2) Positionnement de l’évaluateur, manque de Constance dans l’identification des points de référence, erreur de lecture …
3) variations similaires entre évaluateurs
4) tolérance différentes aux mouvements, activités effectués avant la mesure ..
Fidélité - Sources de variabilité (considérations)
Une seule étude ne peut pas déterminer toutes les sources de variabilité, le développeur de l’outil doit déterminer la composante qu’il souhaite étudier.
Fidélité - Méthodologie
2 évaluations par 1 ou 2 évaluateurs. (Dépendent du type de fidélité étudié).
Délai court entre les passations pour éviter les changements dans la situation des participants.
30-50 sujets
Fidélité test retest - question ❓
Dans quelle mesure le résultat obtenu à l’aide d’un outil de mesure varie dans le temps, i.e. lors d’évaluations répétées, dans les mêmes conditions, à différents temps?
Fidélité test-retest - objectif ?
Vérifier la stabilité dans le temps.
Consiste à répéter une mesure chez les mêmes participants, avec le même outil et dans les mêmes conditions pour en mesurer la stabilité dans le temps.
Fidélité test-retest - A quoi s’applique le terme?
Outils de mesure non influencé par l’évaluateur.
Auto-questionnaire
Reliabilité - Intervalles de temps
Reliabilité/ fidélité
Questionnaire 10-14 jours
Amplitude articulaire - possible sur la même journée.
EMG - autres jours pour atténuer les biais attribuables à la fatigue.
Reliabilité - Intervalles de temps
Reliabilité/ fidélité
Questionnaire 10-14 jours
Amplitude articulaire - possible sur la même journée.
EMG - autres jours pour atténuer les biais attribuables à la fatigue.
Fiabilité intra-évaluateur - question ❓
Dans quelle mesure les résultats obtenus par un évaluateur à deux moments différents sont comparables (ou associées)?
Fidélité intra évaluateur - considération clinique
L’étude de ce type de fidélité implique, pour un participant, 2 passations ou plus qui seront effectuées par le même évaluateur.
Fidélité intra évaluateur - considération clinique
L’étude de ce type de fidélité implique, pour un participant, 2 passations ou plus qui seront effectuées par le même évaluateur.
Fidélité inter-evaluateur - question ❓
Dans quelle mesure le résultat obtenu par un évaluateur est comparable à celui obtenu par un ou plusieurs autres évaluateurs ?
Fidélité inter-evaluateur- définition
Est indicatrice de la stabilité d’une mesure réalisée par plusieurs évaluateurs chez les mêmes participants à l’étude et cela de façon indépendante.
Fidélité inter juge - méthodologie
Une seule collecte de données, lors de laquelle les 2 évaluateurs sont présents.
Utilisé pour les diagnostics cliniques où la réponse attendue et dichotomique.
Fidélité/ fiabilité - test stats
% d’accord entre 2 mesures
Coefficient de corrélation intraclasse (ICC) = variables de type proportionnel ou par intervalles
Coefficient Kappa de Cohen = variables nominales ou ordinales
Erreur standard de mesure (SEM)
Changement minimal détectable (MDC)
Approche de Bland et Altman (limite de l’accord) = représentation graphique.
▶️ Dépend du type de variables (quali/quanti)
▶️ Dépend du type de fidélité à l’épreuve
% d’accord
Fidélité
100* [ (vrais positifs+vrais négatifs)/n]
% d’accord - problématique
Ne tient pas compte du pourcentage d’accord qui pourrait être lié à la chance.
Une méthode pour contourner ce biais consiste à considérer séparément les vrais positifs et les vrais négatifs et rapporter le pourcentage ainsi obtenus de façon individuelle.
ICC - définition
Erreur relative reflétant à la fois le degré de corrélation et d’accord entre les données.
Valeur de 0 à 1
Basé sur des mesures de variances obtenu par une analyse de variance (ANOVA)
ICC - avantages
Peut analyser 2 groupes ou plus
Séries n’ayant pas le même nombre de données
Surtout pour données proportionnelles ou par intervalles –> Peut être appliqué sans altérations a des données ordinales
ICC - interprétation
ICC élevé = bonne fidélité
ICC faible :
- évaluateurs/ scores différent de manière importante entre les passations.
- variance trop faible (score entre 8et 9 sur une échelle entre 0 et 10).
Rappel qualité métrologique - définition
Approches méthodologiques qui permettent de réduire l’erreur de mesure lors du développement d’un outil de mesure.
Permet de décider de la pertinence d’utiliser ou non un nouveau test dans la pratique.
Intérêt tests diagnostiques
Aider les thérapeutes à guider ses interventions auprès de l’usager.
Prévoir la récupération de l’usager dans le temps.
Contribuer à poser diagnostic.
Qualités d’un test diagnostique- nombre et nom?
Sensibilité
Spécificité
Valeur prédictive positive
Valeur prédictive negative