Mesure Et Évaluation Flashcards
Qualité métrologique + tests stats + modèles conceptuels
Validité (définition)
Permet de vérifie si un instrument mesure ce qu’il doit/prétend mesurer.
==> Décrit comment l’outil de mesure reflète l’information à propos d’un concept.
Fidélité/ Fiabilité (définition)
Permet de vérifier dans quelle mesure les résultats ou les scores observés sont exempts d’erreur.
Capacité à donner des résultats identiques lorsqu’un outil de mesure est appliqué dans le meme contexte à plusieurs occasions.
- Absence d’ardeur aléatoire dans la mesure
- Réfère à la stabilité de la mesure
Sensibilité aux changements (définition)
Permet de vérifier si l’instrument étudié peut discriminer différents degrés d’intensité du concept qu’il mesure (s’il y a présence de changements significatifs)
Applicabilité (definition)
Permet de déterminer dans quel contexte un outil peut être utilisé.
Faisabilité (définition)
Utilisation compatible avec les contraintes inhérentes du milieu.
Étapes de la pratique basée sur les données.
Sackett et Al (2000)
1) Formuler une question ❓
2) Trouver données probantes (stratégie de recherche/mots clés)
3) Effectuer évaluation critique de la validité et applicabilité des données trouvées (base de données DARE ou réalisation lui même)
4) Identifier résultats les + importants (sont ils applicables ?)
5) Vérifier régulièrement nouvelles données / trouver tests de suivis.
Applicabilité (❓)
Le contenu et l’emphase sont ils adaptés à ce que l’on veut mesurer?
(Mesure spécifiques versus mesures génériques)
Mesures génériques
Functional independence measure
Comparer diverses population
Mesures spécifiques
Études dans une population spécifiques
Applicabilité - stats?
Pas de mesure stats, jugement que l’on porte sur sa capacité à rencontrer les besoins de l’étude.
Faisabilité - question ❓
Le contexte clinique est il favorable à l’utilisation de l’instrument ?
(Coûts? Temps? Équipements ? Formation ?…)
Usagers peuvent ils être soumis aux procédures qui peuvent prendre bcp de temps?
Les contraintes d’utilisation de l’outils sont elles essentielles à notre démarche cliniques ?
Faisabilité - test statistique
Aucune procédure statistique n’est utilisée.
Faisabilité - test statistique
Aucune procédure statistique n’est utilisée.
Validité - principaux types
Apparente
De critères
De contenu
De construit
Note: tous les auteurs ne s’entendent pas sur la définition des types de validité.
Validité apparente - question ❓
Est ce que le test semble mesurer ce qu’il doit mesurer?
Validité apparente - test statistique ?
Rien.
Méthode la moins rigoureuse.
Basée sur l’impression.
Ne devrait pas être considérée comme suffisante.
Validité apparente - cas d’utilisation
Souvent attribué aux tests d’amplitude, mouvements, forces, discrimination et sensations ==> observations.
Validité de contenu - définition
L’étendue avec laquelle une mesure représente toutes les dimensions théoriques du concept d’intérêt.
Généralement 1ere étapes que réalisé le chercheur qui développe un outil.
Validité de contenu - méthode
Soumission à un groupe d’experts (~10-15) qui connaissent le domaine et auront à porter un jugement sur la qualité de l’outil.
(Items ou éléments adéquats pour couvrir le concept interrogé, énoncés et consignes sont libellés de manière explicite)
Validité de contenu - analyse statistique
Méthode qualitative : le chercheur utilisé les commentaires des experts pour bonifier son outil de mesure.
Validité de critères (définition)
Étendue avec laquelle une mesure est reliée à une autre mesure de référence (étalon ou gold Standard)
Quelle approche est considérée comme la plus pratique et la plus valide pour tester la validité de mesure?
Validé de critère
Validité de critère : principaux types
Validité de critère concomitant
Validité de critère prédictive
Validité de critère concomitante (définition)
Niveau d’association des résultats mesurés avec un nouvel outil comparativement aux résultats obtenus avec une mesure étalon.
(Mesure prise en même temps)
Validité de critère concomitante - objectif
Tester la validité des tests diagnostiques
Tester la validité d’un nouveau test, potentiellement plus efficace.
Validité de critères concomitante - test stats
Analyses de corrélations
Validité de critère prédictive (définition)
1) L’étendue avec laquelle un test effectué à un temps donnée peut prédire les résultats futurs d’un autre test.
(TUG utilisé chez PA pour prédire le risque de chute)
2) Déterminer si un outil de mesure peut prédire des résultats obtenus par un outils qui mesure un autre concept, mais dont le construit est supposé être associé au concept initial
Validité de critère prédictive - tests stats
Relation entre test cible et résultats final analysé.
Nécessite plusieurs temps de mesure
Ex: amplitude articulaire à T1 puis T2
Validité de critère - tests stats
Corrélations entre le test cible et gold standard
==> Si le coefficient est haut (proche de 1) le test est considéré comme une méthode valide.
Validité de construit (définition)
L’étendue avec laquelle une mesure est liée ou est représentée du construit à l’étude et jusqu’à quel point le construit à l’étude est bien défini.
Validité de construit - condition d’application et implication
Pas de gold standard
Implique de générer une ou plusieurs théories sur la variable d’intérêt pour ensuite vérifier si la théorie s’applique à ce qui a été trouvé dans les résultats.
Validité de construit - différents types
Validité de convergence (convergent)
Validité de divergence (divergente)
Validité discriminante (discriminative)
Validité de convergence
Capacité à obtenir des résultats qui corrèlent fortent avec ceux obtenus par un autre outil mesurant un concept apparenté.
Opp: validité de divergence
Validité de divergence
Capacité à obtenir des résultats qui corrèlent faiblement avec ceux obtenus par un autre outils mesurant un concept différents
Opp: Validité de convergence.
Validité de divergence et de convergence - test stats
Coefficients de corrélations (r)
Coefficient de corrélation r, valeurs
1 = parfaite > 0.8 très forte Entre 0.5 et 0.8 forte Entre 0.2 et 0.5 moyenne Entre 0 et 0.2 faible =0 nulle
p versus r
Une forte corrélation (r) n’indiquent pas un résultat significatifs (p)
P généralement établi à 5%
Validité discriminante (définition)
Capacité à distinguer les résultats obtenus par 2 groupes ayant des caractéristiques différentes.
Validité discriminante - test stats
Tests de différences !
Test-t ou ANOVA –> déterminer si les résultats entre les groupes different.
Coefficient de corrélation pourraient également être utilisé pour évaluer similarité et divergence entre les groupes étudiés.
Effet plancher/plafond (floor and ceiling effect)
Se produire lorsque les données ne peuvent pas prendre une valeur plus petite qu’un nombre particulier (plancher) ou plus haute (plafond).
Analyse factorielle : famille
Famille des analyses multivariées utilisée pour décrire la variabilité entre les variables observées, au moyen de variables latentes (non observées)
Pour réduire le nombre de variables, la méthode calcule ces variables latentes comme combinaisons linéaires des variables observées.
Analyse factorielle en métrologie - objectifs
Déterminer la structure (l’organisation) qui régit les inter-relations entre une série de variables (ex: Items présents dans un instrument de mesure)
Exploitée parfois pour vérifier le degré d’homogénéité (consistance interne) d’un questionnaire, car celui ci dépend des relations existantes entre les items qui le composent.
La méthode permet également de déterminer si ces éléments peut être “regroupés” en un ou plusieurs ensembles (dimensions. Facteurs) homogènes.
Examiner 1 à 1 les corrélations d’une matrice est un exercice long et ardu. Qd il y a bcp de corrélations significative, il est difficile de toutes se les représenter. L’analyse factorielle permet de systématiser et simplifier cette interprétation.
Consistance interne - définition
Degré d’homogénéité d’un questionnaire.
Considération à l’égard de l’analyse factorielle
1) si analyse de régression pas possible alors analyse factorielle pas possible
2) Pour faciliter l’interprétation de la matrice de saturation, il faut un répertoire de variables le plus diversifié possible
3) les variables doivent être principalement sensibles à des facteurs généraux plutôt qu’à des variables spécifiques
4) l’échantillon doit contenir plus de 10 participants
5) L’indice KMO (kaiser-Meyer-olkin) est un critère fiable de qualité.
Indice KMO (kaiser Meyer olkin)
Déterminer si les données ont une certaine probabilité de se regrouper sous des facteurs communs
Il doit tendre vers 1, sinon la factorisation n’est pas conseillée.
> 0.8 souhaitable
- 7 minimalement acceptable
- 6 médiocre.
Ou
- 6 à 0.7 médiocre
- 7 à 0.8 moyen (souhaitable)
- 8 méritoire
Fiabilité (synonymes)
Fidélité/ reliabilité /reproductibilité
Reproductibilité/fiabilité - dimensions
Stabilité –> fidélité test retest
Cohérence interne
Fidélité - Sources de variabilité (composantes)
1) Outil de mesure/appareil/ procédure/ questionnaire.
2) Évaluateur.
3) Variations entre les évaluateurs
4) Participants à l’étude / sujet.
Illustration : Mesure amplitude
1) goniomètre = axes trop mobile
2) Positionnement de l’évaluateur, manque de Constance dans l’identification des points de référence, erreur de lecture …
3) variations similaires entre évaluateurs
4) tolérance différentes aux mouvements, activités effectués avant la mesure ..
Fidélité - Sources de variabilité (considérations)
Une seule étude ne peut pas déterminer toutes les sources de variabilité, le développeur de l’outil doit déterminer la composante qu’il souhaite étudier.
Fidélité - Méthodologie
2 évaluations par 1 ou 2 évaluateurs. (Dépendent du type de fidélité étudié).
Délai court entre les passations pour éviter les changements dans la situation des participants.
30-50 sujets
Fidélité test retest - question ❓
Dans quelle mesure le résultat obtenu à l’aide d’un outil de mesure varie dans le temps, i.e. lors d’évaluations répétées, dans les mêmes conditions, à différents temps?
Fidélité test-retest - objectif ?
Vérifier la stabilité dans le temps.
Consiste à répéter une mesure chez les mêmes participants, avec le même outil et dans les mêmes conditions pour en mesurer la stabilité dans le temps.
Fidélité test-retest - A quoi s’applique le terme?
Outils de mesure non influencé par l’évaluateur.
Auto-questionnaire
Reliabilité - Intervalles de temps
Reliabilité/ fidélité
Questionnaire 10-14 jours
Amplitude articulaire - possible sur la même journée.
EMG - autres jours pour atténuer les biais attribuables à la fatigue.
Reliabilité - Intervalles de temps
Reliabilité/ fidélité
Questionnaire 10-14 jours
Amplitude articulaire - possible sur la même journée.
EMG - autres jours pour atténuer les biais attribuables à la fatigue.
Fiabilité intra-évaluateur - question ❓
Dans quelle mesure les résultats obtenus par un évaluateur à deux moments différents sont comparables (ou associées)?
Fidélité intra évaluateur - considération clinique
L’étude de ce type de fidélité implique, pour un participant, 2 passations ou plus qui seront effectuées par le même évaluateur.
Fidélité intra évaluateur - considération clinique
L’étude de ce type de fidélité implique, pour un participant, 2 passations ou plus qui seront effectuées par le même évaluateur.
Fidélité inter-evaluateur - question ❓
Dans quelle mesure le résultat obtenu par un évaluateur est comparable à celui obtenu par un ou plusieurs autres évaluateurs ?
Fidélité inter-evaluateur- définition
Est indicatrice de la stabilité d’une mesure réalisée par plusieurs évaluateurs chez les mêmes participants à l’étude et cela de façon indépendante.
Fidélité inter juge - méthodologie
Une seule collecte de données, lors de laquelle les 2 évaluateurs sont présents.
Utilisé pour les diagnostics cliniques où la réponse attendue et dichotomique.
Fidélité/ fiabilité - test stats
% d’accord entre 2 mesures
Coefficient de corrélation intraclasse (ICC) = variables de type proportionnel ou par intervalles
Coefficient Kappa de Cohen = variables nominales ou ordinales
Erreur standard de mesure (SEM)
Changement minimal détectable (MDC)
Approche de Bland et Altman (limite de l’accord) = représentation graphique.
▶️ Dépend du type de variables (quali/quanti)
▶️ Dépend du type de fidélité à l’épreuve
% d’accord
Fidélité
100* [ (vrais positifs+vrais négatifs)/n]
% d’accord - problématique
Ne tient pas compte du pourcentage d’accord qui pourrait être lié à la chance.
Une méthode pour contourner ce biais consiste à considérer séparément les vrais positifs et les vrais négatifs et rapporter le pourcentage ainsi obtenus de façon individuelle.
ICC - définition
Erreur relative reflétant à la fois le degré de corrélation et d’accord entre les données.
Valeur de 0 à 1
Basé sur des mesures de variances obtenu par une analyse de variance (ANOVA)
ICC - avantages
Peut analyser 2 groupes ou plus
Séries n’ayant pas le même nombre de données
Surtout pour données proportionnelles ou par intervalles –> Peut être appliqué sans altérations a des données ordinales
ICC - interprétation
ICC élevé = bonne fidélité
ICC faible :
- évaluateurs/ scores différent de manière importante entre les passations.
- variance trop faible (score entre 8et 9 sur une échelle entre 0 et 10).
Rappel qualité métrologique - définition
Approches méthodologiques qui permettent de réduire l’erreur de mesure lors du développement d’un outil de mesure.
Permet de décider de la pertinence d’utiliser ou non un nouveau test dans la pratique.
Intérêt tests diagnostiques
Aider les thérapeutes à guider ses interventions auprès de l’usager.
Prévoir la récupération de l’usager dans le temps.
Contribuer à poser diagnostic.
Qualités d’un test diagnostique- nombre et nom?
Sensibilité
Spécificité
Valeur prédictive positive
Valeur prédictive negative
Évaluation des qualités d’un outil diagnostic : tableau 2*2
Présent. Absent
Present. A. B
Absent C. D
A et D = pas erreur de mesure
C = faux négatifs
B = faux positif
Sensibilité - définition et mesures
Probabilité que le test soit positif si la personne est atteinte de maladie.
==> Nombre de vrais positifs divisé par le nombre total de personne malade. (Vrais positifs+faux négatifs)
Cf tableau 2*2
A/(A+C)
Spécificité - définition et mesure
Probabilité qu’un test soit négatifs si la personne n’est pas malade.
==> C’est le nombre de vrais négatifs (tests négatifs chez les personnes non atteintes de la maladie) divisé par le nombre total de non malades.
D/(B+D).
Plus un test est spécifique, moins il occasionne de faux positifs et plus il permet, s’il est positif, de confirmer la maladie.
Spécificité et sensibilité - valeur acceptable
Un test dont la sensibilité ou la spécificité serait inférieur à 50% serait moins performant qu’un diagnostic.
Valeur prédictive positive
Test la probabilité que la personne soit réellement atteinte de la pathologie si son test est positif.
==> Nombre total de personne dont le test est positif
A/(A+B)
Valeur prédictive negative
Probabilité que la personne ne soit pas atteinte de la pathologie si son test est négatif.
D/(C+D)
Valeur prédictive+ et - : considération
Les valeurs prédictives d’un test sont influencés par les prévalence de la problématique étudiées.
Plus la prévalence est grande, plus la valeur prédictive positive est grande, et plus la valeur prédictive negative est petite.
Courbe Roc - définition et objectifs
Courbe receiver operator characteristic
Lorsque les résultats d’un outil diagnostic de distribuent d’une une échelle continue, il est important de déterminer une valeur seuil qui sera utilisée pour établir le diagnostic.
Courbe Roc - mesure
Mesure de la sensibilité et les spécificité de l’outil diagnostic en utilisant chacune de ces valeurs comme valeur seuil.
Courbe Roc - représentation graphique
La courbe Roc représente l’ensemble des valeurs seuils sur un graphique dont :
X= 100% - spécificité ou 1-specificité
Y= sensibilité
Ainsi un test parfait se trouverait près du coin gauche.
Courbe ROC - choix de l’outil
Le plus souvent les valeur seuil est utilisé mais il est possible par exemple pour un test dépistage que le clinicien décide d’utiliser un seuil différents afin de maximiser la spécificité ou les sensibilité.
Etapes du processus diagnostique
1) Etablir/Estimer la probabilité pré-test (prévalence de la problématique)
2) Outil diagnostique (choix, utilisation, cotation)
3) Déterminer la probabilité post-test
Probabilité pré-test : estimation
Post test
Prévalence du pb
FR de l’usager
Présence ou Abs de certains symptôme ou signe
Expérience clinique.
post test = déterminée en fonction des résultats obtenus avec l’outil diagnostique.
Rapports de vraisemblance : définition
Les RV (positif ou négatif) sont les indices qui facilitent le calcul de la probabilité post-test d’une pathologie
RV positifs : définition et calcul
C’est le rapport de la probabilité d’avoir un test positif quand il y a pathologie (sensibilité) sur la probabilité d’avoir un test positif quand il n’y a pas de pathologie (1-spécificité).
sensibilité / (1-spécificité)
RV négatif
C’est le rapport de la probabilité d’avoir un test négatif quand il y a pathologie (1-sensibilité) sur la probabilité d’avoir un test négatif quand il n’y a pas de pathologie (spécificité).
(1- sensibilité) / (spécificité)
RV négatif
C’est le rapport de la probabilité d’avoir un test négatif quand il y a pathologie (1-sensibilité) sur la probabilité d’avoir un test négatif quand il n’y a pas de pathologie (spécificité).
(1- sensibilité) / (spécificité)
Utilisation des rapport de vraisemblance
OBJ = Déterminer la probabilité post-test du diagnostic. (ampleur du changement).
Plus le rapport de vraisemblance
d’un test positif est grand et plus le rapport de vraisemblance d’un test
négatif est petit, plus le test est utile cliniquement.
Interprétation des RV
Plus le rapport de vraisemblance d’un test positif est élevé, plus il vous permet de confirmer la pathologie.
Plus le rapport de vraisemblance d’un test négatif est petit, plus il nous permet d’exclure la pathologie.
RV et nomogramme
cf IMAGE COURS (module 5) Il s'agit de poser une règle sur le nomogramme, d'aligner la probabilité pré-test et le rapport de vraisemblance et de lire la probabilité post-test
(d’un côté p pré-test au milieu et post test à droite et on trace un trait)
Choix de l’outil diagnostique en fonction de la probabilité pré-test
1) En fonction de la probabilité pré-test :
> Faible = préférable de ne pas tester ou d’adopter une conduite clinique assumant l’absence du diagnostic.
> Modérée = recours utile pour aider à guider la conduite clinique.
> Forte = souvent préférable de ne pas tester et d’adopter une conduite clinique assumant la présence du diagnostic.
L’utilisation d’un test diagnostique pourra être favorisée dans la situation où le
diagnostic à établir est une pathologie potentiellement grave, pour laquelle il
existe un traitement efficace et sécuritaire ou lorsqu’un test très performant ou
peu coûteux ou sécuritaire est disponible.
Outil diagnostique :
> Pour dépister ou éliminer un diagnostic
> Pour confirmer un diagnostic
> Pour EXCLURE ou DÉPISTER un problème ou une condition, un test SENSIBLE
est préférable parce qu’il diminue les faux négatifs.
Pour CONFIRMER un problème ou une condition, un test SPÉCIFIQUE est
favorisé puisqu’il diminue le nombre de faux positifs.
Probabilité pré-test intermédiaire, il est intéressant de débuter l’investigation par un test de dépistage. (permettre d’augmenter suffisamment notre niveau de certitude sur le diagnostic de l’usager afin de justifier l’utilisation ou l’absence d’utilisation d’un test plus spécifique, mais souvent plus couteux)
Test sensible
Etablir la présence d’un problème ou d’une maladie que pour déterminer le pronostic d’un patient lorsque les conséquences d’un résultat faux négatif sont importantes. => C’est le cas lorsque les problème est grave et qu’il existe un ttt simple et efficace.
Test spécifique
Privilégié pour minimiser les faux positifs si le problème est grave, le ttt dangereux ou s’il n’existe pas de ttt, par crainte de voir la personne subir les conséquences d’un résultat erroné.
Outils diagnostiques - considérations
L’utilisation d’un test pour “un bilan de base” génère rarement des résultats utiles et bénéfiques. Se demander si le résultat changera votre conduite et améliorera la récupération de l’usager.
Outil diagnostique - Qualité psychométrique.
Sensibilité - Spécificité Valeur prédictive positive - VR négative Probabilité pré test Probabilité post test > Rapport de vraisemblance
M1 = notion de base en mesure et évaluation.
Terminologie ?
Mesure (measurement) - Evaluation - Processus d’évaluation (assessment) - Test, outil de mesure (measurement tool) - Résultat (outcome) - Mesure de résultats (outcome measure) - Standardisation (standardization)
M1 = Mesure - définition
> Pas à être mémorisé juste comprendre.
il y a une assignation de valeurs à des objets, des événements ou des
caractéristiques permettant de les différencier entre eux.
cm, km, masses… unité de mesure.
Un même objet peut avoir différentes mesures ! (qualité de vie : Quanti et quali)
M1 = Processus de mesure - Etape
1) Définir la ou les caractéristiques à mesurer
2) Choisir le test ou l’instrument de mesure approprié
3) Administrer le test, et si applicable, utiliser correctement l’instrument/ le matériel nécessaire à la mesure (i.e. goniomètre).
4) Colliger les données ou informations provenant du test.
M1 = Concept d’évaluation
Démarche permettant de porter un jugement à partir de norme ou de critères établis, sur la valeur d’une situation, d’un processus.
> Jugement.
Mesurer versus evaluer :
Mesurer > 30cm
Evaluer = longueur modérée/ importante.
Sans mesure pas d’évaluation.
M1 : Processus d’évaluation - définition et cycle
“C’est comprendre, éclairer l’action de façon à pouvoir décider avec justesse de la suite des évènements.”
Mesure > Evaluation > décision cliniques > interventions > suivi > mesure … >….
M1 = outil, instrument de mesure, test
Outil de mesure : procédure permettant de collecter de l’information d’une manière standardisée
Instrument de mesure : Appareillage permettant de réaliser la mesure.
Test : Procédure de mesure standardisée (surtout dans le domaine de l’éducation).
! Measure = fait souvent référence à un outil de mesure et non au concept de mesure.
M1 = Résultat (outcome), mesure de résultats (outcome measure) et action de mesurer des résultats (outcome mesurement)
Résultats = Conséquence d’une action (intervention) ou d’un évènement. Effet clinique observable ou mesurable d’une intervention ou d’un processus.
Mesure de résultat = Outil de mesure qui sera utilisé pour déterminer si une intervention a donné le résultat attendu sur une caractéristique donnée. ==> Référence à outil de mesure et non à une information ou un processus sur les résultats!!!
Action de mesurer des résultats : Procédé utilisé pour établir l’effet d’une intervention, possible lorsqu’une mesure de résultats est faite sur un sujet ou sur un population à deux occasions ou plus.
M1 = Assignation de valeurs à des caractéristiques
Utilisation de signes = nom/ chiffre (numéral) / nombre (quantité)
M1 = Variables versus Echelle de Mesure
Variable = Caractéristiques ou une représentation d’un phénomène qui peut prendre des états différents.
Echelle de Mesure : Ensemble des classes, catégories ou valeurs pour une variable donnée. On compte 4 types d’échelle de mesure (nominale, ordinale, par intervalle, proportionnelle).
M1 = Type de variables
Variables >
Qualitative > Discrète (catégorielle)
Quantitative > Discrète (valeurs fixe ou distinctes)
> Continue (Prend nn’importe quelle valeur (ou quantité) et
théoriquement être mesurée avec une précision infinie. )
4 Types d’échelles de mesures
Nominale : la valeur n’est que nommée
Ordinale : la valeur ne peut être qu’ordonnée
Par intervalle : l’intervalle est identique entre 2 valeurs
Proportionnelle : l’origine de l’échelle est à zéro.
Caractéristiques des échelles : ordinale
Ordre : 1¤ 2¤ 3¤ > une valeur plus élevée représente une quantité plus grande. (distance ou intervalle entre 2 valeurs inconnue) (i.e. : satisfaction, échelle de borg)
Caractéristiques des échelles = par intervalle
Intervalle : possède les caractéristiques ordres et distance. Par contre son 0 n’indique pas nécessairement une absence de la qualité mesurée. ( i.e. : degrés Celsius)
Caractéristiques des échelles : nominale
Nominale : plusieurs catégorie dont la seule propriété est qu’elles sont toutes différentes. (i.e = Homme Femme; A-AB-O)
Caractéristique des échelles = Proportionnelle (ratio)
La plus fréquemment utilisée lors de lʼutilisation de variables quantitatives et possède les trois caractéristiques (ordre, distance et origine).
On retrouve parmi les échelles proportionnelles le poids (une masse de zéro indique une absence de matière), la température en °K (0° étant lʼabsence de chaleur).
Caractéristiques que peuvent avoir les échelles :
Ordre : Ordre : 1¤ 2¤ 3¤ > une valeur plus élevée représente une quantité plus grande. (distance ou intervalle entre 2 valeurs inconnue) (i.e. : satisfaction, échelle de borg)
Distance: (image règle) = intervalle entre 2 valeurs est identique.
Origine : La valeur 0 signifie une absence de la qualité mesurée. 0km/h = vitesse nulle.
Lien entre variables et échelles
Variables qualitative = échelle nominale ou ordinale
Variables quantitative = échelle par intervalle ou proportionnelle.
Les différentes théories de la mesure : 2 types
> La théorie classique des tests
> La théorie de la réponse à l’item
Théorie classique des tests - historique..
1ère moitié du 20ème siècle.
Constituée comme un ensemble de principes et de méthodes ayant pour but d’assurer aux opérations de mesure les qualités métriques et techniques indispensables.
Objectivité, validité et fidélité ont été élaborées dans ce cadre.
Théorie classique des tests = énoncés
Le score qui sera mesuré ou observé (X) est composé de deux éléments: le
score vrai (V) et une composante dʼerreur (e). > X = V+ e
Ce score observé varie dʼune répétition à lʼautre du même test.
Au contraire du score observé, le score vrai et lʼerreur de mesue ne ne sont pas connus. Ce sont des entités théoriques qui ne sont pas mesurables en tant que tel.
Le score vrai a une valeur fixe (même si inconnu) et l’erreur de mesure fait varier le score observé. Ainsi la seule possibilité d’obtenir un score mesuré qui s’approche le plus possible du score vrai est de réduire au maximum l’erreur de mesure.
Théorie classique des tests : 2 types d’erreur de mesure
Erreur Aléatoire (image cible = toutes les fléchettes près du centre)
Erreur systématique (image cible = toutes les fléchettes à côté du centre)
Erreur de mesure Aléatoire
Valeur obtenue peut être surévaluée ou sous-évaluée.
Imprévisible = lorsque la mesure est prise avec un grand nombre d’essai sa moyenne tendra vers 0.
> i.e. = chronométreur : erreur vient de l’évaluateur et de son temps de réaction.
Erreur de mesure systématique
Une erreur est systématique lorsqu’elle contribue à toujours surévaluer (ou
toujours sous-évaluer) la valeur mesurée.
Règle dont ils manquant le 1er cm. > valeurs toujours trop élevée.
Erreurs de mesures : influence sur les résultats
A) Courbe
B) Seconde mesure (amplitude de la courbe sur x moins importante)
> les données enregistrées sont moins dispersées = plus précises donc diminution de l’erreur de mesure
c) Troisième mesure, l’examineur s’aperçoit que son dynanomtère mesure 10 livres de moins ==> Recalibrage > correction de l’erreur systématique de mesure.
Méthode pour réduite l’erreur de mesure
i) Réaliser un test pilote de l’outil de mesure avant son utilisation clinique avec des usagers. (familiarisation)
ii) Procéder à une formation des évaluateurs afin de maintenir une consistance dans les procédures. (vérifier niveau de fiabilité dans les prises de mesures).
iii) Réduire les biais reliées à l’administration des outils ou à l’utilisation d’un instrument de mesure.
M1 = Standardisation des mesures (validation) - Définition
Processus visant à développer un protocole d’administration de la procédure ou de l’outil de mesure, à déterminer une méthode de calcul des valeurs (scoring) et procéder à des études pour déterminer les qualité métrologiques de l’outil.
En d’autres mots, ce processus se compare à un contrôle de la qualité!
Théorie de la réponse à l’item - question ?
Le questionnaire contient-il tous les items pertinents?
L’échelle de mesure est-elle appropriée?
Mesure-t-on de façon précise le trait latent qui sous-entend un concept?
Complément à la théorie classique des tests.
Théorie de réponse à l’item = historique
2nd moitié du 20ème siècle.
i.e. : Par le calcul de certains indices : difficulté ou discrimtination; l’évaluation des propriétés techniques fournit des résultats qui sont toujours relatifs à l’échantillon particulier auquel l’item a été administré (plus généralement, relatifs aux conditions dans lesquelles l’opération a été réalisée).
De ce fait, un item jugé facile ou difficile au sein d’un échantillon d’individus, peut ne plus l’être (ou ne plus l’être autant) s’il était appliqué à un échantillon différent. (DIF!)
Théorie des répones à l’item : Modèle de Rash
Le modèle constitue l’approche mathématique la plus simple utilisée dans le cadre de la théorie des réponses aux items. Son but est de modéliser la relation entre le trait latent (compétence, capacité, aptitude, etc.) de l’individu et sa probabilité de réussir correctement un item dans un questionnaire.
Modèle de Rash : courbe
i.e. cf diapositive = M1 > La courbe montre que la relation entre le score total à un test (axe vertical) et l’habileté ou la capacité réelle des personne (axe horizontal) n’est pas linéaire mais suit une fonction logistique en S.
Modèle de Rash : questionnaire objectif
Dans une étude méthodologique pour valider un questionnaire, le modèle de Rasch permet de placer sur une même échelle les individus par ordre d’habileté et les items par ordre de difficulté.
Cette approche permet de vérifier si les items mesurent bien la caractéristique d’intérêt (habileté, compétence, etc.) et s’ils peuvent DISCRIMINER entre les niveaux de cette caractéristique chez les individus de l’échantillon. Cette capacité à discriminer est essentielle à la qualité d’un outil de mesure.
Modèle de Rasch
Estime la mesure de :
- L’habilité de chaque patient
- Difficulté de chaque item
à partir de la proportion de réponses des patients à tous les items.
Kappa
Pourcentage de l’accord maximum corrigé de ce qu’il serait sous le simple effet du hasard. > Il exprime une différence relative entre la proportion d’accord observé (Po) et la proportion d’accord aléatoire (Pe).
Entre 0 et 1
> Données nominales ou ordinales.
Utilisation : 2 variables binaires, 2 évaluateurs différents qui mesurent la même chose.
Paradoxe de Kappa
Le coefficient de Kappa est affecté par la prévalence de la condition observée.
Conséquence de cette dépendance : Les coefficients Kappa ne sont comparables que dans des situations semblables.
Cette sensibilité du coefficient à la prévalence peut être à l’origine d’une valeur de Kappa “anormalement basse”. !! Interprétation !!
coefficients de corrélation ICC versus Kappa
ICC : >= 0.91 = très bonne 0.9 - 0.71 = Bonne 0.7 - 0.51 = Modérée 0.5-0.31 = Médiocre <= 0.30 = Nulle
Kappa = 0.81-1 = Presque parfaite 0.61_0.8= Importante 0.41_0.60 = modéré 0.21-0.4 = passable 0-0.2 = faible
Erreur standard de mesure (SEM)
(standard error of the measure)
Représente l’écart-type de l’erreur de mesure.
SEM _ Objectif
erreur standard de mesure
Permet de quantifier la fidélité d’une mesure dans la même unité que les mesures originales.
Erreur standard d’une mesure d’amplitude articulaire avec goniomètre sera exprimée en degrés.
SEM - Mesure
Calculée à partir de la variance intra-sujet obtenue à l’aide d’une ANOVA.
SEM = racine carrée de la variance intra-sujet.
SEM = contexte d’utilisation
Principalement utilisée en clinique afin de calculer l’erreur minimale détectable.
Changement minimal détectable (MDC)
(minimal detectable change)
Représente un estimé du changement qui doit être obtenue afin d’avoir un changement qui est supérieur à l’erreur de mesure.
MDC _ calcul
minimal detectable change
A partir de l’erreur standard de mesure.
MDC est calculé en multipliant le score-z correspondant au niveau de signifiance voulu (normalement 90%, 1.65 ou 95% = 1.96), par la racine-carrée de 2 et par l’erreur standard de mesure.
i.e. : Par exemple, une étude a démontré que l’erreur standard de mesure de la mesure de l’amplitude du genou est de 5.6 degrés. Si un clinicien veut calculer l’erreur minimale détectable à 95%, le calcul sera: 5.61.96racine carrée de 2 = 15.5 degrés. Ainsi, 15.5 degrés représente le changement minimal qui devra être observé à la suite d’une intervention afin de s’assurer à 95% qu’un vrai changement s’est produit. L’erreur minimale détectable peut est utilisée en clinique pour déterminer des objectifs de traitement à court et moyen terme.
Bland Altman - définition.
Méthode statistique qui permet de comparer de façon graphique deux passations du même outils ou deux outils.
Bland Altman - calcul
Représentation : 1 points par sujets
Moyenne des mesures par sujets = (instrument 1+2)/2
Différence = mesure 1 - mesure 2
x=moyennes
y= différences
Limites de l’agrément =
d = moyenne des différences
d+sdd = moyenne des différences + écart-types des différences
d-sdd = moyenne des différences + écart-types des différences
Bland Altman = interprétation
Les procédures reliées au graphique de Bland-Altman ne sont pas associées à
des tests statistiques et ne produisent pas de valeur p. L’interprétation des limites
d’agrément se fait en lien avec le contexte de recherche et non en comparaison
avec des valeurs « étalon »
Cohérence interne (internal consistency) / Homogénéité de l’outil de mesure- définition
Niveau d’homogénéité entre les différents items d’un outil mesurant aspects d’un même concept.
La cohérence interne permet d’évaluer un autre aspect de la fidélité d’un outil de
mesure. En fait, on dit d’un outil qu’il est cohérent ou homogène lorsque ses items
représentent un ensemble cohérent ou un même concept. En d’autres mots, plus
les réponses aux items sont corrélées entre elles et au résultat total de l’outil, plus
la cohérence de cet outil est élevée.
Cohérence interne - statistique
alpha de Cronbach
!!! Pour évaluer la cohérence interne d’un outil multidimensionnel, on ne
peut pas simplement évaluer la corrélation entre les différents items. Il faut alors
évaluer de façon individuelle les sous-échelles, ou sous-catégories de l’instrument.
Cohérence interne (internal consistency) / Homogénéité de l’outil de mesure- PRUDENCE
La prudence est de mise lorsque l’homogénéité apparaît trop élevée car elle est indicatrice d’une redondance dans les items. De façon générale, plus l’outil de mesure comprend d’items, plus l’homogénéité tendra à être élevée.
Cohérence interne - Généralité du coefficient Alpha de Cronbach et Pearson
Peut être utilisée avec des items dichotomiques (oui/non) ou à choix multiples (““échelle ordinale).
Conhérence interne par ‘item-to-total’
Corrélation faible = items différents
Corrélation forte = items redondant.
Il est également possible d’évaluer la cohérence interne en faisant une corrélation item-par-item (item-to-total correlation) ce qui permet d’évaluer comment chaque item de l’outil est en lien avec le mesure globale du concept. L’analyse «Pearson product-moment correlation coefficient» est une méthode appropriée pour cette analyse. Une corrélation faible entre les items suggère qu’ils mesurent des traits ou des concepts différents. À l’opposé, si les items ont une corrélation très forte on peut soupçonner qu’ils mesurent le même concept et qu’il y a donc présence de redondance entre les items.
cohérence interne- interprétation
0.70 < a < 0.85
trop proche de 1 = item redondant
Cohérence interne - interprétation du coefficient Alpha de Cronbach
Sensibilité aux changements
Capacité de l’outil de mesure à détecter des changements cliniquement significatifs
- -> déterminée en partie par fidélité
- -> pertinente dans les études longitudinales
S’assurer que le chgmt est bien réel est pas lié i une erreur de mesure aléatoire.
Statistiquement significatif vs cliniquement significatifs
Stat signi : p<0.05
Cliniquement significatifs = résultats pour lesquels on voit une amélioration clinique (amélioration des symptômes).
Sensibilité aux changements - analyses statistiques
1) Corrélations avec des mesures de changements physiologiques ou mesures subjectives de changements
2) Réponse moyenne standardisée (Standardized responses mean - SRM)
3) Taille de l’effet (effect size-ES)
4) Courbes ROC (Receiver Operating characteristic)
Sensibilité aux cgmt - taille de l’effet
ES = (moyenne des N différenced (T2-T1))/Écart types de N résultats (T1)
N nombre de sujets
Différences= post-intervention (T2)- pré intervention (T1)
Calcul diffère peu de la moyenne standardisée
Interprétation : ES - Taille d'effet 0.2. Petit 0.5. Moyen 0.8. Large
Sensibilité aux cgmt- Réponse moyenne standardisée
SRM = moyenne des N diffences (T2-T1)/Écart type fed N diffences (T2-T1)
Diffèrent peu de taille de l’effet.
Changement cliniquement important
Clinical important difference
Changement minimal requis pour démontrer un changement significatif du point de vue du patient.
CID =/= MDC (ou MDD)
La différence entre l’erreur minimale détectable et le cgmt- cliniquement important est que le premier réfère à un changement qui statistiquement supérieur à l’erreur de mesure. Le second à un changement qui cliniquement significatif pour le patient.
Cgmt cliniquement important défini à l’aide de la courbe ROC.
Handicap définition
> désavantage imposé à un concurrent pour que les chances de trouvent égales (1827)
Désavantage, infériorité que l’on doit supporter (1950)
Personne handicapée: P qui présente une déficience des capacités physiques ou mentales (1957, petit Robert)
PH : qui éprouve, par suite d’une déficience, des limitations importantes et persistantes dans l’accomplissement d’activités ou d’un rôle social considérés comme normaux en fonction de son âge, son sexe et compte tenu des caractéristiques sociales et culturelles du milieu dans lequel elle se trouve (2003)
Conséquences de maladies et traumatisme - de quoi parle t’on ?
> Au plan des organes
Système nerveux .
Système squelettique.
Système cardiovasculaire.
> Au plan des capacités ou aptitudes > Mobilité > Audition/vision > Cognition > Résistance physique (maintien effort)
> Au plan sociétal (dans le milieu de vie)
Réalisation d’activité (nutrition, hygiène)
Actualisation de rôles sociaux (relations sociales..)
Évolution conceptuelle handicap
Modèle biomédical de l’incapacité
Étiologie > patho > manifestation
Modèle social de l’incapacité
Environnement > csq à long terme.
Modèle conceptuel de Saad Nagi
1965
Apport important : délimitation du champs de la réadaptation comme d’intéressant principalement aux incapacités (limitations fonctionnelles) et à l’intégration sociale (handicaps)
Réadaptation distinct de l’intervention médicale.
Modèle conceptuel : la CIDIH
Classification international des déficiences, incapacités et handicaps. (OMS,1980).
Maladie ou trouble > déficience> incapacités > handicap.
Philip Wood.
Distinctions entre incapacités et leurs conséquences sociales (handicap).
Définition des termes du modèle et des diff. composantes.
CIDIH - problème
Classification international des déficiences, incapacités et handicaps.
Insistance mise sur la personne qui de voyait responsable de l’apparition des handicaps dans une relation linéaire de cause à effet similaire à l’approche biomédicale.
Abs de reconnaissance de la contribution des facteurs de l’environnement qui sont totalement absents du modèle.
RIPPH
Modèle conceptuel du Processus du handicap (1998) Pr. Fougeyrollas
Interaction entre:
Facteur de risque > facteurs personnels (système organique et aptitudes)
Facteurs environnementaux
Habitudes de vie
PPH etendu - objectif
Permet de visualiser les diverses caractéristiques de chacune des dimensions du modèle
Classification internationale du fonctionnement, du handicap et de la santé (CIF)
2001
“International classification of functioning disability and health”
Ne modélise pas le processus, fournit une approche multidimensionnelle en tant que processus interactif et évolutif.
CIF - diagramme
Classification internationale du fonctionnement, du handicap et de la santé.
Problème de santé
(Trouble/maladie)
Fonctions organique. Activités. Participation
Et structure anatomique
Facteurs environnementaux. Facteurs personnels
CIF - principales composantes
Fonctions organiques et structures anatomiques
> Fonctions, structures
Activités et participation
> Capacité, performance
Facteurs environnementaux
> Barrières, facilitateurs
Facteurs personnels?
Aucune nomenclature développée
CIF - Capacité versus performance
Capacité : réfère à l’aptitude d’un individu à effectuer une tâche ou à mener une action.
Performance : décrit ce qu’un individu fait dans son milieu de vie.
CIF activité et participation
Activité : désigne l’exécution d’une tâche ou d’une action par une personne
Participation : désigne l’implication d’une personne dans une situation de vie réelle.
CIF : Facteurs environnementaux et personnels
FE : désigne environnement physique social et attitude Al dans lequel les vivent et mènent leur vie.
FP : désigne les cararde la personne qui ne font pas partie d’un pb de santé.
CIF et PPH : Convergence (*6)
Convergence+++
> Conception universelle
Classification hiérarchique et définitions
Modèles systémiques multidimensionnels
Formulation positive des dimensions conceptuelles
Priss en compte des facteurs P et E
Modèle explicatif du phénomène du handicap
CIF vs PPH : divergence (*3)
> statut donnée aux facteurs environnementaux et leurs relations avec les 3 autres concepts
Facteurs personnels : PPH comprend le système organique, CIF différents du pb de santé.
Chevauchement des domaines conceptuels d’activité et de participation de la CIF dans le PPH
CIF vs PPH : divergence (*3)
> statut donnée aux facteurs environnementaux et leurs relations avec les 3 autres concepts
Facteurs personnels : PPH comprend le système organique, CIF différents du pb de santé.
Chevauchement des domaines conceptuels d’activité et de participation de la CIF dans le PPH
Modèle conceptuel… Et en physio?
PPH ++ dans le milieu Québécois
Concepts PPH - F de risques - définition + catégorie
FR = éléments appartenant à l’individu ou provenant de l’environnement susceptible de provoquer une maladie, un traumatisme ou toute autre atteinte à l’intégrité ou au développement de la personne.
Cause est un facteur de risque qui a effectivement entraîné une maladie ou un traumatisme….
Risques biologiques
Risques liés à l’environnement
Risques liés à l’organisation sociale
Risques liés aux comportements individuels et sociaux
Concepts PPH - F personnels - définition + catégorie
Caractéristiques appartenant à la personne, telle que l’âge, le sexe, l’identité socioculturelle, les systèmes organiques et les aptitudes.
Système organique est un ensemble des composantes corporelles visant une fonction commune. ==> Système nerveux / système musculaire / système squelettique
Aptitude : possibilité pour une personne d’accomplir une activité physique ou mentale.
–> relié aux activités intellectuelles, langage. Comportement, sens et perception, act.motrices, respiration, digestion, excrétion, reproduction, protection et résistance.
Concepts PPH - F environnementaux- définition
Dimension sociale ou physique qui détermine l’organisation et le contexte d’une société.
> Facteurs sociaux :
- politico-economiques : appareil gouvernemental, système juridique, système socio-sanitaire
- socioculturelle : réseau socal, règles sociales.
> Facteurs physiques
- Nature : climat, temps, géographie
- Aménagement : architecture, technologie.
Concepts PPH - Habitudes de vie - définition
Activités courantes ou rôle social valoriser par la personne ou son contexte socioculturel selon ses caractéristiques (âge. Sexe. Identité socioculturelle, etc…) . Elle assure survie et épanouissement d’une personne dans sa société tout au long de son existence.
12 catégories.
Activités courantes : nutrition/soins personnels/déplacement…..
Rôles sociaux : responsabilité, vie communautaire, travail, loisirs.
PPH pour décrire une situation clinique
Identifier origine du déficit principal (moelle épinière : région cervicale)
Identification des principales activités motrices (amplitude articulaire. Préhension)
…. Blablabla.
