Cours 5.2 Performance et retombées de ESC - L'évaluation des effets Flashcards
Analyse d’effet = recherche évaluative
Différence avec l’appréciation normative :
- 1. S’intéresse à l’ensemble des effets possible vs seulement effets recherchés
-2. Porte sur la relation de causalité entre services et effets (la teste) vs seulement comparer les effets observés aux résultats
Types d’effets
Toute intervention produit des effets :
- postif, négatif (pervers), null
Type d’effet : (les trois premiers sont du modèle logique théorique)
- voulu
- non voulu
- prévisible
- imprévisible : expérece des acteurs, et participant
Robustesse des hypothèses sous-jacentes
- choix des effets à analyser dépent de leur degré de pertinence, de la démonstration de leur impact causal
Moment de la mesure :
- effet court terme (durable ou non?)
- effet long terme (les mêmes qu’effets court terme?)
- effet à très long terme (attribuable ou non à l’intervention ?)
Type d’efficacité
Efficacité théorique
Efficacité d’essaie
Efficacité d’utilisation
Efficacité populationnelle
Efficacité théorique
Contexte : laboratoire
contrôle de tous paramètre autres que l’intervention
Efficacité d’essai
Contexte : expérimentation
groupe expérimental et groupe contrôle (selection aléatoire)
contrôle conditions d’administration de l’intervention
Efficacité d’utilisation
Contexte : pratique normale
contrôle : pas de contrôle des conditions d’administration ou des sujets
Efficacité populationnelle
Contexte : mesure à l’échelle de toute la population
efficacité des effets dans la population ciblé vs utilisatrices seulement
Contexte de mesure des effets a une influence déterminante sur l’efficacité de la mesure
- plus les conditions sont contrôles, plus les sujets sont sélectionnés sur la base de critères homogènes plus l’efficacité sera élevé
l’efficacité diminue quand on introduit de la variabilité dans les caractéristique individuelle des sujets, les modes de pratiques des professionnels, l’accessibilité de l’intervention
La relation causale
Établir les inférences de causalité
Démontrer (vérifier si)
- cause reliée à l’effet présumé
- modification apportées à la cause précèdent les modifications qui surviennent dans les effets
- existence d’une seule explication de la reation de cause à effet observé
3 conditions classique du rapport de causalité
- la cause doit précéder l’effet (dimension temporelle)
- la deux variable doivent être reliées empiriquement (présence de variations concomitantes)
- la relation entre les deux variables ne peut pas être expliquées par une troisième varibale
Déterminisme
Déterminisme absolu
- condition de nécéssité : X doit se produire pour qui y se produise
- condition de suffisance : si x se produit, alors y se produit
Déterminisme non absolu
- x est nécéssaire, mais non suffisant pour la production de y
- x n’est pas nécéssaire, mais suffiant pour la production de y
Rleation concomitante
- x n’est ni nécessaire ni suffisant pour que y se produise
- mais si x est présent, il est plus probable que y se produise
- ou si x est absent, il est plus probable que y soit absent
Cause
Cause non déterministes:
- inus condition: une partie insuffisante mais non redondante d’une condition suffiante mais non nécéssaire (Mackie, 1974)
- Exemple d’un feu de forêt
- insuffisante : l’allumettre a besoin de la présence d’autres conditions
- non redondante : l’allumette ajoute un élément différent dans les conditions de la constellations (feuilles sèches et oxygène)
- non nécéssaire : il existe d’autres ensemble de condition susceptible de déclencher un feux (briquet)
Corrélation ne veux pas dire causalité
Ignore quelle variable viens en premier pour l’effet présumé
ignore s’il y a des explications alternatives pour l’effet présumé
Majorité des causes son INUS CONDITIONS
Nécéssité de la présence de plusieurs facteur spour que l’effet se produise, toutefois, on connait rarement l’ensemble des facteurs et encore moins leur liens
Ceci explique qu’une relation causale apparait sous certaines condition mais pas de manière universelle dans le temps, l’espace,les populations, etc.
- a différent degrés les relations causales sont dépendantes du contexte
- la généralisation des effets est toujours une questions importante
Covariation entre deux facteurs
Pour s’assurer qu’il y a un covariation et que celle-ci n’est pas due a un 3e facteur
Il faudrait pouvoir comparer ce qui se produirait si une cause était présente avec ce qui se produirait si un cause était absente (évidence contrefactuelle) ceteris paribus
Type de causalité
Nécéssaire - suffisant
nécéssaire - insuffisant
Pas nécéssaire - suffisant
Pas nécéssaire - insuffisant
Nécéssaire - suffisant : les personnes qui ont la mutation génétique associes a la maladie de tay développent toute cette maladie, mais seules les personne qui ont cette mutation génétique peuvent développer cette maladie.
nécéssaire - insuffisant : un personne doit nécéssairement etre infecté par le VIH pour contracter le SIDA, mais toute les personne infectées par le VIH ne contracte par le SIDE
Pas nécéssaire - suffisant : La décapitation est suffisante pour cause la mort, mais les gens peuvent mourir de nombreuse facon
Pas nécéssaire - insuffisant : fumer accrois les risque de développer un cancer du poumon, mais cette habitude n’est ni nécéssaire ni suffisante pour expliquer le développement d’un cancer du poumon. il s’agit d’une cause contributive
Validité interne
Variable indépendante - variable dépendante
Certitude que les variations observés dans les variables dépendante, lors de l’évaluation sont vraiment dues à l’intervention
ex: de biais : histoire, maturation, selection, interaction, utiliation des instruments de mesure
Validité externe
Variable indépendant - autres contexte - variable dépendante
capacité de généraliser à d’autre situation (milieu, temps, population) la relation démontrée entre une intervention et ses effets
ex de biais: réacitivté des sujets, contrôle imparfait, biais de sélection des sujets
Comparaison avant-après O1XO2
Biais possible:
- biais d’histoire : événement survenus entre les deux observation
- biais de maturation : changement naturel chez les sujets
- biais d’accoutumance : habituation des sujets
- biais de msure : changement dans processus, instrument, observateur
- biais de régression vers la moyenne : apres sujets extrème, les observation se raproche ensuite de la moyenne
Comparaison entre 2 groupe
Avantage :
élimine les biais de l’histoire,d’accoutumance, de mesure ou de régression vers la moyenne
Limite :
différence pas nécéssairement attribuable à l’intervention si sujets différents avant l’intervention (biais de selection)
Post-test uniquement X02
Biais val interne : histoire, maturation, selection
Biais val externe : relation causale ambigus, attentes de l’évaluateur, interaction composante de l’intervention
Ex. infication (ex. refuge)
Intrant: % augmentation du personnel
activité: budget consacré aux activité
extrant: % de femme participante
résultat : % de femme quittent leur partenaire
impact % bénéficiaire signalant une amélioration notable de qualité de vue
+
sur la société
3 niveaux d’efficacité
Efficacité apparente
efficacité démontrée
efficacité prouvé
Efficacité apparente
supposer que les bénéficiaire retirent les avantages prévus, si les données sont recueillis systémtiquement (no d’identification des participants, suivi au fil du temps des impacts)
efficacité démontrée
Évaluateur externe, indépendance examine le programme, recuielle systématiquement donnée sur participants et population similaire non participante
efficacité prouvé
Etude expérimental, type essai aléatoire contrôlé (groupe contrôlle aléatoire)
Quelques moyens utiles
Contact de suivi avec les bénéficiaires : téléphone, courriel, visite, sondage
test préalable avant le lancement d’un programme, test ultérieurs pour mesurer les résultat prévus et les impact
sondage auprès de l’ensemle de la population cible permet d’éliminer le biais de selection
biais de non-réponse peut être résolu en renforcant le caratère légitime du sondage ou en offrant des incitatif
formation des interviewers pour éliminer biais de préférence
