Évaluation de programmes Flashcards
Qu’est-ce qu’un programme?
- Un programme est un ensemble cohérent, organisé et structuré d’objectifs, de moyens et de personnes qui l’animent.
- Il répond à un besoin.
- Il (le programme) est sous le contrôle d’une ou de plusieurs personnes responsables de …la qualité de sa formulation et de son fonctionnement.
- Il est mis en place pour transformer des choses ou l’état d’une chose.
–Le maître mot de cette définition est transformation. Un programme n’a pas comme objectif d’exister pour lui-même, mais plutôt de produire des changements pour les participants potentiels.
Un programme se justifie sur la base de besoins définis comme :
une carence ou un manque qui affecte des individus, une collectivité ou une société.
Première question à se poser avant d’élaborer ou d’évaluer un programme : est-ce qu’il répond à un besoin?
Le programme doit transformer de façon pérenne une inégalité sociale par exemple.
Un programme n’est pas un bon programme même s’il atteint des objectifs, s’il…
…n’y a pas de transformation.
L’évaluation de programme se fait tout au long de…
Ça peut être très fastidieux et très long (l’évaluation de programme) parce que ça inclut…
...la mise en place du programme. Idéalement.
…l’implantation du programme.
Un programme peut porter sur…
…des changements d’attitude, de comportement, de représentation sociale, changement structurel au niveau de l’organisation…
Quelles sont les 4 étapes de l’évaluation de programme?
Voir image diapo 8
(l’élaboration des activités se fait après l’élaboration du modèle logique. La mise en place des activités se fait tout de suite après, en même temps que l’évaluation de l’implantation).
1) Identification des besoins, thèmes et questions d’évaluation
2) Élaboration du modèle logique
3) Évaluation de l’implantation et des effets
4) Diffusion des résultats
L’étape 1 : IDENTIFICATION DES BESOINS, THÈMES ET QUESTIONS D’ÉVALUATION
3 Tâches : Quelles sont-elles?
A) Sélection du cadre de référence conceptuel
B) Choix de l’objet d’évaluation et sa définition
C) La collaboration et la négociation au cœur des processus en évaluation de programme
Cadre de référence : conception de ce qu’un programme est supposé faire.
Deux choses qu’un programme est supposé faire :
–Transaction écologique
–Empowerment
Donc quelles seront mes questions d’évaluation pour savoir si le cadre de référence a bien été respecté?
Transaction écologique :
A-t-on réussi à changer l’environnement pour que les besoins individuels soient mieux satisfaits?
Est-ce que mon programme a servi une transformation sociale pérenne?
Empowerment :
Il y a des instruments de mesure qui permettent aujourd’hui de mesurer si le programme a favorisé l’empowerment.
B) Choix de l’objet d’évaluation et sa définition : pourquoi et comment?
–Mets en relief certains aspects du « problème à l’étude » plutôt que d’autres
•Ex. prévention vs promotion abordée antérieurement
–Importance d’une définition concertée entre les chercheurs et les membres de la communauté ciblés
C) La collaboration et la négociation au cœur des processus en évaluation de programme
Comment?
Pourquoi?
Comment?
- Les statuts respectifs du chercheur et des participants
- Relation égalitaire et prise en compte des connaissances respectives
- La négociation des questions de recherche
Les participants collaborent à toutes les étapes
Pourquoi?
•Valeur ajoutée: augmente la validité, l’utilisation et la pertinence des connaissances produites
On veut redistribuer le pouvoir, on veut que les personnes se réapproprient le programme.
Étape 2 : L’ÉLABORATION D’UN MODÈLE LOGIQUE
Pourquoi un modèle logique?
Pour être évaluable, un programme doit satisfaire certains critères :
- Les buts et objectifs du programme sont bien définis
- Les buts et objectifs sont plausibles en fonction des activités mises en œuvre
- Des données pertinentes sont accessibles concernant l’application du programme
- Les utilisateurs potentiels de l’évaluation s’entendent sur les buts poursuivis par l’évaluation
Donne des exemples des 4 critères pour qu’un programme soit évaluable.
Rappel des critères :
- Les buts et objectifs du programme sont bien définis
- Les buts et objectifs sont plausibles en fonction des activités mises en œuvre
- Des données pertinentes sont accessibles concernant l’application du programme
- Les utilisateurs potentiels de l’évaluation s’entendent sur les buts poursuivis par l’évaluation
Exemples
- Opérationnalisés sur papier
- Par exemple, si je veux qu’un programme évalue un changement de comportement dans la façon de faire les visites supervisées . Intervention = formation en ligne de 1 journée. Est-ce que c’est suffisant? Est-ce que théoriquement les buts peuvent être atteints avec cette intervention?
- Les données sur l’application du programme sont valides, existantes?
- C’est fonction du critère 1.
Le modèle logique permet de s’assurer de l’atteinte de ces critères puisqu’il permet de définir:
–Les buts et les objectifs attendus à court, moyen et long terme
–Le lien (présumé) entre les activités choisies et les buts/objectifs poursuivis par le programme
–Les éléments du programme à suivre et à évaluer
- Amène à identifier les indicateurs, donc les sources de données et les méthodologies appropriées pour la collecte (pour ces indicateurs)
- Permet de déterminer le type d’évaluation qui pourrait/devrait être effectuée
Un bon modèle théorique devrait tenir compte des éléments suivants :
(1) les différentes activités du programme mis en œuvre, ainsi que la théorie du changement – la logique d’action – selon laquelle ces activités produiront les effets attendus;
(2) les effets attendus à court, moyen et long terme;
(3) les différents facteurs pouvant entraver ou favoriser l’implantation des activités du programme et, par conséquent, l’atteinte des effets attendus.
Exemple d’un modèle logique voir diapo 18
3- ÉVALUATION DE L’IMPLANTATION ET DES EFFETS
- Il est important d’évaluer à la fois l’implantation du programme et ses effets
- L’évaluation des effets est insuffisante à elle seule afin de se positionner sur l’efficacité d’un programme d’atteindre les effets escomptés…
–Pourquoi selon vous?
Ça nous aide à savoir si les effets sont dus à mes activités ou s’ils sont dus à autre chose.
Ex: Médiation de pleine conscience avant de faire l’examen. Est-ce que ça fonctionne parce que j’étudie dans ma tête pendant ce temps-là ou si c’est vraiment la méditation de pleine conscience qui fonctionne?
ÉTAPE 3A - L’ÉVALUATION DE L’IMPLANTATION DU PROGRAMME
L’évaluation de l’implantation fournit une information cruciale. Quelle est cette information cruciale selon les différents moments d’évaluation ?
a) Lors de la mise en œuvre d’un nouveau programme :
b) Au moment d’étendre un programme existant à un nouveau territoire ou à une nouvelle clientèle:
c) AVANT qu’on évalue les effets d’un programme:
a) Permets d’identifier les conditions de mise en œuvre
b) permets des ajustements en cours de route
c) permets d’attribuer au programme les résultats mesurés
L’évaluation de l’implantation permet de vérifier si le programme :
–est mis en œuvre conformément aux intentions
–est offert aux clientèles ciblées
–est mis en œuvre conformément à l’«effort» ou à «l’intensité» prévus (fidélité et dosage)
En d’autres mots :
a) Est-ce que ce qu’on a prévu de faire a réellement été mis en œuvre?
b) Est-ce que les clientèles ont réellement été rejointes?
c) Est-ce que ce qu’on avait dit de faire a été fait de façon quantitativement et qualitativement conforme?
Deux mesures d’implantation :
1)Fidélité: (qualitatif) dans quelle mesure le programme implanté présente-t-il les caractéristiques du programme planifié
2)Dosage (quantitatif): quantité d’activités produites
–Le niveau d’implantation dépasse rarement 60 ou 80 %
Temps nécessaire à l’implantation d’un programme :
–Plusieurs difficultés peuvent apparaître en cours d’implantation
–Parfois implantation plus longue que la durée de vie du programme
ÉTAPE 3B - ÉVALUATION DES EFFETS
Définition:
–Examen des effets d’un programme (à moyen et long terme)
–Elle s’intéresse à l’atteinte des objectifs, aux effets intentionnels ou non sur la population ciblée
Questions d’évaluation des effets :
- Quoi*–Jusqu’à quel point le programme atteint-il ses buts et ses objectifs?
- Comment–*Les stratégies et activités du programme permettent-elles d’atteindre ses objectifs?
- Comparer*–Quelle est l’efficacité de ce programme en comparaison avec le programme X ?
Analyse des facteurs externes
DÉFINITION
La rigueur des conclusions: l’importance de tenir compte des éléments externes
Analyse du fonctionnement d’un programme, de sa dynamique et des facteurs qui influencent sa capacité à produire des résultats
Questions lorsqu’on analyse les facteurs externes :
QUESTIONS
- Quels facteurs expliquent les écarts?
- Quelles sont les conditions qui facilitent ou constituent des obstacles à l’implantation?
- Jusqu’à quel point les effets sont-ils attribuables au programme?
5 catégories de facteurs peuvent nuire à l’implantation d’un programme :
1) Caractéristiques de la communauté : Financement, politiques, culture de recherche, etc.
2) Caractéristiques des intervenants: Besoin et avantages perçus, ouverture au changement
3) Caractéristiques du programme: Compatibilité, adaptabilité, etc.
4) Capacité organisationnelle: Climat de travail, type de leadership, etc.
5) Soutien offert: Formation, encadrement, assistance technique, etc.
La collecte de données :
2 tâches avant de commencer :
Sélection des indicateurs
–Opérationnalisation des différentes composantes de notre modèle logique à l’aide d’indicateurs
Sélection de la méthode de collecte de données
–Différentes méthodes de collecte de données en fonction des ressources et expertises disponibles, ainsi que des types d’indicateurs choisis
–Importance de la triangulation des données et des perspectives
Choix des indicateurs.
Plusieurs critères, dont les trois suivants :
(Ce sont aussi des questions d’évaluation)
–La validité. Un indicateur est valide lorsqu’il mesure efficacement le phénomène étudié; c’est-à-dire qu’un indicateur valide permet de bien capter les résultats du programme évalué.
–L’utilité. Un indicateur est utile lorsqu’il peut directement servir à la planification, au suivi ou à l’évaluation des activités d’un programme. Un indicateur est également utile quand il est simple d’utilisation et qu’un grand nombre de personnes peuvent facilement le comprendre, y compris les non-spécialistes.
–L’accessibilité (ou facilité d’accès). L’accessibilité d’un indicateur dépend de la disponibilité des sources de données pour le mesurer, mais aussi de la facilité et du coût des moyens à employer pour collecter et analyser les données.
Collecte de données: méthodes directes
Définition et exemples :
Observation directe via entretiens, questionnaires, visites sur les lieux, etc.,
- Enquête par entrevue ou focus group (qualitatif)
- Enquête par questionnaire (quantitatif)
- Forums communautaires ou sondage
- Expérience personnelle
Collecte de données: méthodes indirectes
Définition et exemples
Observation indirecte via registres, inventaires, données d’archives, revue de littérature, etc.,
•Données épidémiologiques
(ex.: taux de mortalité ou de morbidité)
- Registres (gouvernementaux, documents internes, etc.)
- Revue de littérature scientifique (pour comparer les résultats).
ÉTAPE 4 - DIFFUSION DES RÉSULTATS
Pour communiquer les résultats :
- Utiliser un langage clair et simple, éviter le jargon
- Faire ressortir l’information importante et présenter l’information
- Placer l’information la plus importante au début et à la fin
- Combiner des images et des mots, ou des graphiques et chiffres
