Évaluation de programmes Flashcards
Qu’est-ce qu’un programme?
- Un programme est un ensemble cohérent, organisé et structuré d’objectifs, de moyens et de personnes qui l’animent.
- Il répond à un besoin.
- Il (le programme) est sous le contrôle d’une ou de plusieurs personnes responsables de …la qualité de sa formulation et de son fonctionnement.
- Il est mis en place pour transformer des choses ou l’état d’une chose.
–Le maître mot de cette définition est transformation. Un programme n’a pas comme objectif d’exister pour lui-même, mais plutôt de produire des changements pour les participants potentiels.
Un programme se justifie sur la base de besoins définis comme :
une carence ou un manque qui affecte des individus, une collectivité ou une société.
Première question à se poser avant d’élaborer ou d’évaluer un programme : est-ce qu’il répond à un besoin?
Le programme doit transformer de façon pérenne une inégalité sociale par exemple.
Un programme n’est pas un bon programme même s’il atteint des objectifs, s’il…
…n’y a pas de transformation.
L’évaluation de programme se fait tout au long de…
Ça peut être très fastidieux et très long (l’évaluation de programme) parce que ça inclut…
...la mise en place du programme. Idéalement.
…l’implantation du programme.
Un programme peut porter sur…
…des changements d’attitude, de comportement, de représentation sociale, changement structurel au niveau de l’organisation…
Quelles sont les 4 étapes de l’évaluation de programme?
Voir image diapo 8
(l’élaboration des activités se fait après l’élaboration du modèle logique. La mise en place des activités se fait tout de suite après, en même temps que l’évaluation de l’implantation).
1) Identification des besoins, thèmes et questions d’évaluation
2) Élaboration du modèle logique
3) Évaluation de l’implantation et des effets
4) Diffusion des résultats
L’étape 1 : IDENTIFICATION DES BESOINS, THÈMES ET QUESTIONS D’ÉVALUATION
3 Tâches : Quelles sont-elles?
A) Sélection du cadre de référence conceptuel
B) Choix de l’objet d’évaluation et sa définition
C) La collaboration et la négociation au cœur des processus en évaluation de programme
Cadre de référence : conception de ce qu’un programme est supposé faire.
Deux choses qu’un programme est supposé faire :
–Transaction écologique
–Empowerment
Donc quelles seront mes questions d’évaluation pour savoir si le cadre de référence a bien été respecté?
Transaction écologique :
A-t-on réussi à changer l’environnement pour que les besoins individuels soient mieux satisfaits?
Est-ce que mon programme a servi une transformation sociale pérenne?
Empowerment :
Il y a des instruments de mesure qui permettent aujourd’hui de mesurer si le programme a favorisé l’empowerment.
B) Choix de l’objet d’évaluation et sa définition : pourquoi et comment?
–Mets en relief certains aspects du « problème à l’étude » plutôt que d’autres
•Ex. prévention vs promotion abordée antérieurement
–Importance d’une définition concertée entre les chercheurs et les membres de la communauté ciblés
C) La collaboration et la négociation au cœur des processus en évaluation de programme
Comment?
Pourquoi?
Comment?
- Les statuts respectifs du chercheur et des participants
- Relation égalitaire et prise en compte des connaissances respectives
- La négociation des questions de recherche
Les participants collaborent à toutes les étapes
Pourquoi?
•Valeur ajoutée: augmente la validité, l’utilisation et la pertinence des connaissances produites
On veut redistribuer le pouvoir, on veut que les personnes se réapproprient le programme.
Étape 2 : L’ÉLABORATION D’UN MODÈLE LOGIQUE
Pourquoi un modèle logique?
Pour être évaluable, un programme doit satisfaire certains critères :
- Les buts et objectifs du programme sont bien définis
- Les buts et objectifs sont plausibles en fonction des activités mises en œuvre
- Des données pertinentes sont accessibles concernant l’application du programme
- Les utilisateurs potentiels de l’évaluation s’entendent sur les buts poursuivis par l’évaluation
Donne des exemples des 4 critères pour qu’un programme soit évaluable.
Rappel des critères :
- Les buts et objectifs du programme sont bien définis
- Les buts et objectifs sont plausibles en fonction des activités mises en œuvre
- Des données pertinentes sont accessibles concernant l’application du programme
- Les utilisateurs potentiels de l’évaluation s’entendent sur les buts poursuivis par l’évaluation
Exemples
- Opérationnalisés sur papier
- Par exemple, si je veux qu’un programme évalue un changement de comportement dans la façon de faire les visites supervisées . Intervention = formation en ligne de 1 journée. Est-ce que c’est suffisant? Est-ce que théoriquement les buts peuvent être atteints avec cette intervention?
- Les données sur l’application du programme sont valides, existantes?
- C’est fonction du critère 1.
Le modèle logique permet de s’assurer de l’atteinte de ces critères puisqu’il permet de définir:
–Les buts et les objectifs attendus à court, moyen et long terme
–Le lien (présumé) entre les activités choisies et les buts/objectifs poursuivis par le programme
–Les éléments du programme à suivre et à évaluer
- Amène à identifier les indicateurs, donc les sources de données et les méthodologies appropriées pour la collecte (pour ces indicateurs)
- Permet de déterminer le type d’évaluation qui pourrait/devrait être effectuée
Un bon modèle théorique devrait tenir compte des éléments suivants :
(1) les différentes activités du programme mis en œuvre, ainsi que la théorie du changement – la logique d’action – selon laquelle ces activités produiront les effets attendus;
(2) les effets attendus à court, moyen et long terme;
(3) les différents facteurs pouvant entraver ou favoriser l’implantation des activités du programme et, par conséquent, l’atteinte des effets attendus.
Exemple d’un modèle logique voir diapo 18
3- ÉVALUATION DE L’IMPLANTATION ET DES EFFETS
- Il est important d’évaluer à la fois l’implantation du programme et ses effets
- L’évaluation des effets est insuffisante à elle seule afin de se positionner sur l’efficacité d’un programme d’atteindre les effets escomptés…
–Pourquoi selon vous?
Ça nous aide à savoir si les effets sont dus à mes activités ou s’ils sont dus à autre chose.
Ex: Médiation de pleine conscience avant de faire l’examen. Est-ce que ça fonctionne parce que j’étudie dans ma tête pendant ce temps-là ou si c’est vraiment la méditation de pleine conscience qui fonctionne?
ÉTAPE 3A - L’ÉVALUATION DE L’IMPLANTATION DU PROGRAMME
L’évaluation de l’implantation fournit une information cruciale. Quelle est cette information cruciale selon les différents moments d’évaluation ?
a) Lors de la mise en œuvre d’un nouveau programme :
b) Au moment d’étendre un programme existant à un nouveau territoire ou à une nouvelle clientèle:
c) AVANT qu’on évalue les effets d’un programme:
a) Permets d’identifier les conditions de mise en œuvre
b) permets des ajustements en cours de route
c) permets d’attribuer au programme les résultats mesurés
L’évaluation de l’implantation permet de vérifier si le programme :
–est mis en œuvre conformément aux intentions
–est offert aux clientèles ciblées
–est mis en œuvre conformément à l’«effort» ou à «l’intensité» prévus (fidélité et dosage)
En d’autres mots :
a) Est-ce que ce qu’on a prévu de faire a réellement été mis en œuvre?
b) Est-ce que les clientèles ont réellement été rejointes?
c) Est-ce que ce qu’on avait dit de faire a été fait de façon quantitativement et qualitativement conforme?
Deux mesures d’implantation :
1)Fidélité: (qualitatif) dans quelle mesure le programme implanté présente-t-il les caractéristiques du programme planifié
2)Dosage (quantitatif): quantité d’activités produites
–Le niveau d’implantation dépasse rarement 60 ou 80 %
Temps nécessaire à l’implantation d’un programme :
–Plusieurs difficultés peuvent apparaître en cours d’implantation
–Parfois implantation plus longue que la durée de vie du programme
ÉTAPE 3B - ÉVALUATION DES EFFETS
Définition:
–Examen des effets d’un programme (à moyen et long terme)
–Elle s’intéresse à l’atteinte des objectifs, aux effets intentionnels ou non sur la population ciblée
Questions d’évaluation des effets :
- Quoi*–Jusqu’à quel point le programme atteint-il ses buts et ses objectifs?
- Comment–*Les stratégies et activités du programme permettent-elles d’atteindre ses objectifs?
- Comparer*–Quelle est l’efficacité de ce programme en comparaison avec le programme X ?
Analyse des facteurs externes
DÉFINITION
La rigueur des conclusions: l’importance de tenir compte des éléments externes
Analyse du fonctionnement d’un programme, de sa dynamique et des facteurs qui influencent sa capacité à produire des résultats
