Évaluations de programmes Flashcards
Qu’est-ce qu’un programme?
1) Un programme est un ensemble cohérent, organisé et structuré d’objectifs, de moyens et de personnes qui l’animent.
2) Il se justifie sur la base de besoins définis comme une carence ou un manque qui affecte des individus, une collectivité ou une société.
3) Il est sous le contrôle d’une ou de plusieurs personnes responsables de la qualité de sa formulation et de son fonctionnement.
Il est mis en place pour transformer des choses ou l’état d’une chose.
**Le maître mot de cette définition esttransformation. Un programme n’a pas comme objectif d’exister pour lui-même, mais plutôt de produire des changements pour les participants potentiels.
Quelles sont les 4 étapes de l’évaluation de programme?
voir schéma pp8 diapo 4
1) Identification des besoins, des thèmes et des questions d’évaluation
2) Élaboration du modèle logique
3) Évaluation de l’implantation et des effets
4) Diffusion des résultats
Décris la première étape de l’évaluation de programme
Étape 1 : Identification des besoins, des thèmes et des questions d’évaluation
1) Sélection du cadre de référence conceptuel
- Transaction écologique
- Empowerment
2) Choix de l’objet d’évaluation et sa définition
- Mets en reliefs certains aspects du «problèmeà l’étude » plutôt que d’autres
Ex. prévention vs promotion abordé antérieurement
- Importance d’une définition concertée entre les chercheurs et les membres de la communauté ciblés
3) La collaboration et la négociation au cœur des processus en évaluation de programme
- Les statuts respectifs du chercheur et des participants: Relation égalitaire et prise en compte des connaissances respectives
- La négociation des questions de recherche: Valeur ajoutée: augmente la validité, l’utilisation et la pertinence des connaissances produites
4) La collaboration: la confiance comme élément clé
Cadre de Kelly (1998):
- Fiabilité: chacun fait ce qu’il s’est proposé de faire
- Crédibilité: chacun informe honnêtement de ses buts et attentes
- Intégrité: ne pas dévoiler d’information pouvant nuire aux autres
- Réceptivité: écoute les suggestions, les craintes, les préoccupations de l’autre sans être sur la défensive
- Réciprocité: compréhension commune des attentes, espoirs et besoins, création d’objectifs communs et partagés par tous
La deuxième étape de l’évaluation de programme consiste en l’élaboration d’un modèle logique. Quelle est l’importance d’un modèle logique?
Le modèle logique permet de s’assurer de l’atteinte de ces critères puisqu’il permet de définir:
- Les buts et les objectifs attendus à court, moyen et long terme
- Le lien (présumé) entre les activités choisies et les buts/objectifs poursuivis par le programme
- Les éléments du programme à suivre et à évaluer:
- Amène à identifier les indicateurs, les sources de données et les méthodologies appropriées pour la collecte
- Permet de déterminer le type d’évaluation qui pourrait/devrait être effectuée
Que devrait tenir en compte un bon modèle théorique? (3)
1) les différentes activités du programme mis en œuvre, ainsi que la théorie du changement – la logique d’action – selon laquelle ces activités produiront les effets attendus;
2) les effets attendus à court, moyen et long terme;
3) les différents facteurs pouvant entraver ou favoriser l’implantation des activités du programme et, par conséquent, l’atteinte des effets attendus
Pour être évaluable, un programme doit satisfaire certains critères. Lesquels? (4)
1) Les buts et objectifs du programme sont bien définis
2) Les buts et objectifs sont plausibles en fonction des activités mises en œuvre
3) Des données pertinentes sont accessibles concernant l’application du programme
4) Les utilisateurs potentiels de l’évaluation s’entendent sur les buts poursuivis par l’évaluation
Il est important d’évaluer à la fois l’implantation du programme et ses effets. Pk?
Selon Gervais, 2017: L’évaluation des effets est insuffisante à elle seule afin de se positionner sur l’efficacité d’un programme d’atteindre les effets escomptés…
Que fournit l’évaluation de l’implantation comme informations selon le moment de l’évaluation? (3)
1) Lors de la mise en œuvre d’un nouveau programme :
- Permet d’identifier les conditions de mise en œuvre
2) Au moment d’étendre un programme existant à un nouveau territoire ou à une nouvelle clientèle:
- Permet des ajustements en cours de route
3) AVANT qu’on évalue les effets d’un programme:
- Permet d’attribuer au programme les résultats mesurés
L’évaluation de l’implantation permet de vérifier si le programme….(3)
1) est mis en oeuvre conformément aux intentions
2) est offert aux clientèles ciblées
3) est mis en oeuvre conformément à l’«effort» ou à «l’intensité» prévus
Quelles sont les 2 mesures de l’implantation?
1) Fidélité: dans quelle mesure le programme implanté présente-t-il les caractéristiques du programme planifié
2) Dosage: quantité d’activités produites
vrai ou faux: le niveau d’implantation dépasse rarement 60 ou 80 %
vrai
Résultats basés sur un examen de 81 études prévention et promotion de la santé (Durlak & DuPré, 2008)
Le temps nécessaire à l’implantation d’un programme font ressortir 2 points auxquels il est important de penser. Lesquels?
1) Plusieurs difficultés peuvent apparaître en cours d’implantation
2) Parfois implantation plus longue que la durée de vie du programme
À quoi s’intéressent l’évaluation des effets d’un programme?
1) les effets d’un programme à moyen et long terme
2) À l’atteinte des objectifs, aux effets intentionnels ou non sur la population ciblée
Quelles sont des questions possibles pour évaluer les effets?
1) Jusqu’à quel point le programme atteint-il ses buts et ses objectifs?
2) Les stratégies et activités du programme permettent-elles d’atteindre ses objectifs?
3) Quelle est l’efficacité de ce programme en comparaison avec le programme X ?
Qu’est-ce que l’analyse des facteurs externes?
Analyse du fonctionnement d’un programme, de sa dynamique et des facteurs qui influencent sa capacité à produire des résultats
Ex de questions:
1) Quels facteurs expliquent les écarts?
2) Quelles sont les conditions qui facilitent ou constituent des obstacles à l’implantation?
3) Jusqu’à quel point les effets sont-ils attribuables au programme?
