Cours #10 - Évaluation de programmes

Question 1

Quelles sont les questions les plus fréquentes qui justifient la mise en place d’une évaluation de programmes? Nommez-en 4.

Answer 1

1. La pertinence de la mise en œuvre du programme.
2. La conceptualisation du programme.
3. Les opérations et la dispensation des services.
4. Les effets du programme.

Question 2

Approche développée par le psychologue communautaire Howard Bloom visant à mieux encadrer sa profession, les principes de Bloom sont des propositions qui visent à créer des communautés résilientes, saines et inclusives en promouvant le bien-être individuel et collectif. À partir de ce qui fut mentionné dans le cours, rapportez 4 de ces propositions (vous pouvez formuler celles-ci dans vos propres mots).

Answer 2

1. Considérez que vous travaillez pour la communauté, indépendamment de la source de votre salaire.
2. Pour connaître les besoins en santé mentale d’une communauté, demandez directement à la communauté.
3. Si vous recueillez des informations sur une communauté, vous avez la responsabilité de les leur communiquer.
4. Aidez la communauté à établir ses propres priorités.

Question 3

Quelles sont les caractéristiques d’un programme efficace? Pour répondre à cette question, donnez 6 des 9 caractéristiques d’un programme pour qu’il soit considéré comme efficace.

Answer 3

1. Utiliser une approche globale (intervenir de diverses façons dans de multiples milieux).
2. Procéder à une analyse en profondeur du contexte d’implantation et des répercussions possibles.
3. Assurer un “dosage” suffisant; l’action dans la durée.
4. Donner des opportunités de relations positives et l’établissement de relais.
5. Se baser sur la recherche et la théorie.
6. Inclure l’évaluation des résultats.

Question 4

Dans un contexte d’évaluation de programmes, en quoi consiste l’évaluation des besoins? Pour répondre à cette question, assurez-vous d’expliquer les principaux objectifs de l’évaluation des besoins puis nommez les 4 catégories de besoins rencontrés dans une évaluation de programmes.

Answer 4

1. Identifier et décrire la clientèle-cible du programme.
2. Identifier et décrire les problèmes prioritaires affectant la clientèle-cible.
3. Déterminer les solutions nécessaires et des alternatives pour répondre aux besoins.
4. Prioriser des solutions en réponse aux besoins de la clientèle-cible du programme.
5. Les besoins ressentis
6. Les besoins exprimés
7. Les besoins normatifs
8. Les besoins comparatifs

Question 5

Dans la taxonomie en lien avec l’évaluation des programmes, nous avons vu qu’il existait 4 types de besoins auxquels les programmes peuvent répondre. À partir ce qui fut présenté dans le cours, dites quels sont les 4 types de besoins rencontrés en les définissant.

Answer 5

1. Besoins ressentis: Ce sont les besoins perçus subjectivement par les individus ou la communauté.
2. Besoins exprimés: Ce sont les besoins qui sont ouvertement déclarés ou demandés.
3. Besoins normatifs: Ce sont les besoins définis par des experts ou des normes établies.
4. Besoins comparatifs: Ce sont les besoins identifiés en comparant la situation d’une population avec celle d’une autre.

Question 6

Pourquoi l’utilisation de modèles logique est-elle aussi importante en évaluation de programmes? À partir de ce que nous avons vu dans le cours, expliquez ce qu’est un modèle logique et définissez ce que devrait être un bon modèle logique (son utilité et son usage)

Answer 6

Un modèle logique est un outil visuel qui décrit un programme dans sa logique fondamentale. Il illustre le contenu, les destinataires et la raison d’être du programme.

Question 7

Qu’est-ce qu’un bon programme devrait obligatoirement comporter pour être considéré comme « évaluable »? Pour répondre à cette question, rapportez les 4 critères.

Answer 7

1. Les buts et objectifs du programme sont bien définis.
2. Les buts et objectifs sont plausibles en fonction des activités mises en œuvre.
3. Des données pertinentes sont accessibles concernant l’application du programme.
4. Les utilisateurs potentiels de l’évaluation s’entendent sur les buts poursuivis par l’évaluation.

Question 8

Dans le contexte de l’évaluation de programmes, plus particulièrement lors de la troisième étape (étape de l’évaluation), nous avons vu que l’évaluation pouvait porter sur plusieurs aspects d’un programme (catégories d’évaluation). Quels sont ces aspects? Pour répondre à cette question, rapportez les trois catégories, en vous assurant de mentionner tout autre aspect optionnel pouvant être évalué.

Answer 8

1. L’évaluation des besoins
2. L’évaluation de l’implantation et l’évaluation des processus
3. L’évaluation des effets et l’évaluation du rendement
   4.Un aspect optionnel pouvant être évalué est l’évaluation de l’empowerment.

Question 9

Dans un contexte de conception et d’évaluation de programmes, à quoi fait-on référence lorsque l’on parle d’implantation et pourquoi est-il est important de l’évaluer? Pour répondre à cette question, assurez-vous de rapporter quels sont les objectifs et l’utilité derrière l’évaluation de l’implantation de programmes.

Answer 9

1. S’assurer que ce que l’on dit qu’on fait est bien ce que l’on fait.
2. Associer les effets du programme à un processus explicite.
3. Être capable de reproduire un programme.
4. S’assurer d’une compréhension commune.
5. Rejoindre la clientèle-cible.

Question 10

Quelles sont les 5 catégories de facteurs qui peuvent nuire à l’implantation d’un programme?

Answer 10

1. Caractéristiques de la communauté
2. Caractéristiques des intervenants
3. Caractéristiques du programme
4. Capacité organisationnelle
5. Soutien offert

Question 11

Dans un contexte d’évaluation de programmes, nous avons vu que la sélection d’indicateurs reposait principalement sur 6 critères. À partir de ce qui fut présenté dans le cours, rapportez ces 6 critères en donnant une brève explication pour chacun d’entre eux.

Answer 11

1. Validité: L’indicateur mesure efficacement le phénomène étudié.
2. Utilité: L’indicateur peut servir directement à la planification, au suivi ou à l’évaluation des activités.
3. Accessibilité: L’indicateur dépend de la disponibilité des sources de données et de la facilité de collecte.
4. Objectivité: L’indicateur permet de juger sans ambiguïté du changement attendu.
5. Sensibilité: L’indicateur est suffisamment sensible pour discerner les changements dans l’état de la clientèle-cible.

Question 12

L’une des principales valeurs de la psychologie communautaire est sans doute la collaboration. En effet, l’une des grandes forces des psychologues communautaires est d’être toujours en mesure de tisser des liens très étroits entre eux et les communautés desservies. Il n’y a donc rien d’étonnant à ce que cet aspect se retrouve dans chaque aspect de l’évaluation de programmes et ce, du début à la fin. En ce sens, il est donc important que le.la psychologue communautaire soit sensible à la communauté desservie lorsque vient le temps de communiquer les résultats. À partir de ce qui fut présenté dans le cours sur l’évaluation de programmes, rapportez au moins 6 conseils pour bien communiquer les résultats.

Answer 12

1. Utiliser un langage clair et simple, éviter le jargon.
2. Faire ressortir l’information importante.
3. Placer l’information la plus importante au début et à la fin.
4. Combiner des images et des mots, ou des graphiques et chiffres.
5. Organiser l’information avec clarté.
6. Aller du concret à l’abstrait.

Question 14

À quoi fait référence le cadre de Kelly? Répondez brièvement à cette question puis rapportez quelles sont les 5 valeurs fondamentales à la base de ce cadre.

Answer 14

1. Fiabilité
2. Crédibilité
3. Intégrité
4. Réceptivité
5. Réciprocité

Question 16

Eric vient de terminer son troisième Postdoctorat en évaluation de programme. Se sentant enfin prêt à affronter le marché du travail, du moins c’est ce qu’il a dit en entrevue à la personne qui l’a embauché, ce dernier obtient rapidement un petit contrat dans un organisme qui sensibilise les nouveaux parents à l’éveil musical. Pour s’assurer que leur tout dernier programme « Ramones pour tous » aura des répercussions positives sur les enfants, la direction demande à Eric d’évaluer le programme en question. Comme c’est une cause qui est importante à ses yeux, il sait qu’il doit néanmoins rester objectif dans son évaluation. C’est pourquoi, afin de s’assurer de la rigueur méthodologique, ce dernier met en place plusieurs lignes directrices. Pour être certain que les données soient objectives, il s’assure que le seul questionnaire, qui servira à obtenir toutes ses données, soit un questionnaire psychométrique standardisé et validé par des études antérieures. Pour être certain de ne pas influencer les réponses, ce dernier n’administrera pas lui-même les questionnaires, bref, notre cher Eric semble avoir une méthodologie irréprochable.

Cependant, lorsque vient le temps d’analyser les résultats, une année plus tard, Éric réalise que peu de questionnaires ont été remplis et qu’en plus, la base de données comporte beaucoup de données manquantes. Étant donné que le projet est terminé et qu’il n’y a plus aucune autre source de données, Eric contacte la direction pour lui demander pourquoi ses questionnaires contiennent autant de données manquantes et surtout, pourquoi aussi peu de questionnaires furent remplis. La direction lui répond alors qu’il n’y avait pas assez d’employés pour superviser les participants lorsqu’ils remplissaient les questionnaires-sondages et que leur imprimante de mauvaise qualité imprimait parfois les sondages de façon hasardeuse. Très déçu de lui-même, Eric se demande alors si son évaluation était bien conçue ou s’il devrait plutôt retourner faire un quatrième postdoc pour améliorer ses compétences. À partir de cette mise en situation qui fut beaucoup trop longue à lire (et à écrire), expliquez à Eric (pas votre enseignant, mais le gars fictif de la mise en situation dont le prénom, qui ressemble étrangement à celui de votre enseignant, relève d’une coïncidence fortuite), deux erreurs qu’il a commises dans la conception de son évaluation.

Answer 16

1. Il n’a utilisé qu’une seule méthode de collecte de données (questionnaire psychométrique standardisé), ce qui limite la triangulation des données.
2. Il n’a pas suffisamment pris en compte les ressources et la capacité de l’organisme pour administrer les questionnaires, ce qui a entraîné des problèmes dans la collecte de données.

Question 17

Quelles sont les deux mesures qui permettent d’évaluer l’implantation?

Answer 17

1. Fidélité: dans quelle mesure le programme implanté présente-t-il les caractéristiques du programme planifié.
2. Dosage: quantité d’activités produites.

Question 18

Quelle est la visée principale de l’évaluation des effets?

Answer 18

La visée principale de l’évaluation des effets est l’examen des effets d’un programme (à moyen et long terme).

Question 19

Dans un contexte d’évaluation de programme, la collecte de données représente l’une des étapes les plus importantes et c’est souvent à travers la sélection des indicateurs que les méthodes de collectes seront déterminées. À partir de ce qui fut présenté dans le cours sur l’évaluation de programmes, expliquez la relation qui existe entre la sélection des indicateurs et le modèle logique.

Answer 19

La relation entre la sélection des indicateurs et le modèle logique est que les indicateurs sont utilisés pour opérationnaliser les différentes composantes du modèle logique.