Cours 10 : Évaluation de programme Flashcards

1
Q

Quelles sont les questions les plus fréquentes qui justifient la mise en place d’une évaluation de programmes? Nommez-en 4.

A

1) Pertinence de la mise en œuvre du programme 

2) Conceptualisation du programme.

3) Opérations et la dispensation des services.

4) Effets du programme.

5) Coût-bénéfice du programme.

How well did you know this?
1
Not at all
2
3
4
5
Perfectly
2
Q

Approche développée par le psychologue communautaire Howard Bloom visant à mieux encadrer sa profession, les principes de Bloom sont des propositions qui visent à créer des communautés résilientes, saines et inclusives en promouvant le bien-être individuel et collectif. À partir de ce qui fut mentionné dans le cours, rapportez 4 de ces propositions (vous pouvez formuler celles-ci dans vos propres mots).

A

1-Dépendamment de la provenance de votre salaire, considérez que vous travaillez pour la communauté. Pour les bénéficiaires !!

2-Si vous voulez connaître les besoins d’une communauté en matière de santé mentale, demandez à la communauté.

3-Si vous recueillez des informations sur une communauté, vous avez la responsabilité de leur communiquer les informations.

4-Aidez la communauté à établir ses propres priorités.

5-Vous pouvez aider la communauté à choisir entre différentes lignes d’action dans ses efforts pour résoudre ses problèmes.

6- Dans le cas où la communauté desservie est si désorganisée, que les représentants des diverses facettes de la communauté ne peuvent pas être trouvés, vous avez la responsabilité d’aider à trouver de tels représentants.

How well did you know this?
1
Not at all
2
3
4
5
Perfectly
3
Q

Quelles sont les caractéristiques d’un programme efficace? Pour répondre à cette question, donnez 6 des 9 caractéristiques d’un programme pour qu’il soit considéré comme efficace.

A
  1. Utilisent une approche globale (interviennent de diverses façons dans de multiples milieux)
  2. Procèdent à une analyse en profondeur du contexte d’implantation et des répercussions possibles
  3. Assurent un « Dosage » suffisant; l’action dans la durée
  4. Donnent des opportunités de relations positives et l’établissement de relais
  5. Se basent sur la recherche et la théorie: Référence à un modèle logique d’action fondé sur des concepts et des connaissances solides et des exemples inspirants
  6. Incluent l’évaluation des résultats
  7. S’appliquent au bon moment; notion de « timing » et de « fenêtre d’opportunité »
  8. Se veulent pertinents au contexte socioculturel: Sensibilité aux particularités de la communauté hôte, son histoire, ses expériences antérieures
  9. Misent sur l’organisation, la planification et l’accès à des ressources suffisantes 
How well did you know this?
1
Not at all
2
3
4
5
Perfectly
4
Q

Dans un contexte d’évaluation de programmes, en quoi consiste l’évaluation des besoins? Pour répondre à cette question, assurez-vous d’expliquer les principaux objectifs de l’évaluation des besoins puis nommez les 4 catégories de besoins rencontrés dans une évaluation de programmes.

A

L’évaluation des besoins peut porter sur plusieurs objectifs spécifiques à chaque situation. Le besoin va correspondre à une nécessité sociale ou naturelle qui se traduit par un manque, ou un écart. C’est l’expression d’un manque ressenti par rapport à un enjeu. Ce qui est objectif est l’écart et ce qui est subjectif est le manque. Les objectifs permettent d’identifier les indicateurs et par conséquent il oriente la recherche.

Voici les 4 principaux objectifs :

  1. Identifier et décrire la clientèle-cible du programme;
  2. Identifier et décrire les problèmes prioritaires qui affectent la clientèle-cible;
  3. Déterminer les solutions nécessaires et des alternatives afin de répondre aux besoins;
  4. Prioriser des solutions en réponse aux besoins de la clientèle-cible du programme.

4 catégories de besoins :

  1. Les besoins ressentis
  2. Besoins exprimés
  3. Besoins normatifs
  4. Besoins comparatifs
How well did you know this?
1
Not at all
2
3
4
5
Perfectly
5
Q

Dans la taxonomie en lien avec l’évaluation des programmes, nous avons vu qu’il existait 4 types de besoins auxquels les programmes peuvent répondre. À partir ce qui fut présenté dans le cours, dites quels sont les 4 types de besoins rencontrés en les définissant.

A
  1. Les besoins ressentis
  • Attentes des personnes : enquêtes, sondages, groupes cibles
  1. Besoins exprimés
  • Les fréquences des demandes et de l’utilisation des services chez une population donnée.
  1. Besoins normatifs
  • Reposent sur le jugement d’expert : impliquent l’utilisation de normes et de seuils en dessous ou au-delà desquels des besoins apparaissent
  • Normes établies avec la connaissances des problématiques et se traduisent sous la forme d’indicateurs/fcts de risque (p.ex., seuil de pauvreté, moyenne des revenus, nbre d’années de scolarisation, etc.)
  1. Besoins comparatifs
  • Reposent sur le jugement d’expert.
  • Aucun niveau absolu.
  • Repose sur l’utilisation des normes
  • Implique la comparaison entre les caractéristiques de deux populations et les ressources dont elles disposent.
How well did you know this?
1
Not at all
2
3
4
5
Perfectly
6
Q

Pourquoi l’utilisation de modèles logique est-elle aussi importante en évaluation de programmes? À partir de ce que nous avons vu dans le cours, expliquez ce qu’est un modèle logique et définissez ce que devrait être un bon modèle logique (son utilité et son usage).

A

Le modèle logique est un outil visuel permettant de décrire un programme dans sa logique fondamentale. C’est un diagramme de ce qui est commun aux programmes : il répond au quoi, qui et pourquoi. Par conséquent, le modèle identifier les moyens qui seront déployés, la logique des actions, les effets attendus et la population ciblée.

Le modèle logique permet de s’assurer de l’atteinte de ces critères puisqu’il permet de définir: 

  • Les buts et les objectifs attendus à court, moyen et long terme
  • Le lien (présumé) entre les activités choisies et les buts/objectifs poursuivis par le programme (Vision théorique [ce pourquoi on dit que c’est présumé])
  • Les éléments du programme à suivre et à évaluer (Amène à identifier les indicateurs, les sources de données et les méthodologies appropriées pour la collecte ; Permet de déterminer le type d’évaluation qui pourrait/devrait être effectuée)

Pour être évaluable, un programme doit satisfaire certains critères. Un tel modèle permet d’identifier les données dont nous aurons besoin pour évaluer un programme

How well did you know this?
1
Not at all
2
3
4
5
Perfectly
7
Q

Qu’est-ce qu’un bon programme devrait obligatoirement comporter pour être considéré comme « évaluable »? Pour répondre à cette question, rapportez les 4 critères.

A
  1. Les buts et objectifs du programme sont bien définis ​
  2. Les buts et objectifs sont plausibles en fonction des activités mises en œuvre 
  3. Des données pertinentes sont accessibles concernant l’application du programme
  4. Les utilisateurs potentiels de l’évaluation s’entendent sur les buts poursuivis par l’évaluation 
How well did you know this?
1
Not at all
2
3
4
5
Perfectly
8
Q

Dans le contexte de l’évaluation de programmes, plus particulièrement lors de la troisième étape (étape de l’évaluation), nous avons vu que l’évaluation pouvait porter sur plusieurs aspects d’un programme (catégories d’évaluation). Quels sont ces aspects? Pour répondre à cette question, rapportez les trois catégories, en vous assurant de mentionner tout autre aspect optionnel pouvant être évalué.

A
  1. L’évaluation des besoins (voir étape 1)
  2. L’évaluation de l’implantation et l’évaluation des processus
  3. L’évaluation des effets et l’évaluation du rendement

Optionnel : L’évaluation de l’empowerment, quoique cet aspect devrait toujours venir dans nos pratiques ou bien dans les programmes.

How well did you know this?
1
Not at all
2
3
4
5
Perfectly
9
Q

Dans un contexte de conception et d’évaluation de programmes, à quoi fait-on référence lorsque l’on parle d’implantation et pourquoi est-il est important de l’évaluer? Pour répondre à cette question, assurez-vous de rapporter quels sont les objectifs et l’utilité derrière l’évaluation de l’implantation de programmes.

A

IMPLANTATION

  • Étape où procède à la mise en œuvre du programme selon les moyens et les objectifs spécifiques décrits lors de la planification. L’implantation est une étape particulièrement critique puisqu’elle concrétise la planification par la dispensation des services.
  • L’évaluation de l’implantation évalue l’implantation et ses effets.

OBJECTIFS

  • S’assurer que ce que l’on dit qu’on fait est bien ce que l’on fait
  • Associer les effets du programme à un processus explicite
  • Être capable de reproduire un programme
  • S’assurer d’une compréhension commune
  • Rejoindre la clientèle-cible

UTILITÉS

  • Si nous souhaitons reproduire le programme ailleurs ou auprès d’une autre population, il faut avoir la documentation de l’évaluation de l’implantation. Cela permet de document les bonnes et moins bonnes pratiques. Si nécessaires, les ajustements sont ciblés.
  • Cela amène une compréhension commune entre les acteurs. L’évaluation de l’implantation constitue un moment particulièrement propice à l’examen du processus de recrutement, de sélection et de l’évaluation de la clientèle.
  1. Permet d’identifier les conditions de mise en œuvre
  2. Permet des ajustements en cours de route
  3. Permet d’attribuer au programme les résultats mesurés
  4. Permet de vérifier si le programme : est mis en œuvre conformément aux intentions ; est offert aux clientèles ciblées et est mis en œuvre conformément à l’« effort » ou à « l’intensité » prévus.
How well did you know this?
1
Not at all
2
3
4
5
Perfectly
10
Q

Quelles sont les 5 catégories de facteurs qui peuvent nuire à l’implantation d’un programme?

A
  1. Caractéristiques de la communauté : Financement, politiques, culture de recherche, etc.
  2. Caractéristiques des intervenants: Besoin et avantages perçus, ouverture au changement
  3. Caractéristiques du programme: Compatibilité, adaptabilité, etc.
  4. Capacité organisationnelle: Climat de travail, type de leadership, etc.
  5. Soutien offert: Formation, encadrement, assistance technique, etc.
How well did you know this?
1
Not at all
2
3
4
5
Perfectly
11
Q

Dans un contexte d’évaluation de programmes, nous avons vu que la sélection d’indicateurs reposait principalement sur 6 critères. À partir de ce qui fut présenté dans le cours, rapportez ces 6 critères en donnant une brève explication pour chacun d’entre eux.

A
  • La validité. Un indicateur est valide lorsqu’il mesure efficacement le phénomène étudié; c’est-à-dire qu’un indicateur valide permet de bien capter les résultats du programme évalué.
  • L’utilité. Un indicateur est utile lorsqu’il peut directement servir à la planification, au suivi ou à l’évaluation des activités d’un programme. Un indicateur est également utile quand il est simple d’utilisation et qu’un grand nombre de personnes peuvent facilement le comprendre, y compris les non-spécialistes.
  • L’accessibilité (ou facilité d’accès). L’accessibilité d’un indicateur dépend de la disponibilité des sources de données pour le mesurer, mais aussi de la facilité et du coût des moyens à employer pour collecter et analyser les données.
  • Objectivité. L’indicateur doit permettre de juger sans ambiguïté du changement attendu. Il doit permettre à différents observateurs de s’entendre sur l’atteinte ou non du changement.
  • Sensibilité. L’indicateur doit être suffisamment sensible pour permettre de discerner les changements dans l’état de la clientèle-cible. Ce degré de sensibilité est relatif à chaque situation selon l’ampleur du changement attendu.
  • Fidélité: La fidélité de l’indicateur réfère à sa stabilité au fil du temps. Afin d’être utile à juger des changements provoqués par l’intervention l’indicateur doit permettre d’obtenir des observations constantes tout au cours de la mise en œuvre du programme. « Une mesure est considérée comme fiable, si elle produit des résultats constants lorsqu’elle est appliquée de façon répétitive sur le phénomène dans le même état» (Saucier et Brunelle, 1995, p. 24)
How well did you know this?
1
Not at all
2
3
4
5
Perfectly
12
Q

L’une des principales valeurs de la psychologie communautaire est sans doute la collaboration. En effet, l’une des grandes forces des psychologues communautaires est d’être toujours en mesure de tisser des liens très étroits entre eux et les communautés desservies. Il n’y a donc rien d’étonnant à ce que cet aspect se retrouve dans chaque aspect de l’évaluation de programmes et ce, du début à la fin. En ce sens, il est donc important que le.la psychologue communautaire soit sensible à la communauté desservie lorsque vient le temps de communiquer les résultats. À partir de ce qui fut présenté dans le cours sur l’évaluation de programmes, rapportez au moins 6 conseils pour bien communiquer les résultats.

A
  • Utiliser un langage clair et simple, éviter le jargon
  • Faire ressortir l’information importante
  • Placer l’information la plus importante au début et à la fin
  • Combiner des images et des mots, ou des graphiques et chiffres
  • Organiser l’information avec clarté
  • Aller du concret à l’abstrait
  • Présenter l’information menaçante avec tact , si critiques : le faire positivement
  • Utiliser des résumés - n’inclure que les détails essentiels
  • Adapter le contenu à l’auditoire (transfert de connaissances) si politiciens : discours différents que si intervenants ou chercheurs.
How well did you know this?
1
Not at all
2
3
4
5
Perfectly
13
Q

Lors du cours sur l’évaluation de programmes, nous avons vu que les évaluations bien conçues devaient tenir compte de 4 points essentiels. Rapporter ces 4 points.

A
  1. La rigueur du devis
  2. La prise en considération des contraintes liées aux ressources
  3. L’utilisation de multiples sources de données
  4. La capacité de tenir compte de l’influence des valeurs (des évaluateurs, des intervenants et de la communauté)
How well did you know this?
1
Not at all
2
3
4
5
Perfectly
14
Q

À quoi fait référence le cadre de Kelly? Répondez brièvement à cette question puis rapportez quelles sont les 5 valeurs fondamentales à la base de ce cadre.

A

Le cadre de Kelly fait référence à la consultation d’un psychologue communautaire

  • Fiabilité : tout fait ce qu’il doit faire
  • Crédibilité : chacun va informer honnêtement de ses buts et ses attentes
  • Intégrité : ne pas dévoiler info qui peuvent nuire aux autres
  • Réceptivité : pas sur la défensive
  • Réciprocité : compréhension commune des attentes, des espoirs, des besoins et partagée par tous
How well did you know this?
1
Not at all
2
3
4
5
Perfectly
15
Q

ÉTAPES DE L’ÉVALUATION DE PROGRAMMES

Complétez le schéma.

A
How well did you know this?
1
Not at all
2
3
4
5
Perfectly
16
Q

Eric vient de terminer son troisième Postdoctorat en évaluation de programme. Se sentant enfin prêt à affronter le marché du travail, du moins c’est ce qu’il a dit en entrevue à la personne qui l’a embauché, ce dernier obtient rapidement un petit contrat dans un organisme qui sensibilise les nouveaux parents à l’éveil musical. Pour s’assurer que leur tout dernier programme « Ramones pour tous » aura des répercussions positives sur les enfants, la direction demande à Eric d’évaluer le programme en question. Comme c’est une cause qui est importante à ses yeux, il sait qu’il doit néanmoins rester objectif dans son évaluation. C’est pourquoi, afin de s’assurer de la rigueur méthodologique, ce dernier met en place plusieurs lignes directrices. Pour être certain que les données soient objectives, il s’assure que le seul questionnaire, qui servira à obtenir toutes ses données, soit un questionnaire psychométrique standardisé et validé par des études antérieures. Pour être certain de ne pas influencer les réponses, ce dernier n’administrera pas lui-même les questionnaires, bref, notre cher Eric semble avoir une méthodologie irréprochable.

Cependant, lorsque vient le temps d’analyser les résultats, une année plus tard, Éric réalise que peu de questionnaires ont été remplis et qu’en plus, la base de données comporte beaucoup de données manquantes. Étant donné que le projet est terminé et qu’il n’y a plus aucune autre source de données, Eric contacte la direction pour lui demander pourquoi ses questionnaires contiennent autant de données manquantes et surtout, pourquoi aussi peu de questionnaires furent remplis. La direction lui répond alors qu’il n’y avait pas assez d’employés pour superviser les participants lorsqu’ils remplissaient les questionnaires-sondages et que leur imprimante de mauvaise qualité imprimait parfois les sondages de façon hasardeuse. Très déçu de lui-même, Eric se demande alors si son évaluation était bien conçue ou s’il devrait plutôt retourner faire un quatrième postdoc pour améliorer ses compétences.

À partir de cette mise en situation qui fut beaucoup trop longue à lire (et à écrire), expliquez à Eric (pas votre enseignant, mais le gars fictif de la mise en situation dont le prénom, qui ressemble étrangement à celui de votre enseignant, relève d’une coïncidence fortuite), deux erreurs qu’il a commises dans la conception de son évaluation.

A
  1. Rigueur méthodologique : Collecte de données irrégulière
  2. Contraintes liées aux ressources : pas assez d’employé.e.s pour superviser les participant.e.s lors de la complétion des questionnaires-sondages
  3. Manque de sources de données : manque de triangulation puisqu’Éric emploie un seul questionnaire

??? Timing : utilisation des données.

17
Q

Quelles sont les deux mesures qui permettent d’évaluer l’implantation?

A

Fidélité [dans quelle mesure le programme implanté présente-t-il les caractéristiques du programme planifié] et dosage [quantité d’activités produites].

18
Q

Quelle est la visée principale de l’évaluation des effets?

A

Elle s’intéresse à l’atteinte des objectifs, aux effets intentionnels ou non sur la population ciblée, par le biais de l’examen des effets d’un programme à moyen et long terme.

19
Q

Dans un contexte d’évaluation de programme, la collecte de données représente l’une des étapes les plus importantes et c’est souvent à travers la sélection des indicateurs que les méthodes de collectes seront déterminées. À partir de ce qui fut présenté dans le cours sur l’évaluation de programmes, expliquez la relation qui existe entre la sélection des indicateurs et le modèle logique.

A

Le modèle logique permet d’identifier les indicateurs qui seront (ou pourront) être utilisés lors de l’évaluation. C’est-à-dire que le modèle logique permet de définir les éléments du programme à suivre et à évaluer. Les composantes du modèle logique sont opérationnalisés avec les indicateurs.