Cours 10 - 20 Novembre 2024 (Final) Flashcards

1
Q

Question 1 - RAISON D’ÉVALUER
Quelles sont les questions les plus fréquentes qui justifient la mise en place d’une évaluation de programmes? Nommez-en 4.

A

Réponse:
1) Pertinence de la mise en œuvre du programme.
2) Conceptualisation du programme.
3) Opérations et la dispensation des services.
4) Effets du programme.
5) Coût-bénéfice du programme.

How well did you know this?
1
Not at all
2
3
4
5
Perfectly
2
Q

Question 2 - PRINCIPES DE BLOOM
Approche développée par le psychologue communautaire Howard Bloom visant à mieux encadrer sa profession, les principes de Bloom sont des propositions qui visent à créer des communautés résilientes, saines et inclusives en promouvant le bien-être individuel et collectif. À partir de ce qui fut mentionné dans le cours, rapportez 4 de ces propositions (vous pouvez formuler celles-ci dans vos propres mots).

A

Réponse:
1-Dépendamment de la provenance de votre salaire, considérez que vous travaillez pour la communauté.
2-Si vous voulez connaître les besoins d’une communauté en matière de santé mentale, demandez à la communauté.
3-Si vous recueillez des informations sur une communauté, vous avez la responsabilité de leur communiquer les informations.
4-Aidez la communauté à établir ses propres priorités.
5-Vous pouvez aider la communauté à choisir entre différentes lignes d’action dans ses efforts pour résoudre ses problèmes.
6- Dans le cas où la communauté desservie est si désorganisée, que les représentants
des diverses facettes de la communauté ne peuvent pas être trouvés, vous avez la responsabilité d’aider à trouver de tels représentants.

How well did you know this?
1
Not at all
2
3
4
5
Perfectly
3
Q

Question 3 - PROGRAMMES EFFICACES
Quelles sont les caractéristiques d’un programme efficace? Pour répondre à cette question, donnez 6 des 9 caractéristiques d’un programme pour qu’il soit considéré comme efficace.

A

Réponse:
1-Utilisent une approche globale(interviennent de diverses façons dans de multiples milieux)
2-Procèdent à une analyse en profondeur du contexte d’implantation et des répercussions possibles
3-Assurent un «Dosage» suffisant; l’action dans la durée
4-Donnent des opportunités de relations positives et l’établissement de relais
5-Se basent sur la recherche et la théorie: Référence à un modèle logique d’action fondé sur des concepts et des connaissances solides et des exemples inspirants
6-Incluent l’évaluation des résultats
7-S’appliquent au bon moment; notion de «timing» et de « fenêtre d’opportunité»
8-Se veulent pertinents au contexte socioculturel: Sensibilité aux particularités de la communauté hôte, son histoire, ses expériences antérieures
9-Misent sur l’organisation, la planification et l’accès à des ressources suffisantes

How well did you know this?
1
Not at all
2
3
4
5
Perfectly
4
Q

Question 4 - ÉVALUATION DES BESOINS
Dans un contexte d’évaluation de programmes, en quoi consiste l’évaluation des besoins? Pour répondre à cette question, assurez-vous d’expliquer les principaux objectifs de l’évaluation des besoins puis nommez les 4 catégories de besoins rencontrés dans une évaluation de programmes.

A

Réponse:
Objectifs de l’évaluation des besoins: L’évaluation des besoins peut porter sur plusieurs objectifs spécifiques à chaque situation.
- Identifier et décrire la clientèle-cible du programme;
- Identifier et décrire les problèmes prioritaires qui affectent la clientèle-cible;
- Déterminer les solutions nécessaires et des alternatives afin de répondre aux besoins;
- Prioriser des solutions en réponse aux besoins de la clientèle-cible du programme.
Catégories de besoins:
1. Les besoins ressentis
2. Besoins exprimés
3. Besoins normatifs
4. Besoins comparatifs

How well did you know this?
1
Not at all
2
3
4
5
Perfectly
5
Q

Question 5 - LES 4 CATÉGORIES DE BESOIN
Dans la taxonomie en lien avec l’évaluation des programmes, nous avons vu qu’il existait 4 types de besoins auxquels les programmes peuvent répondre. À partir ce qui fut présenté dans le cours, dites quels sont les 4 types de besoins rencontrés en les définissant.

A

Réponse:
4 catégories de besoin:
- Les besoins ressentis: perçu, attentes des personnes
- Besoins exprimés: notions d’utilisation ou de demande de service
- Besoins normatifs: jugements d’experts, normes et seuils. Indices, facteurs de risques.
- Besoins comparatifs: basé aussi sur jugements d’experts, mais utilisation des normes, comparaison des caractéristiques de deux populations et ce dont elles disposent en terme de ressources.

How well did you know this?
1
Not at all
2
3
4
5
Perfectly
6
Q

Question 6 - MODÈLE LOGIQUE
Pourquoi l’utilisation de modèles logique est-elle aussi importante en évaluation de programmes? À partir de ce que nous avons vu dans le cours, expliquez ce qu’est un modèle logique et définissez ce que devrait être un bon modèle logique (son utilité et son usage)

A

Réponse:
«Le modèle d’analyse logique est un outil visuel visant à décrire un programme dans sa logique (ou sa théorie) fondamentale.
Malgré leur diversité, les programmes ont en partage certains éléments, et le modèle logique est un diagramme de ces éléments communs qui illustre le contenu (quoi ?), les destinataires (qui ?) et la raison d’être (pourquoi ?) du programme.
Il est essentiel d’avoir une vision commune de la logique d’un programme avant d’élaborer des mesures de surveillance et d’évaluation».
Permet d’avoir une vision commune du programme, de bien illustrer le tout.
Un bon modèle théorique devrait tenir compte des éléments suivants:
(1) les différentes activités du programme mis en œuvre, ainsi que la théorie du changement – la logique d’action – selon laquelle ces activités produiront les effets attendus;
(2) les effets attendus à court, moyen et long terme;
(3) les différents facteurs pouvant entraver ou favoriser l’implantation des activités du programme et, par conséquent, l’atteinte des effets attendus.

How well did you know this?
1
Not at all
2
3
4
5
Perfectly
7
Q

Question 7 - 4 CRITÈRES
Qu’est-ce qu’un bon programme devrait obligatoirement comporter pour être considéré comme «évaluable»? Pour répondre à cette question, rapportez les 4 critères.

A

Réponse:
Pour être évaluable, un programme doit satisfaire certains critères
1. Les buts et objectifs du programme sont bien définis​
2. Les buts et objectifs sont plausibles en fonction des activités mises en œuvre​
3. Des données pertinentes sont accessibles concernant l’application du programme
4. Les utilisateurs potentiels de l’évaluation s’entendent sur les buts poursuivis par l’évaluation

How well did you know this?
1
Not at all
2
3
4
5
Perfectly
8
Q

Question 8 - CATÉGORIES D’ÉVALUATION
Dans le contexte de l’évaluation de programmes, plus particulièrement lors de la troisième étape (étape de l’évaluation), nous avons vu que l’évaluation pouvait porter sur plusieurs aspects d’un programme (catégories d’évaluation). Quels sont ces aspects? Pour répondre à cette question, rapportez les trois catégories, en vous assurant de mentionner tout autre aspect optionnel pouvant être évalué.

A

Réponse:
1-L’évaluation des besoins (voir étape 1)
2-L’évaluation de l’implantation et l’évaluation des processus
3-L’évaluation des effets et l’évaluation du rendement
Optionnel: Évaluation de l’empowerment

How well did you know this?
1
Not at all
2
3
4
5
Perfectly
9
Q

Question 9 - IMPLANTATION
Dans un contexte de conception et d’évaluation de programmes, à quoi fait-on référence lorsque l’on parle d’implantation et pourquoi est-il est important de l’évaluer? Pour répondre à cette question, assurez-vous de rapporter quels sont les objectifs et l’utilité derrière l’évaluation de l’implantation de programmes.

A

Réponse:
«L’implantation du programme clientèle est l’étape où l’on procède à la mise en œuvre du programme selon les moyens et les objectifs spécifiques décrits lors de la planification.
L’implantation est une étape particulièrement critique puisqu’elle concrétise la planification par la dispensation des services».
- S’assurer que ce que l’on dit qu’on fait est bien ce que l’on fait
- Associer les effets du programme à un processus explicite
- Être capable de reproduire un programme
- S’assurer d’une compréhension commune
- Rejoindre la clientèle-cible

How well did you know this?
1
Not at all
2
3
4
5
Perfectly
10
Q

Question 10 - ANALYSE DES FACTEURS EXTERNES
Quelles sont les 5 catégories de facteurs qui peuvent nuire à l’implantation d’un programme?

A

Réponse:
Cinq catégories de facteurs peuvent nuire à l’implantation d’un programme:
- Caractéristiques de la communauté : Financement, politiques, culture de recherche, etc.
- Caractéristiques des intervenants: Besoin et avantages perçus, ouverture au changement
- Caractéristiques du programme: Compatibilité, adaptabilité, etc.
- Capacité organisationnelle: Climat de travail, type de leadership, etc.
- Soutien offert: Formation, encadrement, assistance technique, etc.

How well did you know this?
1
Not at all
2
3
4
5
Perfectly
11
Q

Question 11 - CHOIX DES INDICATEURS
Dans un contexte d’évaluation de programmes, nous avons vu que la sélection d’indicateurs reposait principalement sur 6 critères. À partir de ce qui fut présenté dans le cours, rapportez ces 6 critères en donnant une brève explication pour chacun d’entre eux.

A

Réponse:
1-La validité. Un indicateur est valide lorsqu’il mesure efficacement le phénomène étudié; c’est-à-dire qu’un indicateur valide permet de bien capter les résultats du programme évalué.
2-L’utilité. Un indicateur est utile lorsqu’il peut directement servir à la planification, au suivi ou à l’évaluation des activités d’un programme. Un indicateur est également utile quand il est simple d’utilisation et qu’un grand nombre de personnes peuvent facilement le comprendre, y compris les non-spécialistes.
3-L’accessibilité (ou facilité d’accès). L’accessibilité d’un indicateur dépend de la disponibilité des sources de données pour le mesurer, mais aussi de la facilité et du coût des moyens à employer pour collecter et analyser les données.
4-Objectivité. L’indicateur doit permettre de juger sans ambiguïté du changement attendu. Il doit permettre à différents observateurs de s’entendre sur l’atteinte ou non du changement.
5-Sensibilité. L’indicateur doit être suffisamment sensible pour permettre de discerner les changements dans l’état de la clientèle-cible. Ce degré de sensibilité est relatif à chaque situation selon l’ampleur du changement attendu.
6-Fidélité: La fidélité de l’indicateur réfère à sa stabilité au fil du temps. Afin d’être utile à juger des changements provoqués par l’intervention l’indicateur doit permettre d’obtenir des observations constantes tout au cours de la mise en œuvre du programme. « Une mesure est considérée comme fiable, si elle produit des résultats constants lorsqu’elle est appliquée de façon répétitive sur le phénomène dans le même état» (Saucier et Brunelle, 1995, p. 24)

How well did you know this?
1
Not at all
2
3
4
5
Perfectly
12
Q

Question 12 - COMMUNIQUER LES RÉSULTATS
L’une des principales valeurs de la psychologie communautaire est sans doute la collaboration. En effet, l’une des grandes forces des psychologues communautaires est d’être toujours en mesure de tisser des liens très étroits entre eux et les communautés desservies. Il n’y a donc rien d’étonnant à ce que cet aspect se retrouve dans chaque aspect de l’évaluation de programmes et ce, du début à la fin. En ce sens, il est donc important que le.la psychologue communautaire soit sensible à la communauté desservie lorsque vient le temps de communiquer les résultats. À partir de ce qui fut présenté dans le cours sur l’évaluation de programmes, rapportez au moins 6 conseils pour bien communiquer les résultats.

A

Réponse:
- Utiliser un langage clair et simple, éviter le jargon
- Faire ressortir l’information importante
- Placer l’information la plus importante au début et à la fin
- Combiner des images et des mots, ou des graphiques et chiffres
- Organiser l’information avec clarté
- Aller du concret à l’abstrait
- Présenter l’information menaçante avec tact
- Utiliser des résumés - n’inclure que les détails essentiels
- Adapter le contenu à l’auditoire (transfert de connaissances)

How well did you know this?
1
Not at all
2
3
4
5
Perfectly
13
Q

Question 13 - ÉVALUATIONS BIEN CONÇUES
Lors du cours sur l’évaluation de programmes, nous avons vu que les évaluations bien conçues devaient tenir compte de 4 points essentiels. Rapporter ces 4 points.

A

Réponse:
- La rigueur du devis
- La prise en considération des contraintes liées aux ressources
- L’utilisation de multiples sources de données
- La capacité de tenir compte de l’influence des valeurs

How well did you know this?
1
Not at all
2
3
4
5
Perfectly
14
Q

Question 14 - CADRE DE KELLY
À quoi fait référence le cadre de Kelly? Répondez brièvement à cette question puis rapportez quelles sont les 5 valeurs fondamentales à la base de ce cadre.

A

Réponse:
La collaboration: la confiance comme élément clé
- Fiabilité
- Crédibilité
- Intégrité
- Réceptivité
- Réciprocité

How well did you know this?
1
Not at all
2
3
4
5
Perfectly
15
Q

Question 15 - ÉTAPES DE L’ÉVALUATION DE PROGRAMMES
Compléter le schéma suivant:

A

Réponse:
Identiftication des besoins
Élaboration du modèle logique
Élaboration des activités
Mise en oeuvre des activités
Évaluation de l’implantation
Évaluation des effets
Diffusion des résultats

How well did you know this?
1
Not at all
2
3
4
5
Perfectly
16
Q

Question 16 - ERREURS D’ERIC
Eric vient de terminer son troisième Postdoctorat en évaluation de programme. Se sentant enfin prêt à affronter le marché du travail, du moins c’est ce qu’il a dit en entrevue à la personne qui l’a embauché, ce dernier obtient rapidement un petit contrat dans un organisme qui sensibilise les nouveaux parents à l’éveil musical. Pour s’assurer que leur tout dernier programme «Ramones pour tous» aura des répercussions positives sur les enfants, la direction demande à Eric d’évaluer le programme en question. Comme c’est une cause qui est importante à ses yeux, il sait qu’il doit néanmoins rester objectif dans son évaluation. C’est pourquoi, afin de s’assurer de la rigueur méthodologique, ce dernier met en place plusieurs lignes directrices. Pour être certain que les données soient objectives, il s’assure que le seul questionnaire, qui servira à obtenir toutes ses données, soit un questionnaire psychométrique standardisé et validé par des études antérieures. Pour être certain de ne pas influencer les réponses, ce dernier n’administrera pas lui-même les questionnaires, bref, notre cher Eric semble avoir une méthodologie irréprochable.

Cependant, lorsque vient le temps d’analyser les résultats, une année plus tard, Éric réalise que peu de questionnaires ont été remplis et qu’en plus, la base de données comporte beaucoup de données manquantes. Étant donné que le projet est terminé et qu’il n’y a plus aucune autre source de données, Eric contacte la direction pour lui demander pourquoi ses questionnaires contiennent autant de données manquantes et surtout, pourquoi aussi peu de questionnaires furent remplis. La direction lui répond alors qu’il n’y avait pas assez d’employés pour superviser les participants lorsqu’ils remplissaient les questionnaires-sondages et que leur imprimante de mauvaise qualité imprimait parfois les sondages de façon hasardeuse. Très déçu de lui-même, Eric se demande alors si son évaluation était bien conçue ou s’il devrait plutôt retourner faire un quatrième postdoc pour améliorer ses compétences. À partir de cette mise en situation qui fut beaucoup trop longue à lire (et à écrire), expliquez à Eric (pas votre enseignant, mais le gars fictif de la mise en situation dont le prénom, qui ressemble étrangement à celui de votre enseignant, relève d’une coïncidence fortuite), deux erreurs qu’il a commises dans la conception de son évaluation.

A

Réponse:
Ses deux erreurs dans la conception de son évaluation sont au niveau de l’évaluation des effets et du rendement: la collecte de données n’utilise que des méthodes directes et il n’a pas effectuer l’analyse des facteurs externes:
Analyse des facteurs externes: Consiste en 5 catégories de facteurs pouvant nuire à l’implantation d’un programme. Dans le cas d’Éric, il s’agit d’un manque de soutien offert. «La direction lui répond alors qu’il n’y avait pas assez d’employés pour superviser les participants lorsqu’ils remplissaient les questionnaires-sondages et que leur imprimante de mauvaise qualité imprimait parfois les sondages de façon hasardeuse.»
Collecte de données avec des méthodes directes: Il s’agit d’observation directe via entretiens, questionnaires, visites des lieux, etc. Dans le cas d’Éric, il a utilisé une enquête par questionnaire. Toutefois, cela viens causer problème et il aurait pu utiliser d’autres méthodes directes comme une enquête par entrevue. Il aurait aussi pu utiliser des méthodes indirectes comme des registres, inventaires, données d’archives, revue de littérature, etc.

17
Q

Question 17 - IMPLANTATION
Quelles sont les deux mesures qui permettent d’évaluer l’implantation?

A

Réponse:
1)Fidélité: dans quelle mesure le programme implanté présente-t-il les caractéristiques du programme planifié
2)Dosage: quantité d’activités produites

18
Q

Question 18 - ÉVALUATION DES EFFETS
Quelle est la visée principale de l’évaluation des effets?

A

Réponse:
Examen des effets d’un programme (à moyen et long terme)
Elle s’intéresse à l’atteinte des objectifs, aux effets intentionnels ou non sur la population ciblée

19
Q

Question 19 - CHOIX DES INDICATEURS
Dans un contexte d’évaluation de programme, la collecte de données représente l’une des étapes les plus importantes et c’est souvent à travers la sélection des indicateurs que les méthodes de collectes seront déterminées. À partir de ce qui fut présenté dans le cours sur l’évaluation de programmes, expliquez la relation qui existe entre la sélection des indicateurs et le modèle logique.

A

Réponse:
Le modèle logique permet de s’assurer de l’atteinte de ces critères puisqu’il permet de définir:
- Les buts et les objectifs attendus à court, moyen et long terme
- Le lien (présumé) entre les activités choisies et les buts/objectifs poursuivis par le programme
- Les éléments du programme à suivre et à évaluer
- Amène à identifier les indicateurs, les sources de données et les méthodologies appropriées pour la collecte
- Permet de déterminer le type d’évaluation qui pourrait/devrait être effectuée