Évaluation de programme en santé Flashcards
Quoi faire durant l’évaluation?
- Déterminer si les moyens matériels, administratifs ou financiers mis en oeuvre permettre de produire les effets attendus de ce programme et d’atteindre les objetcif qui lui sont fixés
- Reconnaître et mesurer les effets propres d’un programme et formuler un jugement sur sa valeur
- L’évaluation doit se préoccuper de l’utilité, de la mise en oeuvre, de l’efficacité et de l’efficience des mesures adoptées pour atteindre un objectif spécifique
- Analyser le processus à l’oeuvre dans la réalisation du programme, en essayant de comprendre comment on est passé d’un état initial à la situation présente ou comment et pourquoi on est restés à la situation initiale
- S’interroger sur la pertinence des objectifs initiaux au regard des besoins que l’on cherchait à satisfaire
Qu’est-ce que l’évaluation (définition propre)
- Cueillette systématique de données sur les activités, les caractéristiques et les effets d’un programme en vue de porter un jugement de valeur, de l’améliorer ou de prendre des décisions concernant sa programmation future
Combien y a-t-il de courants de pensée en évaluation de programme?
4 générations d’évaluations
Quelles sont les 4 générations des courants de pensée?
- 1ère: Mesure (évaluateur spécialiste de la mesure)
- 2e: Description (évaluateur s’intéresse surtout aux processus)
- 3e: Jugement (évaluateur s’intéresse surtout au jugement au regards des objectifs initiaux)
- 4e: Négociation (évaluateur facilitateur entre instances et acteurs impliqués)
En quoi consiste l’évaluation?
- Consiste à tenter de répondre à un ensemble de questions relatives à un programme, sa mise en oeuvre et ses effets
- Cherche à apprécier dans quelles mesures le programme évalué possède les principales qualités qui caractérisent un bon programme
- Confronter les résultats obtenus à un référentiel
- Collecter, analyser et présenter des informations systématiques sur un programme dans le but de faciliter la prise de décision
Pourquoi évaluer?
- Pour trouver les moyens d’améliorer un programme
-Évaluer les besoins de la population cible
-Accroître l’utilité du matériel utilisé dans le cadre du programme
-Déterminer ce qui fonctionne et ce qui ne fonctionne pas - Pour recueillir des preuves de l’efficacité
- Pour rendre des comptes
- Pour évaluer l’efficience
- Pour aider à prendre des décisions au sujet des questions suivantes:
-L’utilisation optimale du temps et des ressources
-La satisfaction des besoins des participants
-L’amélioration du programme
-L’efficacité du programme au yeux des bailleurs de fonds et d’autres groupes concernés
Quels sont les 4 standards en évaluation de programme?
Utilité: Qui a besoin de cette évaluation et quels éléments particuliers sont requis?
Faisabilité: Combien d’argent, de temps et d’énergie seront requis pour l’exercice de l’évaluation?
Éthique: Quelles sont les mesures à prendre pour s’assurer du caractère éthique et crédible de cette tâche?
Précision: Quelle approche sera utilisée afin de s’assurer que l’information générée est fiable et crédible?
Quand procéder à une évaluation?
- Nouveau programme
- En cours de développement
- Programme stable et mature
- Programme complété
Quels sont les types d’évaluation de programme?
- Formative
- De processus
- Sommative (résultats)
Qu’est-ce qu’une évaluation formative?
- Quand le cuisinier goûte la soupe
- Souvent au début du processus ou au cours de la mise en oeuvre
- Vise à améliorer le programme
- Identification des problèmes, difficultés, éceuils, etc.
- Remédiation, ajustement, régulation, etc.
- Enjeux faibles
Qu’est-ce qu’une évaluation de processus?
- A généralement lieu au milieu ou mi-parcours des interventions ou activités
- Étudie les aspects de la mise en oeuvre du programme
- Détermination du nombre et des catégories de personnes touchées
- Détermination du nombre et des types d’activités
- Description de la façon dont vont se dérouler les activités
Qu’est-ce que l’évaluation sommative?
- Quand le client goûte la soupe
- Souvent au terme de processus (on continue ou on arrête)
- Vise à prendre des décisions
- Identification des problèmes, difficultés, éceuils, etc.
- Enjeux élevés
Donnez des exemples de critères de mesure des besoins pour une évaluation formative
- Utilisation des services
- Liste d’attente
- Disponibilité et accessibilité des services
- Perception des utilisateurs à l’égard de leurs besoins
Donnez des exemples de critères de mesure du matériel de sensibilisation pour une évaluation formative
- Compréhension du matériel
- Choix des messages-clés
- Lisibilité et niveau de langue
- Valeur esthétique
- Caractère offensant
Donnez des exemples de critères de mesure des besoins pour une évaluation de processus
- Temps consacré par le personnel
- Dépenses/coûts
- Promotion/publicité
- Participation
- Roulement du personnel
Donnez des exemples de critères de mesure du matériel de sensibilisation pour une évaluation de processus
- Demandes de renseignements
- Ressources distribuées
- Création de groupes
- Séances de formation
- Contacts établis
Donnez des exemples de critères de mesure des besoins pour une évaluation de sommation
- Modifications de politique
- Changements sur le plan de la sensibilisation, des connaissances ou des croyances
- Changements aux chapitres de la mortalité, morbidité, etc.
Donnez des exemples de critères de mesure du matériel de sensibilisation pour une évaluation de sommation
- Changements relatifs à l’utilisation des services
- Modification des comportements
- État de santé
- Normes sociales
Quels sont les bénéficiaires selon le type d’évaluation?
Formative: Personnel du programme
Processus: Personnel du programme et parties prenantes
Sommative: Audience externe et parties prenantes
Quelles sont les étapes de l’évaluation? (A, B, C, etc.)
A) Planifier l’évaluation
B) Sélectionner la méthode appropriée
C) Collecter et analyser l’information
D) Préparer le rapport d’évaluation
E) Implémenter les recommandations
Décrire l’étape de la phase A: Planifier l’évaluation
- Déterminer les objectifs de l’évaluation
- Déterminer le type d’évaluation
- Déterminer qui conduira l’évaluation (équipe chargée de l’évaluation)
- Lister les sources d’information pertinentes
Décrire l’étape de la phase B: La méthode d’évaluation appropriée
- Formuler les questions d’évaluation et les sous questions
- Déterminer le design d’évaluation appropriée
- Identifier les standards de mesure
- Identifier les critères et indicateurs de mesure
- Développer un calendrier d’évaluation
- Confirmer le budget d’évaluation
Qu’est-ce qu’un indicateur?
- Mesure unique (habituellement exprimée en termes quantitatifs) qui évalue une dimension essentielle d’un phénomène
- Avant d’être choisi, un indicateur doit présenter certaines caractéristiques
Quelles sont les caractéristiques d’un bon indicateur? (+ 2 autres)
- Validité
- Fiabilité
- Précision
- Universalité
- Efficacité (+)
- Efficience (+)
Qu’est-ce que la validité?
- Un indicateur n’est valide que s’il mesure réellement l’objet voulu
Qu’est-ce que la fiabilité?
- Une mesure est fiable si dans les mêmes circonstances, on obtient le même résultat (ou presque)
Qu’est-ce que la précision?
- Un indicateur est précis s’il mesure les différences (p.ex. dans un groupe) ou les changements sur une période de temps qui sont d’intérêt pour l’utilisateur
Qu’est-ce que l’universalité?
- Un indicateur universel peut être utilisé dans divers contextes et populations
Qu’est-ce que l’efficacité?
- Capacité d’obtenir les résultats souhaités/attendus ou d’atteindre les objectifs fixés
Qu’est-ce que l’efficience?
- Capacité de parvenir à un maximum de résultats avec un minimum de ressources (moindre coûts)
- Une action peut être efficace, mais pas efficiente si elle utilise des moyens disproportionnés
Comment évaluer pour l’amélioration continue?
Planifier:
- Cerner l’objet et les buts
- Définir les mesures
- Planifier les activités
Faire:
- Exécuter le plan
- Entreprendre les activités
- Présenter les interventions
- Appliquer nos connaissances à la poursuite des buts
Agir:
- Intégrer au programme les leçons apprises
- Reformuler la théorie au besoin
- Repérer les autres éléments dont il faut prendre connaissance
Étudier
- Surveiller les résultats
- Vérifier la validité de la théorie et du plan
- Étudier les signes de progrès ou de réussite ou encore les résultats imprévus
- Chercher de nouvelles leçons à tirer et de nouveaux problèmes à résoudre
Quels sont les différents niveaux de l’évaluation?
1.Besoins
2. Objectifs
3. Moyens
4. Réalisations
5. Résultats
6. Impacts
Quelles sont les 10 étapes de l’évaluation de programme en santé?
1. Clarifier le programme
2. Mobiliser les parties prenantes
3. Estimer les ressources et l’évaluabilité
4. Déterminer les questions d’évaluation
5. Déterminer les méthodes de mesure
6. Élaborer un plan d’évaluation
7. Recueillir les données
8. Traiter les données et analyser les résultats
9. Interpréter et disséminer les résultats
10. Appliquer les conclusions de l’évaluation
