Cours 5 Flashcards
Définition : l’application systématique de méthodes scientifiques pour évaluer la conception, la mise en œuvre, l’amélioration et les résultats d’un programme ou d’une intervention.
Évaluation d’interventions
Comment décrire l’évaluation d’interventions
Champ de connaissances et de pratique qui vise à déterminer la valeur d’une intervention ou d’une nonintervention pour la société
Définition : Action conduite dans l’intention d’avoir un effet sur la société, qu’elle soit qualifiée de programme, d’initiative, de projet, de politique, de règlement, etc.
Intervention
Sur quoi l’évaluation des interventions peut se concentrer ?
Sur toute forme d’initiatives, que ce soit des programmes, des projets, des sous-programmes, des sous-projets ou seulement des éléments de ceux-ci
Pourquoi l’évaluation des interventions est importante en nutrition ?
- Services offerts sont intangibles et donc difficiles à visualiser
- Agissons sur comportements où bénéfices se manifestent à long terme
- ++ attentes avec ressources limitées
- Affronter projets où demandes de services nutritionnels sont peu développées
Pourquoi fait-on l’évaluation des interventions ?
- Améliorer le programme, le service
- Renforcer les capacités en réponse aux besoins des parties prenantes
- Appuyer le développement de l’organisation
- Améliorer l’état des connaissances sur l’efficacité d’une intervention
- Améliorer les conditions sociales et collectives
Pour qui fait-on l’évaluation des interventions ?
Pour les bailleurs de fonds
Pour les décideurs
Pour les parties prenantes
Pour les participants
Pour les citoyens (utilisateurs, non utilisateurs…)
Pour vous-même
Expliquer la métaphore du GPS
GPS nous permet de savoir où on va, d’éviter problèmes, etc. grâce à la collecte de donnée et l’analyse constante de celles-ci
= Évaluation des interventions permet collecte et analyse des données probantes, ce qui permet l’amélioration continue et le renforcement de la pratique
8 critères auxquelles les interventions doivent répondre
A. Accessibilité des services
- Accessibilité
- Équité d’accès
B. Qualité des services
- Efficacité
- Sécurité
- Réactivité
- Continuité
C. Optimisation des ressources
- Efficience
- Viabilité
Obstacle 1: Le financement, le temps et le personnel qualifié requis peuvent nécessiter l’utilisation de fonds provenant du budget des programmes.
Certainement, MAIS si l’on veut maintenir le financement d’un projet, il faut s’assurer qu’il atteigne son objectif.
Par ailleurs, certaines données peuvent être consignées et exiger peu de temps et d’argent (# participants, couverture médiatique)
Obstacle 2: Les employés assignés à un programme craignent souvent que l’évaluation révèle que leur programme n’est pas efficace.
- Le principal intérêt des évaluations est de découvrir les façons de corriger, d’améliorer ou de modifier les programmes pour qu’ils fonctionnent.
- De bons partenaires doivent établir des rapports de confiance et s’assurer qu’ils ont les mêmes objectifs.
- Dynamique organisationnelle, transparence
V/F Il faut impliquer les parties prenantes dans l’évaluation des interventions
V : Les évaluations doivent faire intervenir diverses parties prenantes intéressées par l’évaluation ou ses résultats
Qui sont les parties prenantes dans l’évaluation des interventions ?
- Personnel
- Supérieur hiérarchique
- Bénéficiaires du programme ou de l’intervention
- Bailleur de fonds ou CA selon le cas
- Chercheurs et étudiants impliqués dans la collecte selon le cas
- Organismes partenaires, collaborateur à la collecte
Obstacle : L’évaluation pourrait être un fardeau pour la clientèle, empêcher certaines personnes de recevoir des services ou même porter atteinte à la vie privée.
- Si l’évaluation est un projet de recherche qui fait intervenir des participants, les chercheurs ont besoin d’une approbation éthique pour protéger la vie privée et les renseignements personnels de chaque participant.
- Si l’évaluation est un examen des pratiques, ce n’est probablement pas nécessaire. A vérifier avec l’organisation
Obstacle 4: L’évaluation peut nécessiter des alliances/partenariats difficiles entre des universitaires, des prestataires de soins (Dt.P.) et des acteurs sur le terrain dont les objectifs (et les intérêts) peuvent être très différents
Solution
• Déterminer des objectifs clairs
- Définir des rôles clairs
- Respect et écoute.
Obstacle 5: Les évaluations ne font pas toujours preuve de transparence concernant ce qu’elles révèlent (des résultats montrant qu’un programme n’est pas efficace peuvent ne pas être publiés ni présentés).
- Connaître dès le début l’information qui est importante et qui sera diffusée.
- Ne mettre en évidence que les « réussites » n’avance pas à grand-chose à long terme.
- Il est utile d’informer les gens sur ce qui ne fonctionne pas, voilà tout un défi.
Obstacle 6: Certains programmes devraient être arrêtés ou modifiés, bref les personnes qui s’investissent dans ces programmes peuvent être réticentes à le faire.
- N’ayez pas peur de dire ce que vous avez constaté même si cela peut soulever des critiques.
- Certains programmes finissent par n’avoir aucun impact ou causer du tort, et de tels résultats doivent toujours être exposés.
4 types de contraintes à l’évaluation
- Ressources
- Temps
- Accès aux données
- Considérations politiques ou stratégiques
Limitation de la portée de l’évaluation, restriction de la démarche d’évaluation, dépendance à l’égard des commanditaires du programme sont des contraintes…
En matière de ressources
- Restriction des fenêtres d’observation
- Pressions sur la conduite de l’évaluation
- Pressions pour la présentation des résultats
sont des contraintes…
En matière de temps
- Acteurs impliqués et leur perspective politique de l’évaluation
- Préjugés favorables envers certaines méthodes et conclusions
sont des contraintes…
Politiques
- Restriction des comparateurs possibles
- Capacité à générer des données primaires ou recours sources secondaires
- Indicateurs de succès (effets court-moyen-long terme)
- Contexte et hx de l’intervention
En matière de données
Le choix de l’approche évaluative varie en fonction …
- Des situations
- De l’organisation dans laquelle l’évaluateur évolue
- De ses caractéristiques personnelles
- Des besoins précisés par les personnes concernées
Types d’approches évaluatives
- Directive (somatise)
- Axée sur développement (évolutive)
- Participative
Dans quelle approche Evaluateur = rôle d’expert Neutre et distant par rapport à l’objet évalué
Somative/directive
Dans quelle approche Les résultats sont utilisés pour faire évoluer le programme au cours de sa mise en œuvre, pour l’adapter dans un environnement dynamique
Évolutive (axée sur développement)
Dans quelle approche Evaluateur = membre de l’équipe du projet, participe aux décisions
Évolutive
Processus évolutif selon une démarche de coopération entre des évaluateurs et des personnes concernées par l’évaluation mais qui ne sont pas des évaluateurs professionnels.
Participative
Types de tendances dans approche participative
Pratique
Émancipatrice
Dans quelle approche les Décisions prises par les parties prenantes et non l’évaluateur
Approche participative émancipatrice
Quoi documenter ?
- l’allocation des ressources (Dt.P./région/demandes de formation)
- le volume de produits, services, clientèle
- la portée des efforts - principales réalisations (recherche professionnelle)
- l’incapacité de fournir des services mais aussi les causes
- l’implication des intervenants
Sur quoi l’évaluation peut se concentrer ?
large éventail de sujets, y compris la pertinence, l’accessibilité, les processus, la réalisation des objectifs, l’efficacité, l’impact, le coût, l’efficience et la durabilité (
Qu’est-ce qui fait parti du processus ?
Processus: formation de personnel, construction d’un bâtiment, installation d’équipement
(ACTIVITÉS, EXTRANTS ET PRODUCTION)
ressources humaines, $$, matérielle sont des exemples…
d’intrants
Quel type d’évaluation nous permet de savoir si le programme a été mis en oeuvre tel que planifié ?
Évaluation du processus
Quel type d’évaluation nous permet de savoir si les effets constatés à court terme correspondent aux objectifs initialement fixés
Évaluation de l’efficacité
La métaphore de la boîte noire illustre quel sujet ?
Les processus en nutrition
Qu’est-ce que l’évaluation des processus ?
« les mécanismes par lesquels s’opèrent le(s) changement(s)
V/F une politique publique agit directement sur un problème
F, elle active une série de phénomènes qui finissent par atteindre ce problème.
Qu’est-ce que l’évaluation des résultats suppose ?
utilisation d’indicateurs qui mesurent les effets d’un soin, d’un service ou d’un programme sur la santé d’un patient ou d’une population en fonction des objectifs visés.(ex. mesure de satisfaction des apprenants)
Qu’est-ce qu’il faut pour entamer une évaluation des résultats ?
Être clair quant aux objectifs de l’intervention
Quelle est la séquence typique de résultats d’effets ?
Court terme -> moyen -> long, où long terme = résultats ultimes
Quand on planifie une évaluation, quelle est une étape essentielle ?
Evaluability assessment, avec les parties prenantes
Quel outil nous aide à cibler les questions d’évaluation ?
Le modèle logique
Qu’est-ce que le modèle logique ?
illustration visuelle des ressources, des activités et des résultats attendus d’un programme. Il s’agit d’un outil utilisé pour simplifier des relations complexes entre les diverses composantes et qui peut être utilisé pendant la planification, la mise en œuvre et l’évaluation d’un programme
Qu’est-ce qui nous permet de visualiser les activités prévues et les effets attendus?
Modèle logique de l’intervention à évaluer
À la fin de l’évaluation/intervention, qu’est-ce qu’il faut se poser comme question ?
Avons-nous été utile ? Qu’avons-nous appris sur ce qui fonctionne bien et ce qui ne fonctionne pas?
Exemples d’évaluation des processus en nutrition clinique
- Développer des normes de pratique qui précisent les activités cliniques essentielles, leur fréquence.
- Avoir des protocoles
- Distinguer et comprendre les proportions de temps direct consacré au patient du temps non consacré au patient
- Valoriser des approches différentes
- Saisir la complexité des interventions (varient selon
clientèle, conditions med)
Composantes du modèle logique de base
Intrants Activités Groupes visés Extrants Resultats CT Résultats LT
