Cours 5.1 La performance et retombé des ESC - Les types d'évaluation Flashcards
Quelles sont les deux finalités de l’évaluation ?
1) Formative visant à améliorer et réorienter
2) Sommative : visant à statuer sur la poursuite, l’arret, la reproduction ou l’extension de l’initiative
Quels sont les différents niveau de formalisation et cout associés à des pratiques de mesure d’impact social ?
1) validation du ressenti
2) Outil maison
3) démarche basée sur des méthodes reconnues
4) Démarche scientifique
(De moins à plus couteux, et de moins formel à plus formel)
Raison pour lesquelles vous vous intéressez à la mesure d’impact social (perspective)
1) Perspective de clarification et amélioration
- juger de la pertinence d’un intervention
- améliorer la qualité de votre intervention
- vous orienter dans la planification
- clarifier votre action
2) Perspective redition de compte
- produire un rapport annuel
- rendre des comptes à vos bailleurs de fonds
- montrer que votre organisation est socialement et environnementalement responsable
3) Perspective de démonstration de l’impact
- faire reconnaitre vore action auprès de bailleurs de fond et autres parties prenantes
- établir une crédibilité
- attribuer une valeur monétaire à votre intervention
- obtenir du financement en fonction de vos résultats et de votre impact sociale
4) perspective de recherche
- faire avance les connaissances
- établir quelles approches fonctionnent le mieux
Les composantes de l’activité des entreprise sociales et collectives
Contexte - activité - ressources - service et produit - objetifs - effets - besoin et aspiration
Questionnement en 12 étape pour faire de l’évaluation
Question sur les intentions
- raison d’être
- les cibles
- les objetifs
- la nature du programme
Question sur le programme
- les intrants
- les activités de production
- Les extrants
Question sur les effets
8. Les impacts
Question sur l’atteinte des objetifs et le rendement
- l’atteinte des objetifs
- le rendement absolu
- le rendement relatif
- la valeur du programme
Situation problématique Objetifs intrant activité extrant effets directs effets ultimes facteur externe
Efficacité : objetifs au résultat
efficience : intrant au résultat
résultat : extrant + effets directs + effets ultimes
Mise en oeuvre : intrant + activté + extrant
effet : effets direct + effets ultime
impact = effets ultime + facteur externe
Méthode en fonction des étapes de votre action
Clarification et amélioration
Reddition de compte
Démonstration de l’impact
Recherche
- Analyse du cycle de vie (mesure de l’activité jusqu’à l’impact)
Évaluation normative
Jugement structure (quantité, qualité, organisation des ressource) - processus (service produit) - résultat (SPR)
Comparaison par rapport à critères et à des normes, mesure des écarts.
Validité repose sur la qualité de la mesure et sur la force causale des liens postulé entre S-P-R
EX: Écarts entre l’objetifs prévu et atteints, cout prévu et cours réel, population ciblée et deservie, services et normes de service.
Recherche Évaluative - Analyse stratégique
Déterminer la pertinence ou raison d’être d’une intervention
adéquation stratégique : justesse du lien entre objetifs de l’intervention et nature du problème
voire le choix du problème à résoudre
ordre de priorité des problémes, (technique de priorisation) importance relative ou priorité des causes (modèle causal du problème)
Recherche évaluative : Analyse Logique
Évaluer le bien-fondé d’une intervention (validité théorique)
adéquation entre les différents objetifs, et entre les objetifs et les moyen pour les atteindre (validité opérationnelle)
valider la capacité a généraliser le modèle
Recherche évaluative : Analyse de la production
Productivité : relation entre les ressources utilisées et le volume de service produits
Qualité : relation entre les moyens et la qualité des service produit : meme ressource, plus de ou de meilleurs service produit ? Meme quantité- qualité de service produit moins de ressource ?
Output intermédiaire - outputs finaux
Méthodes économique, comptable
Recherche Évaluative : Analyse des effets
Mesurer l’efficacité de l’intervention
- quels sont les effets observables ?
- Quels sont les effets attribuables ?
- Effet voulu vs effet non attendu ?
- Effet court therme vs globaux ou long terme (impact) ?
Approche expérimentales et quasi-expérimentales
Limites : ne touche pas les processus de production des effets (boite noire de l’intervention)
Recherche évaluative : Analyse de l’efficience
Relation entre les ressources et les effets observé
Cout (inputs) et conséquence (outcomes) des interventions
- meilleurs effets, même couts ?
- Meme effet, cout moindre ?
Méthode économique
- analyse cout-bénéfice (monétarisation)
- analyse cout-efficacité (cout monétaire sur valeur réelle des conséquences)
- analyse cout-utilité (idem)
Recherche évaluative : Analyse de l’implantation
Relation entre l’intervention, ses composantes et le contextes, et la production des effets
Expliquer les raisons des écarts observé
- i-a : expliquer la transformation de l’intervention dans le temps
- i-b : influence du milieu d’implantation ?
- ii : influence de la variation de l’implantation sur effets ?
- iii : influence de l’intéraction entre le milieu d’implantation et l’intervention sur les effets observé ?
Méthode des études de cas
Analyse stratégique
Analyse des effets
Analyse du rendement
Analyse de l’intervention
Analyse de la productivité
Analyse de l’implantation
Analyse stratégique : effet sur sitation problématique
Analyse des effets : Service sur les effets
Analyse du rendement : resource sur les effets
Analyse de l’intervention : objetifs sur les services
Analyse de la productivité : service vs ressource
Analyse de l’implantation : intervention sur le contexte
Recherche, évaluation et prise de décision
Recherche non évaluative
Recherche évaluative
Évaluation normative
Prise de décision
Problème vs objectifs
Objectifs vs ressources
Ressources
Ressource vs service
Service
Service vs effets
Problème vs objectifs : Analyse stratégique (Recherche évaluative)
Objectifs vs ressources : Analyse logique (Recherche évaluative)
Ressources : Appréciation de la structure (normative)
Ressource vs service : analyse de la productivité (Recherche évaluative)
Service : Appréciation des processus (normative)
Service vs effets : analyse des effets (Recherche évaluative)
effets vs service : analyse d’implantation (Recherche évaluative)
Effets : Appréciation des résultats (normative)
Analyse de rendement (Recherche évaluative)
Le modèle Logique
Le modèle logique :
- La feuille de route du programme
- il décrit les résultats escomptés
- de même que les activités qui seront entreprises
- et les extrants et les résultats attentdu
Éléments de la chaine de résultats
- les intrants, les activité,s les extrant et les resultats du programme (y compris les trois types de résultats - immédiat, intermédiaire et ultime)
- entre lesquels il existe un lien logique
Le modèle logique au TIESS
1) intrant (input)
2) activité)
3) extrant (output)
4) effets directs
5) effets ultimes
6) sommes des changements observés (facteurs externes, ce qui serait arrivé de toute manière)
Modèle logique - exemple d’un programme de réduction de la vitesse
1) intrant (input) : argent et ressource humaine
2) activité : conception d’une campagne de sensibilisation
3) extrant (output) : publicité à la télévison et sur la route
4) effets directs : réduction de la vitesse automobile
5) effets ultimes : réduction des accidents mortel sur la route
6) sommes des changements observés (facteurs externes, ce qui serait arrivé de toute manière) : taux de mortalité sur la route + autre facteur ayant diminuer la mortalité sur la route
Types d’évaluation :
Pertinence : raison d’être vs nature de l’activité
Cohérence : objetifs - output - activité
Efficience : input - output
Efficacité : objetifs de l’activité - effets directs
Impact : objetifs de l’activité - effets directs + indirect