Cours 5.1 La performance et retombé des ESC - Les types d'évaluation Flashcards

1
Q

Quelles sont les deux finalités de l’évaluation ?

A

1) Formative visant à améliorer et réorienter

2) Sommative : visant à statuer sur la poursuite, l’arret, la reproduction ou l’extension de l’initiative

How well did you know this?
1
Not at all
2
3
4
5
Perfectly
2
Q

Quels sont les différents niveau de formalisation et cout associés à des pratiques de mesure d’impact social ?

A

1) validation du ressenti
2) Outil maison
3) démarche basée sur des méthodes reconnues
4) Démarche scientifique

(De moins à plus couteux, et de moins formel à plus formel)

How well did you know this?
1
Not at all
2
3
4
5
Perfectly
3
Q

Raison pour lesquelles vous vous intéressez à la mesure d’impact social (perspective)

A

1) Perspective de clarification et amélioration
- juger de la pertinence d’un intervention
- améliorer la qualité de votre intervention
- vous orienter dans la planification
- clarifier votre action

2) Perspective redition de compte
- produire un rapport annuel
- rendre des comptes à vos bailleurs de fonds
- montrer que votre organisation est socialement et environnementalement responsable

3) Perspective de démonstration de l’impact
- faire reconnaitre vore action auprès de bailleurs de fond et autres parties prenantes
- établir une crédibilité
- attribuer une valeur monétaire à votre intervention
- obtenir du financement en fonction de vos résultats et de votre impact sociale

4) perspective de recherche
- faire avance les connaissances
- établir quelles approches fonctionnent le mieux

How well did you know this?
1
Not at all
2
3
4
5
Perfectly
4
Q

Les composantes de l’activité des entreprise sociales et collectives

A

Contexte - activité - ressources - service et produit - objetifs - effets - besoin et aspiration

How well did you know this?
1
Not at all
2
3
4
5
Perfectly
5
Q

Questionnement en 12 étape pour faire de l’évaluation

A

Question sur les intentions

  1. raison d’être
  2. les cibles
  3. les objetifs
  4. la nature du programme

Question sur le programme

  1. les intrants
  2. les activités de production
  3. Les extrants

Question sur les effets
8. Les impacts

Question sur l’atteinte des objetifs et le rendement

  1. l’atteinte des objetifs
  2. le rendement absolu
  3. le rendement relatif
  4. la valeur du programme
How well did you know this?
1
Not at all
2
3
4
5
Perfectly
6
Q
Situation problématique
Objetifs
intrant
activité
extrant
effets directs
effets ultimes
facteur externe
A

Efficacité : objetifs au résultat

efficience : intrant au résultat

résultat : extrant + effets directs + effets ultimes

Mise en oeuvre : intrant + activté + extrant

effet : effets direct + effets ultime

impact = effets ultime + facteur externe

How well did you know this?
1
Not at all
2
3
4
5
Perfectly
7
Q

Méthode en fonction des étapes de votre action

A

Clarification et amélioration

Reddition de compte

Démonstration de l’impact

Recherche
- Analyse du cycle de vie (mesure de l’activité jusqu’à l’impact)

How well did you know this?
1
Not at all
2
3
4
5
Perfectly
8
Q

Évaluation normative

A
Jugement
structure (quantité, qualité, organisation des ressource) - processus (service produit) - résultat (SPR)

Comparaison par rapport à critères et à des normes, mesure des écarts.

Validité repose sur la qualité de la mesure et sur la force causale des liens postulé entre S-P-R

EX: Écarts entre l’objetifs prévu et atteints, cout prévu et cours réel, population ciblée et deservie, services et normes de service.

How well did you know this?
1
Not at all
2
3
4
5
Perfectly
9
Q

Recherche Évaluative - Analyse stratégique

A

Déterminer la pertinence ou raison d’être d’une intervention

adéquation stratégique : justesse du lien entre objetifs de l’intervention et nature du problème

voire le choix du problème à résoudre

ordre de priorité des problémes, (technique de priorisation) importance relative ou priorité des causes (modèle causal du problème)

How well did you know this?
1
Not at all
2
3
4
5
Perfectly
10
Q

Recherche évaluative : Analyse Logique

A

Évaluer le bien-fondé d’une intervention (validité théorique)

adéquation entre les différents objetifs, et entre les objetifs et les moyen pour les atteindre (validité opérationnelle)

valider la capacité a généraliser le modèle

How well did you know this?
1
Not at all
2
3
4
5
Perfectly
11
Q

Recherche évaluative : Analyse de la production

A

Productivité : relation entre les ressources utilisées et le volume de service produits

Qualité : relation entre les moyens et la qualité des service produit : meme ressource, plus de ou de meilleurs service produit ? Meme quantité- qualité de service produit moins de ressource ?

Output intermédiaire - outputs finaux

Méthodes économique, comptable

How well did you know this?
1
Not at all
2
3
4
5
Perfectly
12
Q

Recherche Évaluative : Analyse des effets

A

Mesurer l’efficacité de l’intervention

  • quels sont les effets observables ?
  • Quels sont les effets attribuables ?
  • Effet voulu vs effet non attendu ?
  • Effet court therme vs globaux ou long terme (impact) ?

Approche expérimentales et quasi-expérimentales

Limites : ne touche pas les processus de production des effets (boite noire de l’intervention)

How well did you know this?
1
Not at all
2
3
4
5
Perfectly
13
Q

Recherche évaluative : Analyse de l’efficience

A

Relation entre les ressources et les effets observé

Cout (inputs) et conséquence (outcomes) des interventions

  • meilleurs effets, même couts ?
  • Meme effet, cout moindre ?

Méthode économique

  • analyse cout-bénéfice (monétarisation)
  • analyse cout-efficacité (cout monétaire sur valeur réelle des conséquences)
  • analyse cout-utilité (idem)
How well did you know this?
1
Not at all
2
3
4
5
Perfectly
14
Q

Recherche évaluative : Analyse de l’implantation

A

Relation entre l’intervention, ses composantes et le contextes, et la production des effets

Expliquer les raisons des écarts observé

  • i-a : expliquer la transformation de l’intervention dans le temps
  • i-b : influence du milieu d’implantation ?
  • ii : influence de la variation de l’implantation sur effets ?
  • iii : influence de l’intéraction entre le milieu d’implantation et l’intervention sur les effets observé ?

Méthode des études de cas

How well did you know this?
1
Not at all
2
3
4
5
Perfectly
15
Q

Analyse stratégique

Analyse des effets

Analyse du rendement

Analyse de l’intervention

Analyse de la productivité

Analyse de l’implantation

A

Analyse stratégique : effet sur sitation problématique

Analyse des effets : Service sur les effets

Analyse du rendement : resource sur les effets

Analyse de l’intervention : objetifs sur les services

Analyse de la productivité : service vs ressource

Analyse de l’implantation : intervention sur le contexte

How well did you know this?
1
Not at all
2
3
4
5
Perfectly
16
Q

Recherche, évaluation et prise de décision

A

Recherche non évaluative

Recherche évaluative

Évaluation normative

Prise de décision

How well did you know this?
1
Not at all
2
3
4
5
Perfectly
17
Q

Problème vs objectifs

Objectifs vs ressources

Ressources

Ressource vs service

Service

Service vs effets

A

Problème vs objectifs : Analyse stratégique (Recherche évaluative)

Objectifs vs ressources : Analyse logique (Recherche évaluative)

Ressources : Appréciation de la structure (normative)

Ressource vs service : analyse de la productivité (Recherche évaluative)

Service : Appréciation des processus (normative)

Service vs effets : analyse des effets (Recherche évaluative)

effets vs service : analyse d’implantation (Recherche évaluative)

Effets : Appréciation des résultats (normative)

Analyse de rendement (Recherche évaluative)

How well did you know this?
1
Not at all
2
3
4
5
Perfectly
18
Q

Le modèle Logique

A

Le modèle logique :

  • La feuille de route du programme
  • il décrit les résultats escomptés
  • de même que les activités qui seront entreprises
  • et les extrants et les résultats attentdu

Éléments de la chaine de résultats

  • les intrants, les activité,s les extrant et les resultats du programme (y compris les trois types de résultats - immédiat, intermédiaire et ultime)
  • entre lesquels il existe un lien logique
How well did you know this?
1
Not at all
2
3
4
5
Perfectly
19
Q

Le modèle logique au TIESS

A

1) intrant (input)
2) activité)
3) extrant (output)
4) effets directs
5) effets ultimes
6) sommes des changements observés (facteurs externes, ce qui serait arrivé de toute manière)

How well did you know this?
1
Not at all
2
3
4
5
Perfectly
20
Q

Modèle logique - exemple d’un programme de réduction de la vitesse

A

1) intrant (input) : argent et ressource humaine
2) activité : conception d’une campagne de sensibilisation
3) extrant (output) : publicité à la télévison et sur la route
4) effets directs : réduction de la vitesse automobile
5) effets ultimes : réduction des accidents mortel sur la route
6) sommes des changements observés (facteurs externes, ce qui serait arrivé de toute manière) : taux de mortalité sur la route + autre facteur ayant diminuer la mortalité sur la route

How well did you know this?
1
Not at all
2
3
4
5
Perfectly
21
Q

Types d’évaluation :

A

Pertinence : raison d’être vs nature de l’activité

Cohérence : objetifs - output - activité

Efficience : input - output

Efficacité : objetifs de l’activité - effets directs

Impact : objetifs de l’activité - effets directs + indirect

How well did you know this?
1
Not at all
2
3
4
5
Perfectly
22
Q

Vocabulaire : composante du modèle logique

Intrant :

A

Intrant :
ressource financière et non financière utilisées pour exécuter des activités, produire des extrants et atteindre des résultats

23
Q

Vocabulaire : composante du modèle logique

Activité

A

Activité :
Mesure interne mises en oeuvre pour produire un ou plusieurs extrant
- demontrent le comment du programme
- aussi processus, stratégie, ou mesure de suivis

24
Q

Vocabulaire composante du modèle logique :

Extrant

A

Extrant :
Produit ou service découlant directement des activités, d’une politiques, d’un programme ou d’une initiatives
- dans le cas d’un politique, ils relèvent du contrôle du ministère
- ce sont habituellement des éléments tangible qui peuvent être comptés
- ils démontrent le quoi du programme
- on parle aussi dans le même contexte de produits livrables ou d’unité de service

25
Q

Vocabulaire composante du modèle logique

Résultats

A

Résultat

  • changement ou les différences résultant des extrants du programme
  • démontrent le pourquoi du programme
  • résultats de haut niveau (les résultats ultimes) ne relèvent pas toujours du contrôle d’un programme unique, ils se situent plutot dans la sphere d’influence du ministère
  • on parle aussi dans le même contexte d’impacts ou de retombée
26
Q

Vocabulaire composante du modèle logique : Résultat immédiats

A

Résustats immédiat

  • résultat directement attribuable aux extrants
  • en terme d’échéancier, il s’agira de résultats à court terme
27
Q

Vocabulaire composante du modèle logique : résulats intermédiaire

A

Résultat intermédiaire

  • Résultats qui devraient logiquement suivre, une fois qu’au moins un résultats immédiat à été atteint.
  • souvent ;es résultats intermédiaires decrivent des changements de comportements généré par des améliorations dans les compétences, les connaissances, la sensibilisation ou l’accès dans la population cible
  • la changement peut se manifester au niveau des particuliers, du groupe, d’une orgaisation ou de la collectivité
28
Q

Vocabulaire composante du modèle logique

A

Résultats ultimes

  • résultats se situant au plus ahut niveau parmi les résultats pouvant raisonnablement etre attribués a une politique, a un programme, ou a un initiative selon un lien de causalité
  • le résultat ultime est la conséquence d’un ou de plusieurs résultats intermédiaire qui ont été atteints
  • un résultat ultime contribue souvent à la réalisation des résultat stratégique de haut niveau du ministère
29
Q

Théorie

ressource

activité

résultats de production

effets

impact

A

Théorie : hypothèse

ressource : certaines ressources sont nécéssaire pour faire fonctionner le programme

activité : si vous avez accès à ces ressources, alors vous pourrez realiser les activités prévus

résultats de production : si vous réaliser les activités prévus avec l’intensité demandé, alors vous pourrez vraisemblablement fournir les produits et services que vous aviez prévu fournir

effets : si les activités que vous aviez planifier se réalisent, alors les usager en tireront certains avantages

impact : si ces avantages sont obtenus par les participants, alors on peut s’attendre à voir certains changements à long terme de produire (dans la population, sur le système, de santé, etc.)

30
Q

Modèle avec accent sur le théorique :

Description détaille des raisons qui justifient la pertinence d’un programme ou d’une activité

A
  • quel objetifs doivent être atteint ?
  • comment le programme doit permettre de les atteindre
  • principe sur lesquels repose le programme (analyse des si, comment et pourquoi)
  • étapes qui mènent aux résultats attendus
31
Q

Modèle avec accent sur les résultats

Les premières phases de la planification du programme ou de l’Activité

A
  • lien entre ressource, activité et résultat (effet et impact)
  • sur une échelle temporelle (court, moyen et long terme)
  • d’un ensemble d’activité donnée
  • avec un liens logiques qui unissent les composantes du programme
32
Q

Modèle avec accent sur les résultats

Lien entre ressource, activité, résultats mais avec plus de détails

A

-plan de mise en oeuvre
-détail de toutes les activités nécéssaires
- montre ce qui sera effectivement fait si le programme est mis en oeuvre, tâches projeter, mesure de progrès,
- évaluation de chaque effet en lien avec chacune des activité
bon outil de suivi de l’implantation

33
Q

Exemple : Modèle logique pour une organisation que l’on connaît

A
  • Activité 1 : augmenter l’estime de soi pour les 10-12 ans
  • Extrant : un programme de 10 semaines pour les 10-12 ans
  • Résultat immédiat : augmentation de l’estime de soi dans le groupe du programme
  • Résultat intermédiaire : plus grand nombre de prise de risque sociale à l’école
  • Résultat finaux : meilleurs intégration à l’école secondaire
34
Q

Différence entre évaluation des processus et évaluation d’impacts ?

A

Évaluation des processus
- Valeur en soi
- Éthique de l’és (finalité de service, démocratie économique, lucrativité limités. Autonomie de gestion)
- Hypothèse : le processus conduit a la production d’effet
Évaluation d’impact
- Effets (causés par l’action) sur : les bénéficiaires directs, les bénéficiaires indirects, la société.

35
Q

Qu’est-ce qu’un indicateur ?

A

Outils de mesure. La plupart des indicateurs sont des indicateurs de réalisation, et non d’effet.

36
Q

Quels sont les défis, les risques associés à l’évaluation ?

A
  • Risque de standardisation
  • Effets sélection de l’observable, du quantifiable
  • Effet boussole (dirige l’organisation)
    Défi épistémologique, organisationnels, méthodologique et politique,
    épistémologique
  • Entre difficulté, limite, impossibilité de quantifier et une nécessaire objectivation des effets
  • Entre la quasi impossibilité d’isoler le lien causal et la nécessaire question de la contribution de l’action
    organisationnels
  • Évaluation du processus et des effets
  • Entre la mesure des effets et les effets de la mesure
  • Des ressources pour l’Action ou pour l’évaluation
    méthodologique
  • Entre la méthode miracle et le foisonnement des méthodes toutes dotées de biais
    politique
  • Entre la standardisation et le particularisme
  • Entre outil de contrôle et opportunité d’entreprenariat institutionnel.
37
Q

En quoi l’évaluation consiste-t-elle une opportunité ?

A
  • Renforcer la légitimité
  • Culture d’évaluation (amélioration des pratiques)
  • Mobiliser les parties prenantes
38
Q

Démarche d’évaluation : pour qui ? pour quoi ? évaluer le processus ou appréhender les effets ou l’impact, avec quel moyen ? avec quelles parties prenantes ?

A
  1. Identifier les effets pertinents en fonction de la mission sociale
    Ex : effets globale d’une maison d’accueil
    Effet économique, effet d’acquisition de compétence, effets santé, effets psychologique, effets au réseaux sociaux.
  2. Identifier ou construire des indicateurs.
    Ex : effets psychologie : auto efficacité perçus, estime de soi, etc.
    Définir la méthodologie
39
Q
  1. L’évaluation n’est jamais neutre. Vrai ou faux? Justifiez votre réponse.
A

Vrais, jamais neutre, teinté d’un paradigme, nombreux biais, jugement de valeur, plusieurs types d’évaluations, plusieurs types d’externalité et de mesure d’impacte, différent niveau de formalisation de l’évaluation (simple et complexe). Le contexte de l’évaluation. Pour démontré ma neutralité, il faut exposé sur quels critères l’évaulaiton sera fait, sous quels paradigme. La neutralité n’est pas la rigeur même si les deux concepts sont proche, mais ils ne soppose pas.

40
Q
  1. Qu’est-ce qu’une relation causale? Comment peut-on l’établir?
A

Démontrer la cause qui est relié à l’effet. (revoir lecture TIEFF) Pour avoir une causa a effet, il ne doit pas y avoir un troisième facteur qui peut intervenir. On doit bien isolé les deux facteurs. On peux l’établir grace au contre-factuel, ex: si la maison des jeunes n’existait pas, les jeunes serait dans la rue le soir.
Quels sont les facteurs qui peuvent faire en sorte que la mesure des effets (ou d’impacts) soit moins efficace que souhaitée?
Une causalité exacte peut être établis seulement en laboratoire. Dans un cas en relation soxciales, c’est plus difficile à établis, puisque la réalité est multifactoriel et on ne peut pas isoler un seul facteur.
L’hétéronéité des sujets ne permet pas nécessairement de démontrer une relation causale
Les modes de pratiques des professionnel ex:
Les éléments de contexte (l’envirronnemnt), si celui évolue (ex; le marché du travail qui change), la mesure peu être moins exacte.
Si une troisième variable explique mieux l’effet, la relation causale du départ est moins valide.
Une corrélation n’est pas une causalité. Il faut se méfier des coorélations.

41
Q
  1. Qu’est-ce qu’un modèle logique? À quoi sert-il?
A

Modèle d’évaluation d’impact basé sur la théorie du changement. Si je fait ça, ceci va arriver. On commence avec les ressources, quand on utilise les ressources, il y a un premier résultat, qui est possible parce que… cest une déduction logique…Si alors, pourquoi. L’hypothèse est relié à la théorie du changement, il faut exposer notre paradigme. La théorie est la justification de l’hypothèse. Limite du modèle logique : on peu avoir des effets non prévus, positif ou négatif. Les effets non prévu ne pourront pas être utilisé dans notre financement. Le modèle logique ne permet pas vraiment l’innovation et de justifier des effets non prévus.

42
Q

Qu’est-ce que la mesure d’impact social?

A

La mesure d’impact social désigne, de manière générale, l’activité qui consiste à évaluer les effets découlant d’une intervention.

Le mot mesure signifie, au sens propre « déterminer, évaluer d’après un étalon, à l’aide d’un instrument ». On peut aussi l’interpréter, au sens figuré, comme un synonyme d’évaluation.
Le mot impact est un anglicisme de plus en plus en usage dans la langue française et employé, dans ce contexte, comme synonyme de conséquence, effet ou retombée.
Le mot social renvoie généralement à la prise en compte d’aspects autres que les considérations purement économiques.
Dans la pratique, la mesure d’impact social désigne un ensemble de pratiques visant à décrire et à démontrer les changements causés par une activité. Les techniques permettant d’atteindre cet objectif peuvent impliquer un niveau de formalisation ou de « rigueur scientifique » variable, allant de brèves études basées sur les perceptions de quelques participants à des études longitudinales avec des groupes contrôles sélectionnés aléatoirement (essai randomisé contrôlé). Bien que la corrélation ne soit pas parfaite, un niveau de formalisation plus élevé entraînera généralement des coûts également plus élevés.

43
Q

L’évaluation des effets désigne

A

L’évaluation des effets désigne une démarche systématique permettant d’estimer les conséquences attribuables à une intervention.

On peut situer l’évaluation des effets dans un ensemble plus vaste d’évaluations portant sur divers objets liés à l’intervention d’une organisation. Cette intervention est généralement illustrée grâce au modèle logique.

44
Q

Pourquoi mesurer l’impact social ?

A

Plusieurs raisons peuvent pousser une organisation à s’engager dans une démarche d’évaluation. Pensons à : juger de la pertinence d’une intervention, aider à la planification, améliorer une intervention, rendre des comptes, renforcer le pouvoir d’agir des participants, valoriser la contribution de l’action des employés et bénévoles, contribuer à l’avancement des connaissances, établir une crédibilité, accroître son niveau de reconnaissance ou encore essayer d’accéder à des financements. Dans certains cas, la meilleure option sera effectivement d’évaluer l’impact social, mais dans d’autres situations il vaudra peut-être mieux évaluer les besoins, les activités, les résultats à court terme, voire ne pas évaluer du tout et concentrer ses efforts sur la planification, la communication, le marketing, etc.

45
Q

Comment mesurer son impact social?

A

Plusieurs méthodes, guides et outils proposent une démarche permettant d’évaluer les effets d’une entreprise d’économie sociale. Ces démarches ont plusieurs points communs, qui peuvent être résumés en quelques étapes.

1.Définir les objectifs de l’évaluation. Avant de se lancer dans une démarche d’évaluation, il faut d’abord se demander pourquoi une telle démarche est nécessaire, à qui elle s’adresse et à quelles questions vous souhaitez répondre. Tout le reste de la démarche dépendra des réponses à ces questions. Il s’agit donc potentiellement de l’étape la plus importante, celle à laquelle vous devriez consacrer le plus de temps, d’autant plus que ce travail ne peut pas être délégué à des experts externes. Il est important de noter que les organisations évaluées n’ont pas toujours le contrôle à cette étape puisque certaines démarches sont imposées de l’externe.
Pour en savoir plus sur cette étape, consultez Pourquoi évaluer? Pour qui? Quelle approche?
2. Choisir la méthode et l’approche. Par approche, nous entendons notamment la manière dont vous aborderez l’évaluation et les choix que vous ferez en matière d’implication d’intervenants externes. Le choix de cette approche devrait découler des réponses à l’étape 1. Il vous faudra évidemment tenir compte des ressources dont vous disposez ainsi que du temps que vous êtes prêts à investir, et être prêt à réviser vos objectifs s’il n’y a pas de concordance entre ceux-ci et vos moyens. Dans la majorité des cas, vous ne choisirez pas une méthode toute prête, mais bâtirez plutôt une démarche adaptée à votre contexte en vous inspirant de ce qui existe.
Pour en savoir plus sur cette étape, consultez Les méthodes liées à la mesure d’impact social.
La formulation exacte des étapes qui suivent dépend des objectifs d’évaluation, de l’approche, de la méthode et des ressources que vous aurez choisi d’allouer. Ces étapes sont présentées uniquement dans le but de vous donner une idée générale de ce qu’implique une évaluation des effets.

  1. Identifier et impliquer les parties prenantes de l’activité à évaluer. Une fois que vous avez convenu qu’une évaluation des effets est effectivement le type d’évaluation dont vous avez besoin, vous pouvez commencer le travail en cartographiant les groupes (membres, utilisateurs, bailleurs de fonds, partenaires, employés, etc.) susceptibles d’être concernés par votre activité, c’est-à-dire qu’ils sont directement affectés ou qu’ils ont le pouvoir de l’influencer.
  2. Identifier les effets recherchés et les indicateurs. Pour mesurer les effets de votre activité, vous devez idéalement élaborer une « théorie du changement », c’est-à-dire un portrait des buts ultimes (votre mission), objectifs intermédiaires et moyens qui vous permettront de cheminer vers ces buts. Nous qualifions ces divers objectifs d’effets recherchés et leur nature varie d’une organisation à l’autre. La sélection d’indicateurs pertinents se base sur les effets recherchés.
    Pour en savoir plus sur cette étape, consultez Les indicateurs.
    En réalisant les étapes 2, 3 et 4, vous êtes en train de rédiger un plan d’évaluation. Un modèle de plan d’évaluation, tiré d’une publication d’Imagine Canada (2006), peut être utilisé en cliquant ici.
  3. Recueillir et analyser les données. Cette étape consiste à documenter les effets en fonction des groupes et objectifs ciblés par votre action, puis à analyser les données ainsi recueillies. La méthodologie exacte, le niveau de formalisation et les détails de cette étape varient grandement en fonction de la méthode que vous privilégierez.
    Pour en savoir plus sur cette étape, consultez la section « guides » de notre sélection des ressources pertinentes sur Passerelles.
  4. Utiliser l’information et réévaluer les besoins. Le fruit de l’évaluation que vous aurez ainsi menée doit servir certaines finalités (p. ex. améliorer vos activités, faire reconnaitre votre action, prendre des décisions, etc.). Des évaluations subséquentes et des mises à jour pourront être nécessaires ou non en fonction de vos besoins.
46
Q

Les introductions à l’évaluation commencent souvent en opposant les finalités sommative et formative.

A

L’évaluation sommative est une évaluation dont l’objectif est de porter un jugement sur la pertinence d’une intervention, et de la poursuivre ou de l’interrompre. Elle est généralement réalisée au terme de l’intervention, par des observateurs qui n’ont pas pris part à l’action, ce qui lui procure une certaine neutralité.
L’évaluation est dite formative si l’objectif est de brosser, pendant la mise en œuvre d’une intervention, un portrait du fonctionnement des activités dans une perspective d’amélioration. Elle a alors tendance à être réalisée en étroite collaboration avec les personnes impliquées dans l’intervention et sa validité sera davantage tournée vers l’interne.
Il existe cependant de nombreuses autres finalités qui s’inscrivent plus ou moins dans cet axe sommatif-formatif. Ainsi, l’évaluation peut aussi être un moyen de :

Rendre des comptes ;
Renforcer le pouvoir d’agir des participants ou valoriser la contribution des employés et bénévoles ;
Contribuer à l’avancement des connaissances ;
Enfin, particulièrement dans le cas de certaines démarches de mesure d’impact social, faire reconnaitre les résultats de son action, voire constituer un plaidoyer pour légitimer celle-ci et obtenir du financement.

47
Q

L’évaluation peut porter sur différents aspects

A

L’évaluation peut porter sur différents aspects : les besoins, la pertinence, les processus, l’implantation, l’efficacité, l’efficience, les résultats, les effets, et enfin l’impact.

48
Q

Organisation des méthodes en fonction des objets auxquelles elles s’intéressent

A

Perspective de clarification et d’amélioration : les méthodes de clarification et d’amélioration visent à comprendre, à expliquer puis à améliorer l’intervention; elles couvrent l’ensemble des objets du modèle logique. La preuve d’un impact est cependant secondaire comparativement à la clarification des besoins, des objectifs et des moyens employés pour y parvenir. Exemple : la théorie du changement.

Perspective de reddition de comptes : les méthodes liées à la reddition de comptes concernent d’abord les activités (processus) et les extrants. Ils visent à montrer à un public externe que l’organisation prend en considération des indicateurs extrafinanciers dans sa gestion. Exemple : la Global Reporting Initiative.

Perspective de démonstration de l’impact : Les stratégies de démonstration de l’impact visent à convaincre un public externe de la valeur d’une action. Pour y parvenir, on peut mettre en valeur les retombées économiques (MISQ), attribuer une valeur monétaire à des retombées qui ne sont traditionnellement pas transigées sur le marché (ACA et SROI) ou réaffirmer la valeur de ces retombées non marchandes dans une démarche politique plus large (US). L’objet principal, du point de vue du modèle logique, est l’effet produit. Exemple : le Social return on investment.

Perspective de recherche : seules les méthodes associées à la perspective recherche tentent véritablement de mesurer l’impact au sens de prouver qu’une intervention a généré certains effets. En ce sens, leur principal objet est l’impact. Idéal type : les essais randomisés contrôlés.

49
Q

un indicateur est

A

e, un indicateur est une mesure qui sert à évaluer ou à apprécier les résultats, l’utilisation des ressources, l’état d’avancement des travaux, le contexte, etc. Il permet d’apprécier un phénomène qualitativement ou quantitativement à l’aide de données ou de renseignements utilisés comme points de repère.

Les indicateurs servent à mesurer un critère et peuvent être organisés par dimensions, comme illustré dans l’exemple suivant. De plus, comme dans l’exemple, ces indicateurs peuvent être qualitatifs ou quantitatifs et s’appliquer à des objets différents (contexte, extrants, effets, etc.).

50
Q

Deux grandes stratégies

A

La première approche est motivée par une volonté de se démarquer ou de rendre compte à un public externe. C’est une stratégie de distinction.
La seconde approche vise d’abord à mieux comprendre l’action et à améliorer la gestion. Elle s’adresse d’abord à un public interne. C’est une stratégie de pilotage de l’action.

51
Q

Les impacts négatifs potentiels de la mesure d’impact

A

Réactivité
Résumé : si on leur impose la mesure d’impact, certaines entreprises vont réagir de manière attendue ou non. Elles pourraient, par exemple, avoir recours à des stratégies ou des comportements qui visent à les faire paraître performantes par rapport aux indicateurs sur lesquels elles sont évaluées – plutôt qu’en fonction des effets réellement recherchés – ou carrément adopter des pratiques de manière symbolique, sans véritablement y croire.

Substitution des objectifs poursuivis
L’un des risques les plus connus de l’introduction d’une évaluation de la performance basée sur des indicateurs imposés de l’externe est ce que la littérature appelle le goal displacement , c’est-à-dire la substitution de buts initialement visés par de nouveaux objectifs directement liés aux indicateurs mis de l’avant.

Business washing
Morley (2017), dans un article sur « l’impact de l’impact », a documenté des cas d’organisations (entreprises sociales ou organismes de bienfaisance) au Royaume-Uni qui ont intégré le langage et la logique de la mesure d’impact à leurs activités et à leurs communications. Si, dans certains cas, cette intégration était jugée utile et satisfaisante, dans d’autres, on ne parle pas vraiment d’intégration, mais plutôt d’une adoption symbolique de certains codes pour accroître sa légitimité auprès de bailleurs de fonds et autres parties externes. On qualifie cette situation où un organisme à but non lucratif souhaite paraître plus professionnel et comparable à une entreprise classique, sans forcément l’être, de business washing.

Comportements indésirables causés par des mesures de performance trop étroites

Vision – les organisations, devant des cibles différentes, choisissent celles qui sont les plus faciles à mesurer ou les plus avantageuses et ignorent les autres.
Sous-optimisation – les organisations choisissent d’agir de manière à bien servir leur propre fonctionnement, mais nuisent aux performances de l’ensemble du système.
Myopie – les organisations concentrent leurs efforts sur des objectifs à court terme au détriment des objectifs à plus long terme.
Fixation sur les mesures facilement atteignables – lorsque les effets sont difficiles à mesurer, il existe une tendance naturelle à utiliser des mesures basées sur des extrants plus facilement mesurables, qui remplacent les effets souhaités ou définis dans les objectifs de l’organisation.
Déformations – les organisations font de faux rapports ou déforment les mesures de performance pour faire bonne impression.
Interprétations erronées – les organisations utilisent ou analysent des informations d’une manière trompeuse et/ou difficile à interpréter.
Manipulations – les organisations « sous-performent » délibérément afin d’obtenir une cible plus facile à atteindre lors de leurs activités.
Ossification – les organisations ne prennent pas la peine de réviser ou de supprimer des mesures périmées ou qui n’ont plus de raison d’être.

Concurrence et conformisme
Résumé : en mettant des entreprises d’économie sociale en concurrence sur une base qui serait inadaptée, un bailleur de fonds qui souhaite financer uniquement les entreprises à « impact social » risquerait de décourager le développement de certaines innovations et de récompenser les entreprises qui sont les plus aptes à générer et à démontrer certains effets préétablis, au détriment d’autres résultats tout aussi désirables.

L’évaluation comme mode de gouvernance
Résumé : l’évaluation des effets des entreprises d’économie sociale est une question stratégique qui n’est jamais neutre. Les lignes qui précèdent permettent de comprendre cette prémisse du projet du TIESS sur la mesure d’impact. Ainsi, les critiques évoquées dans les sections précédentes ne remettent pas en cause l’activité d’évaluation elle-même, elles mettent en garde contre l’utilisation qui peut être faite de cette activité et appelle les entreprises et les réseaux d’économie sociale à développer un point de vue critique par rapport aux enjeux posés. Ces réseaux et entreprises ne doivent donc pas s’éloigner de l’évaluation, mais plutôt se l’approprier, la saisir comme une occasion de réfléchir, de repenser ou de réaffirmer leurs objectifs, leurs priorités, leur identité et leur projet politique.

52
Q

Évaluer un effet intangible

Pour évaluer un effet réputé intangible, il importe d’abord de bien décortiquer la nature du problème.

A

Un premier défi est de cerner l’effet que l’on souhaite évaluer ou mesurer l’aspect de la réalité que l’on cherche à décrire.
Un second défi consiste à trouver un indicateur ou proxy qui reflétera bien cet aspect.
Un troisième défi consiste à mesurer le changement ou la différence vis-à-vis de cet aspect.
Enfin, un dernier défi consiste à établir un lien de causalité, c’est-à-dire à démontrer qu’un changement est dû à une activité en particulier (dans une certaine proportion).

53
Q

La notion de causalité désigne un « lien qui unit une cause à un effet » (Hutchinson, 2018). Pour (McDavid et Hawthorn, 2006), trois conditions doivent être respectées pour établir une relation de causalité :

A

« [l’intervention] précède le résultat observé,
la présence ou l’absence du résultat observé est corrélée avec celle de [l’intervention],
il n’y a pas d’autres facteurs explicatifs rivaux plausibles pour expliquer la corrélation entre [l’intervention] et le résultat. [1] » (p. 25).