Les 15 horribles questions!!!

Question 1

Pourquoi la triangulation des données est-elle importante lorsqu’on fait une étude de cas?

Answer 1

• Le devis n’est pas expérimental. la concordance de données permet d’appuyer les conclusions des auteurs concernant l’efficacité d’un programme. La triangulation permet de distinguer les conjectures des affirmations démontrables.
• Les mesures peuvent servir à compenser les faiblesses d’une autre mesure utilisée.

Question 2

Quels sont les 7 critères d’évaluabilité d’un programme?

Answer 2

• Analyse globale du programme
  
  • Le programme est clairement articulé et explicite
• La clientèle cibles
  
  • caractéristiques clairement présentées
  • critaires de sélection et d’exclusion clairs
• Problématique et analyse des besoins
  
  • Documentée et soutenue par une théorie
  • La théorie explicative est valide
  • Les caratéristiques de la clientèle et les activités sont cohérentes
  • Découle d’une analyse des besoins
• Objectifs et résultats attentus clairement identifiés
  
  • Répond aux objectifs et mission du milieux
  • définition et résultats attendus sont présentés
  • facteurs limitant ou facilitant le changement identifiés
  • degrée de réussite précis
  • mesure des progrès présentée
  • les articulations entre objectifs et résultats sont suffisament doccumenter pour justifier que l’on évalue l’intervention. (Si personne pense que ca peut possiblement marcher pourquoi le faire).
• Modèle logique clair (théorie du programme dans le livre)
  
  • Lien logique entre le programme, les effets attendus et les résultats
  • La théorie du programme explique pourquoi l’intervention donnerais les résultats attendus avec une méthode X.
  • Postulat de causalité entre moyen et résultats attendu plausibles.
• Ressources suffisantes
  
  • caractéristiques et compétences du personnel présentées clairement
  • Ressources humaines, matérielles et $ permette de réaliser le prog
• Utilisation précise des résultats
  
  • L’utilisation des données issues de l’évaluation est clairement précisée.

Question 3

Qu’est-ce qu’un modèle logique?

Answer 3

• Image, généralement réalisée sous forme de diagrame, présentant comment le programme fonctionne afin de donner les impacts attendus
• Par exemple:
  
  • Avant:
    
    • caractéristiques des participants
    • Caractéristiques de l’environnement
    • Indicateurs pertinent au problème
  • Pendant :
    
    • caractéristiques de l’intervenant
    • contexte de l’organisation
    • mise en oeuvre du programme et activités
  • Après :
    
    • mesure de l’indicateur pertient au problème après intervention.

Question 4

1. Qu’est-ce qui distingue l’évaluation formative de l’évaluation sommative?

Answer 4

• Évaluation Formative
  
  • Donne une information afin de modifier l’intervention.
  • Permet de comprendre comment s’articulent les éléments du programme.
• Évaluation sommative
  
  • Présente un portrait de ce qui se produit concrètement (voir les écarts entre programme prévu et réel)
  • Permet de contrôler les variables qui menacent la validité interne et externe (généralisabilité des résultats)

Question 5

À quoi correspondent les phases AVANT/ PENDANT/ APRÈS?

Answer 5

• Avant
  
  • Évaluation des besoins et des conditions préalables à l’implantation d’un programme
    
    • évaluation besoin
    • état des ressources présentes
    • état des ressources manquantes
    • estimation des couts
    • recenssion des initiatives
    • Justification de la pertinence
    • Démonstation de la continuité du programme
    • évaluation de la capacité de mobilisation
• Pendant
  
  • Mesure l’adéquation entre ressources investies et besoins ainsi que la capacité du programme à s’adapter
    
    • qu’elles ressources humaines matérielles sont en place
    • Qu’elles infrastructures
    • Quel degrée de mobilisation de acteurs
    • capacité d’adatation
    • Quels sont les extrants
    • adéquation entre ressources actuelles et ressources prévues
• Après
  
  • Évaluation des impacts et résultats ainsi que la continuité dans l’amélioration des conditions
    
    • effect : court, moyen et long terme
    • importance des effets
    • modification des conditions de base
    • augmentation des connaissances des intervenants
    • persistance des effets du programme
    • conséquences produites congruentes avec l’objectif.

Question 6

1. À quoi sert l’évaluation des besoins?

Answer 6

• PHASE AVANT : Permet de fournir une information valide et fiable sur les problèmes d’une communautée
• PHASE PENDANT : Durant l’intervention, permet d’ajuster le programme aux besoins qui évoluent.

Question 7

1. À quoi sert l’évaluation de l’implantation?

Answer 7

• Permet de donner un Feedback aux décideurs
• permet d’évaluer les résultats en fonction de ce que le programme fait vraiment (donne un apperçu de l’écart entre ce que le programme fait et ce que la manuel dit de faire).

Question 8

1. À quoi sert l’évaluation des effets?

Answer 8

• Vise à rendre un jugement valide et fiable sur les rapports de causalité établis entre le programme et les résultats.
• Permet de voir les impacts a court, moyen ou long termes sur les individu ciblées.

Question 9

1. À quoi s’intéresse l’évaluation des effets?

Answer 9

• Aux retombées du programme (phase APRÈS)
  
  • Liens de causalité entre programme et changements observés
  • Identifier les répercussions à court, moyen et long terme.
• Dimensions
  
  • FORMA/OBJ: offrir une rétroaction
  • FORMA/SUBJECT: identifier succès et échecs
  • SOMMAT/OBJ : mesurer les effets
  • SOMMAT/SUBJ: identifier changements selon les participants.

Question 10

1. Pourquoi la phase PENDANT a-t-elle idéalement lieu préalablement à la phase APRÈS?

Answer 10

• L’évaluation réalisée durant la phase pendant permet de contrôler les écarts entre ce qui doit être fait selon le manuel de programme et ce que le programme fait
  
  • Elle permet de favoriser la validité interne en assurant que le programme se donne comme prévu ou que les variations sont notées afin de mieux le reproduire

Question 11

1. Donnez des exemples d’instruments pour une évaluation subjective et des exemples d’instruments pour une évaluation objective?

Answer 11

• Instrument subjectifs :
  
  • Entrevues
  • L’observation
• Instruments objectifs :
  
  • Questionnaires standardisés
  • analyse de données administratives

* Ce ne sont que des exemples, d’autres outils sont possibles*

Question 12

1. Il existe 3 grandes approches en évaluation des effets. Qu’est-ce qui caractérise chacune d’elles?

Answer 12

• L’approche classique
  
  • Centrée sur les effets
  • utilise des groupes formés au hasard et des groupes contrôle.
• L’approche centrée sur les théories de programme
  
  • S’intéresse aux effets et à l’influence de facteurs externes
  • Sources d’info:
    
    • point de vue des acteurs
    • Les théories
    • Les recherches menées dans la phase de développement
• L’approche centrée sur les utilisateurs
  
  • observe le programme dans son milieu
  • soutient les acteurs dans l’évaluation et l’appropriation de résultats afin de favoriser l’amélioration du programme

Question 13

Quelles sont les techniques de collecte de données lors de l’évaluation des besoins? – (Il serait important de pouvoir distinguer l’approche déductive, inductive et mixte)

Answer 13

• Analyse de données secondaire
• Recension des écrits
• Utilisation d’informateurs cléfs
• Le groupe nominal
• technique de delphi
• Le groupe de discussion
• l’enquête

Question 14

1. Donnez des exemples de questions fréquentes lors de l’évaluation de l’implantation et des modes de collecte de données pertinents pour répondre à ces questions?

Answer 14

• Questions
  
  • Client
    
    • Combien de personnes reçoivent les services.
    • Est-ce que les gens qui reçoivent les services sont ceux que le programme cible.
    • Est-ce que les gens qui reçoivent les services en recoivent la quantitée, le type et la qualitée nécessaire.
    • Est-ce qu’une partie de la clientèle cible ne reçoit pas les services.
  • Programme
    
    • Est-ce que le nombre de personnes donnent le programme est suffisant et compétent.
    • Est-ce que le programme est bien organisé.
    • Est-ce que la coordination du programme est efficace avec les autres programmes.
• Modes de collecte de données
  
  • Analyse doccumentaires du matériel écrit.
  • Analyse des données administratives.
  • Entrevues (auprès des clients, intervenants et autres personnes concernées).
  • Observation (observer es avticités du programme ou les réunion de travail) .
  • L’enquête ou le questionnaire (reccueil de données auprès d’un grand nombre de répondants).

Question 15

1. Qu’est-ce qu’une étude de cas multisite? Donnez un exemple.

Answer 15

• Il s’agit d’une étude de cas qui porte sur plusieurs initées d’analyse. Soit plusieurs individus, groupes d’individus ou lieux.

Question 16

1. Qu’est-ce qui distingue un évaluateur facilitateur (son rôle) d’un évaluateur expert (son rôle)? Quel est le rôle des parties prenantes en fonction du type d’évaluateur?

Answer 16

• Évaluateur faciliateur :
  
  • Évaluateur qui travaille avec les clients ou participants afin de les aider à évaluer le programme
• Évaluateur expert :
  
  • L’évaluateur sollicite minimalement ou pas les clients du programme lors de l’évaluation