Évaluation de programmes Flashcards

1
Q

Quel est le défi au niveau de l’évaluation de programme de l’aide téléphonique aux personnes suicidaires?

A

Savoir comment intervenir au téléphone auprès de personnes suicidaires

How well did you know this?
1
Not at all
2
3
4
5
Perfectly
2
Q

Quelles sont les 2 méthodes pour évaluer l’aide téléphonique (population suicidaire)?

A

1) étudier les effets des interventions téléphoniques

2) Étudier le processus d’intervention

How well did you know this?
1
Not at all
2
3
4
5
Perfectly
3
Q

Quelles sont les 3 types d’effets évalués auparavant dans les études pour évaluation l’efficacité de l’intervention téléphonique?

A

1) Changement des les taux de suicide de population cible
2) Satisfaction en lien avec le service
3) Suivi, réutilisation des services par les clients et utilisation des références

How well did you know this?
1
Not at all
2
3
4
5
Perfectly
4
Q

Dans les études faites sur les changements dans les taux de suicide de populations cibles, qu’en est-il ressorti?

A

Bagley: les taux de suicide ont décliné dans seulement 30 villes servies par ‘‘Les Samaritains’’ (ils ont regardé ville recevant service VS celle que non)

Kreitman : Associe diminutions suicide au changement de type de gaz utilisé dans les cuisinières de maison (vu que c’était la principale façon de faire)

Miller: a trouvé que la diminution avait lieu seulement chez les femmes de 25 ans et moins (celles qui appelent le plus)

ON EN CONCLUT: qu’il est difficile d’isoler les effets d’activités spécifiques de prévention du suicide de toutes les autres influences.

How well did you know this?
1
Not at all
2
3
4
5
Perfectly
5
Q

Qu’en retire t’on des études faites par rapport à la satisfaction de la clientèle?

A

N’est pas une preuve d’efficacité

Toutes les études montrent des résultats favorables

60-80% des gens disent avoir été aidés

Peu utile

BIAIS: clients insatisfaits ne répondent pas

How well did you know this?
1
Not at all
2
3
4
5
Perfectly
6
Q

Qu’en est-il ressorti des études faites sur le suivi et l’utilisation des services par les clients?

A

23-37% des clients rappellent

Cela signifie un bon ou un mauvais service si les clients rappellent ?

29 à 81% se présentent aux services où ils ont été référés

How well did you know this?
1
Not at all
2
3
4
5
Perfectly
7
Q

Pour le processus d’intervention, deux aspects sont évalués, lesquels?

A

Aspects techniques : accomplissement de certaines tâches durant l’intervention

  • Établir la communication avec l’appelant
  • Évaluer l’état de celui-ci
  • Établir un plan d’action
  • Explorer des ressources internes et externes
  • Explorer les sentiments en regard d’un plan d’action ou contrat
  • Établir niveau critique de la situation
  • Explorer les aspects ‘‘pratico-pratiques’’ du plan d’action

Aspect cliniques: qualité des interventions/interactions (jugées aidantes) - empathie, chaleur et authenticité (Rogers)

How well did you know this?
1
Not at all
2
3
4
5
Perfectly
8
Q

Qu’est-ce qui est ressortie des études entre les interventions faites par des bénévoles VS personnes rémunérées?

A
Bénévoles:
\+ de caractéristiques facilitantes
\+ patients
\+ gentils
\+ rassurants

Professionnels:
+ rigoureux
+ stimulants
+ axés sur diagnostic

How well did you know this?
1
Not at all
2
3
4
5
Perfectly
9
Q

De quelle façon se sont pris Daigle et Mishara pour évaluer le processus d’intervention téléphoniques dans les centres canadiens?

A
  • Écoute de 617 appels téléphoniques
  • Évaluation selon une grille de 20 items : La liste de réponses de l’aidant
  • Classification selon interventions directives ou non-directives
How well did you know this?
1
Not at all
2
3
4
5
Perfectly
10
Q

Quelles sont les 2 types de classification de style d’intervention téléphonique?

A

Directif: Questions directes + avis + suggestions - résolution de problèmes

Non-directif: De style Rogérien, pro-empathie - Écoute active

How well did you know this?
1
Not at all
2
3
4
5
Perfectly
11
Q

Quels sont les résultats de l’étude de Daigle et Mishara pour évaluation du processus d’intervention téléphoniques dans les centres canadiens?

A
  • diminution de l’état dépressif du début à la fin (14% des cas)
  • Diminution de l’urgence suicidaire du début à la fin (27% des cas)
  • Entente sur un contrat dans 68% des appels, desquels 54% sont tenus (selon ce qui a été obtenu comme info en suivi)
  • Tous les appels sont +/- directifs
  • Lorsque réponses non directives = + diminution de la dépression
  • Directivités = effets positifs chez appelants répétés
  • Utilisation de réponses non-directives -> diminution de l’urgence suicidaire et l’entente sur contrat
  • Qu’il est important de définir le processus d’intervention d’un appel (modèle théorique)
  • Importance d’en apprendre plus sur les effets des interventions et de lier le processus aux effets
How well did you know this?
1
Not at all
2
3
4
5
Perfectly
12
Q

Qu’est-ce qu’une analyse d’une théorie d’intervention?

A
  • Description des fondements théoriques (des interventions téléphoniques)
  • Description précise du processus et de ces différentes activités (ce qui se passe aux différents stade de l’appel)
  • Description détaillée des liens entre: les activités, le processus et les résultats attendus
How well did you know this?
1
Not at all
2
3
4
5
Perfectly
13
Q

Pourquoi analyser des modèles théoriques des interventions?

A
  • pour mieux comprendre ce qui se passe dans les différents centres (n’utilisent pas tous les mêmes modèles, certains sont mieux que d’autres)
  • Théorie de l’intervention aide à mieux déterminer ce qu’il faut analyser dans un appel (pour voir si les aidants font ce qu’ils devraient faire)
  • Les théories peuvent : Aider à comprendre et interpréter les résultats
How well did you know this?
1
Not at all
2
3
4
5
Perfectly
14
Q

Quelles ont été les conclusions par rapport a l’évaluation de programme contre le suicide? (nommez en quelques unes ou celles qu’on trouve les plus pertinentes)

A
  • grande variabilité entre les centres
  • attitude supportante, bon contact et style directif = résultats positifs
  • Empathie et respect = recherché chez les aidants
How well did you know this?
1
Not at all
2
3
4
5
Perfectly
15
Q

Les objectifs de l’évaluation de programme sont définis par quels facteurs (2)?

A
  • l’objet de l’évaluation

- l’état de maturité du programme

How well did you know this?
1
Not at all
2
3
4
5
Perfectly
16
Q

Quels sont les 4 concepts à la base de l’évaluation de besoins?

A
  • Problème
  • Ressource
  • Besoin
  • Solution
How well did you know this?
1
Not at all
2
3
4
5
Perfectly
17
Q

Quelles sont les 3 raisons qui font qu’un programme pourrait ne pas avoir les effets escomptés?

A
  • Les hypothèses sous-jacentes à la théorie du programme ne sont pas correctes
  • La théorie du programme est fausse
  • La mise en oeuvre du programme est insuffisante/pas correcte
How well did you know this?
1
Not at all
2
3
4
5
Perfectly
18
Q

Qu’est-ce que l’évaluation de programme?

A
  • Activité de recherche

- Méthode d’intervention (pouvant influencer les actions et mobilisation des communautés)

How well did you know this?
1
Not at all
2
3
4
5
Perfectly
19
Q

Quels sont les différents éléments évalués?

A
  1. Évaluation des besoins (théorie du programme, adéquation du programme avec le problème, faisabilité)
  2. Évaluation de l’implantation

3-4. Évaluation des effets et impact

20
Q

Que cherche t’on a évaluer au moment de l’identification des buts et des résultats escomptés?

A
  • Pour qui?
  • Qu’est-ce que l’on veut comme effet?
  • Qu’est-ce qu’on veut accomplir avec le programme?
21
Q

Que cherche t’on a évaluer au moment de l’évaluation d’impact?

A
  • Effets ultimes du programme (à long terme) et dans l’ensemble de la communauté
22
Q

Qu’est-ce que favorise l’étude des besoin participative?

A
  • La reconnaissance des besoins prioritaires

- le consensus sur les solutions prioritaires

23
Q

Qu’est-ce que la triangulation des perspectives?

A

Avoir plusieurs sources d’informations = pour s’assurer de la validité des résultats

24
Q

Quelles sont les sources de données utilisées pour l’évaluation de besoins?

A
  • Les recherches
  • Entrevues auprès des personnes concernées
  • Des forums et consultations
  • Données existantes dans les organisations de services
  • Bases de données (ex: recensement)
  • Observations
25
Q

Quels sont les 4 types de besoins dans une communauté?

A
  • Ressenti : état perçu (par les pers. concernées)
  • Exprimé : utilisation des services
  • Normatif: normes en vigueur ex: seuil de pauvreté
  • Comparatif: situer les besoins en comparant avec d’autres groupes
26
Q

Quels sont les objectifs évaluation implantation/processus?

A
  • Défaire la boite noire
  • Ce qui est en cause dans les effets observés
  • Assurer une bonne implantation de l’intervention
  • Vérifier si programme rejoint les clientèles
  • Vérifier si les besoins des clientèles sont bien ceux ciblés par le programme
  • Augmenter l’appropriation et autonomisation
27
Q

Quelles sont les 3 grandes composantes de l’évaluation d’implantation?

A
  • Environnement et contexte entourant l’implantation (influence d’éléments externes)
  • Organisation des ressources et des services (programme bien implanté? )
  • Clientèles (répond à la clientèle? accès? participation/réceptivité? nouveaux besoins?)
28
Q

Qu’est-ce qu’une évaluation/composantes (ce qu’elle vise à faire)?

A

L’évaluation des effets : Concerne la relation entre l’état initial (problème) l’intervention (objectif et solution) et les changements observés par rapport à l’état initial.

29
Q

Le modèle d’évaluation en 4 étapes est?

A
  • identification des buts
  • identification des effets escomptés
  • évaluation du processus (mise en oeuvre)
  • évaluation des effets et de l’impact
30
Q

Qu’est-ce qui est particulier (à comprendre) par rapport aux programmes dans les communautés?

A

Les programmes dans les communautés sont souvent des situations uniques = on doit les comprendre dans leur contexte

31
Q

Que devrait se retrouver dans le document d’évaluation de programme?

A
  • Les objectifs de l’évaluation
  • Les variables à l’étude, les indicateurs et les critères
  • Les échéanciers
  • Les coûts
  • Les outils nécessaires à la collecte de données (pour le suivi du programme et des clientèles)
32
Q

Qu’est-ce qui défini si un programme reste en vie ou non? (enjeu majeur)

A

Si les décideurs croient au programme ou non.

S’ils n’y croient pas, le programme ne survivra pas.

33
Q

Quel type de soutien à long terme se doit d’être au fait pour les programmes?

A

Un soutien systématique

34
Q

Nommer un élément clé/facteur à la réussite d’un programme.

A

L’engagement des intervenants, leurs adhésion aux valeurs du programme, leur plaisir à le construire, leur sentiment de réalisation sur le plan professionnel

S’assurer qu’un gestionnaire porte le dossier et que son développement soit politiquement appuyé.

Être préparer à devoir défendre le programme.

Faire respecter les critères d’inclusion et d’exclusion.

35
Q

Quels sont les éléments à éviter lors de l’évaluation d’un programme?

A

Éviter de généraliser un programme sans l’avoir évalué

Ne pas prendre pour acquis que le programme va bien fonctionner : Il faut tout prévoir et planifier avec tout le monde.

36
Q

Quels sont les 3 types d’évaluation de programme? ceux-ci sont aussi déterminé par 2 facteurs, quels sont-ils?

A

1) évaluation des besoins
2) évaluation de l’implantation et des processus
3) évaluation des effets

2 facteurs: les objets d’évaluation (déterminé en fonction de l’objectif poursuivi par l’évaluation ex: estimer les besoins, comprendre les processus, décrire les opérations ou apprécier les effets) et le moment de vie du programme (l’initialisation et la conceptualisation, la planification, l’implantation, la maturité et le bilan et la modification)

37
Q

Pourquoi faire une évaluation/processus systématique impliquant une cueillette de données?

A

Pour avoir un jugement neutre quant aux divers composantes du programme (besoins, activités, caractéristiques ou résultats)

et ainsi améliorer/faciliter les prises de décisions.

(AVOIR UN OPINION BASÉ SUR DES FAITS - QUI SONT PROUVÉS)

38
Q

Quelles sont les différentes étapes/temps de vie d’un programme?

A

l’initialisation et la conceptualisation, la planification, l’implantation, la maturité et le bilan et la modification

39
Q

Associez les différents temps de vie d’un programme au bon type d’évaluation lui correspondant

A

Initialisation - > AUCUN

Conceptualisation -> Évaluation des besoins

Implantation -> Évaluation des processus

Maturité (bilan) -> Évaluation des effets

Modification -> Évaluation des besoins

40
Q

Que permet l’évaluation d’un programme dans les contextes plus difficiles comme les Centres Jeunesse (complexes, émotifs et ont un besoin urgent)?

A

1) Juger à partir de critères explicites des besoins prioritaires
2) soutenir la mise en oeuvre du programme fournissant des infos permettant des réajustements et des améliorations en cours d’implantation
3) produire des connaissances sur l’action, sur le rationnel de l’intervention, sur le processus de construction de l’intervention et sur ses conditions de réalisation (peut éventuellement permettre une généralisation)
4) Permet évaluation de la valeur intrinsèque du programme (effets)

41
Q

Qu’est-ce qu’un indicateur (évaluation de programme)?

A

C’est une donnée observable qui permet de saisir les dimensions, la présence ou l’absence un attribut du phénomène qu’on étudie. (Permet de bien prendre en compte la réalité étudiée)

42
Q

Quels sont les 5 types d’indicateurs?

A

Validité (représentatif du changement)

Sensibilité (être capable de détecter un changement d’état chez la clientèle-cible)

Objectivité (doit permettre de juger du changement ou non sans aucun doute)

Accessibilité (coût économique et assez facile)

Fidélité (stabilité dans le temps)

43
Q

Que permet l’évaluation des besoins, pourquoi la fait-on?

A

s’assurer de la concordance entre les besoins de la clientèle et la mission de l’organisme et l’offre de services.

44
Q

Qu’est-ce que la notion de besoin d’un point de vue objectif?
Qu’est-ce que la notion de besoin d’un point de vue subjectif?

A

Objectif: nécessité sociale vécu comme un manque/distance d’une situation idéale

Subjectif: perception d’un manque par un individu particulier et à ses sentiments quant à l’importance de ce manque.

45
Q

Quels sont les 4 types de besoin?

A

Besoin:

Ressenti (besoin perçu, relié aux attentes des personnes atteintes)

Exprimé (notion d’utilisation ou de demande de services)

Normatif (basé sur le jugement d’experts - utilisation de normes/seuils.
ex: seuil de pauvreté
Permet d’évaluer les tendances, définir les besoins, à savoir si c’est une problématique spécifique ou nouvelle par exemple)

Comparatif (lui aussi basé sur le jugement d’experts - comparaison entre les caractéristiques de 2 populations, il nécessite l’établissement de normes établies)

46
Q

Quels sont les principes à respecter lors de la réalisation d’une évaluation des besoins (3)?

A
  1. évaluation des besoins doit intégrer le pt de vue de multiples acteurs
  2. évaluation des besoins doit reposer sur l’intégration de plusieurs sources d’info
  3. évaluation des besoins doit demeurer un processus de surveillance continue
47
Q

Pour que des résultats d’une évaluation des effets d’un programme soient plausibles, 2 qualités méthodologiques doivent caractériser le processus d’évaluation, quels sont-ils?

A
  • Validité interne (assure que les changements observés chez participants sont attribuables à l’effet du programme)
  • Validité externe (possibilité de généraliser)