VL11: Wirksamkeitsforschung & Evaluation Flashcards
Evaluation
Irgendetwas wird…Programme, Maßnahmen, Organisationen usw. werden …
von irgendjemandem …durch Personen, die zur Bewertung besonders qualifiziert sind …
in irgendeiner Weise …in einem objektiven Verfahren …
nach irgendwelchen Kriterien bewertet.nach explizit auf den Sachverhalt bezogenen und begründeten Kriterien (ggf. Standards) bewertet.
Evaluation dient zur Qualitätssicherung von Maßnahmen
P
Mittel zur systematischen Überprüfung von Interventionen
Ziel- und zweckorientierter Bewertungsprozess einer bestimmten Maßnahme
Unterschiedliche Vorgehensweisen, z.B.
–> quantitativ vs. qualitativ
–> formativ vs. summativ
Evaluationsmatrix
Was soll evaluiert werden? - Durchführung der Intervention - Ergebnis der Intervention Art der Daten Qualitativ Quantitativ Formativ/Prozessevaluation Summativ/Ergebnissevaluation
Quantitative Evaluation: Beispiele
Fragebogen
Qualitative Evaluation: Beispiele
Teilstrukturierte Interviews
Fokus-Gruppen Interviews „Think-Aloud“ Methode
Forschungsansätze in der Gesundheitspsychologie
Quantitativ (deduktiv)
§Numerische Daten
§Theoriebasiertes, hypothesenbestätigendes Vorgehen
§Theorie à Hypothesen à Hypothese bestätigt/falsifiziert mit Daten?
Qualitativ (induktiv)
§ Sprachlich vermittelte Daten
(z.B. Interview, teilnehmende Beobachtung, Gruppendiskussion)
§ Hypothesengenerierendes, exploratives Vorgehen
§ Auswertung: z.B. Frameworkmethode (Gale, 2013)
Theorie
Forschungsansätze in der Gesundheitspsychologie
Mixed-Methods/“Mixed Methods Design“
P
Kombination von qualitativen und quantitativen Verfahren
Beispiele: Nach einer Pilotstudie (Pilot RCT) zusätzliche Abschlussinterviews mit Teilnehmenden führen; Neuentwicklung von Fragebögen (explorative, qualitative Studie gefolgt von quantitativer Studie)
Summative Evaluation
P
• wird durchgeführt, wenn die Entwicklung der
Programmkonzeption abgeschlossen ist und das Programm eingesetzt werden soll oder bereits implementiert ist
• Ziel: Bewertung von Wirksamkeit und Nutzen von Programmen
• besser extern durchführen
Formative Evaluation
P
§ wird während der Entwicklung und Erprobung eines Programms bzw. einer
Programmkonzeption durchgeführt
§ Ziel: Verbesserung und Weiterentwicklung des Programms
§ KEINE Evaluation der Ergebnisse, hier steht die Durchführung der Intervention im Mittelpunkt
§ Geschieht im Rahmen der Intervention das, was geplant war (sog. Interventionstreue/engl. intervention fidelity)?
§ Ist die Intervention überhaupt durchführbar (engl. feasibility)? Wird die Intervention von den Teilnehmenden angenommen (sog. Akzeptanz)?
§ Gibt es nicht vorhergesehene Nebenwirkungen?
Summative Evaluation:
Wie kann Wirksamkeit gemessen werden?
Wirkt die Maßnahme? Do they work? Wie gut wirkt die Maßnahme? How well do they work? Warum wirkt die Maßnahme? How do they work?
Ergebnisevaluation: Ist meine Intervention wirksam?
P
§ „Wirksamkeit ist an den Nachweis geknüpft, dass eine Intervention im Vergleich zu einer anderen Form der Intervention oder im Vergleich zur Nicht-Intervention systematische und nicht zufällige Veränderungen im Verhalten der Individuen produziert“ (Michie & Abraham, 2004)
§ Um die Wirksamkeit zu prüfen, benötigen wir ein randomisiertes Kontrollgruppendesign (engl. randomized controlled trial, RCT)
§ Mindestens eine Messung vor und eine nach der Intervention nötig
§ mindestens ein 2x2-faktorielles Design
§ Randomisierungscheck
Randomisierung ist ein Verfahren, bei dem
P
Personen unter Verwendung eines Zufallsmechanismus unterschiedlichen Gruppen zugeordnet werden
Vert. (Var 1, Var 2, …, Var Y)
=
Vert. (Var 1, Var 2, …, Var Y)
P1, P2, …, PX
Gruppe 1
Gruppe 2
Randomisierungscheck:
à Sind jeweilige Variablen auch wirklich gleichmäßig verteilt?
Beispiel für ein faktorielles Design zur Überprüfung der Wirksamkeit einer Intervention P
Randomisierung zur Gleichverteilung der Störvariablen
Ist meine Intervention wirksam?
P
§ Prüfung auf Signifikanz
§ Wenn signifikant und Effekt in die richtige Richtung, dann ist die Interventionsbedingung
wirksamer als die Kontrollbedingung
§ Aber Achtung: Das Signifikanzniveau sagt nichts über die Stärke des Effekts aus!
Wenn sie wirkt: Wie wirksam ist meine Intervention?
P
§ Zur Feststellung der Stärke der Wirkung einer Intervention berechnet man die Effektstärke
§ z.B. Cohens d (kann hier berechnet werden: www.uccs.edu/~faculty/lbecker/)
§ .20 kleiner Effekt .50 mittlerer Effekt .80 großer Effekt
Was heißt vollständiges, faktorielles Design?
P
§ Alle möglichen Kombinationen der Faktorausprägungen (sog. Stufen) werden getestet
§ Sehr aufwändig!
Prozess- und Ergebnisevaluation bei digitalen Interventionen
§ Wie sehr beschäftigen sich Teilnehmende mit einer (digitalen) Intervention? Wie „engaged“ sind Sie?
Gesundheit und Medizin
Technologische Aspekte der digitalen Intervention (Prozessevaluation)
z.B. Engagement
Verhaltensbezogene Aspekte der digitalen Intervention (Ergebnisevaluation)
Evaluation?
Im Duett am besten:
Prozess- und Ergebnisevaluation
Es werden 3 Ebenen der Zielsetzung unterschieden P
§ 1. Programmziele benennen (sog. objectives) = Ergebnis der Bedarfsanalyse
Was ist das übergeordnete Programmziel?
§ 2. Handlungsziele benennen (sog. Performance objectives)
Unterziele: Was sollen die Personen am Ende der Intervention machen/können?
§ 3. Determinanten der Handlungsziele benennen und sog. Change objectives=Veränderungsziele festlegen
Evaluationsplan
Vollständiger Evaluationsplan enthält
§ Effekt-und Prozessevaluationsfragen
§ Primäre Ergebnisse (primary outcomes)
§ Sekundäre Ergebnisse( secondary outcomes)
§ Entwicklung von Indikatoren und Messinstrumenten
§ Auswahl des Evaluations design mit Bestimmung der Messzeitpunkte
§ Details zur Realisierung der Evaluation (Stichprobengröße, Art der Datensammlung, benötigte Ressourcen, Analyseverfahren, Kommunikation der Resultate an Interessengruppen)
Prozessevaluation
Wie wird das Programm von den Nutzern angenommen (sog. Akzeptanz/Annahme einer Intervention)?
Wird das Programm so umgesetzt wie ursprünglich geplant (sog. Interventionstreue)?
Installation eines Feedback-Mechanismus zwischen Programmentwicklern und Programmbenutzern
Proximale Ziele des Programms (2)
- Programmziel (Program objective)
- Handlungsziele (Performance objectives)
- Determinanten der Handlungsziele benennen
- Lernziele in Bezug auf die Determinanten (Change objectives)
Theoriebasierte Methoden und praktische Strategien (3)
- Brainstorming über Methoden/Techniken (= BCTs)
- Methoden/Techniken in praktische Strategien übersetzen
Programmproduktion (4)
- Erstellung der Interventionsmaterialien
- Operationalisieren der Strategien in Pläne, Gedanken über VL und Orte - Materialien zur Durchführung entwickeln
- Prätests und Pilotstudien mit Versuchsleitern und Zielpopulation
Plan zur Umsetzung = sog. Implementierungsplan (5)
- Verbindungssystem entwickeln (Wen oder Was brauchen Sie für die Durchführung?)
- Ziele zur Umsetzung benennen
- Determinanten benennen
- Planungsmatrix erstellen /Pläne zur Implementierung erstellen
Evaluationsplan (6)
- Entwickeln eines Evaluationsmodells
- Fragen zur Effekt- und Prozessevaluation entwickeln - Indikatoren und Maße entwickeln
- Evaluationsziele benennen
- Evaluationsplan erstellen
