VL11: Wirksamkeitsforschung & Evaluation

Question 1

Evaluation

Answer 1

Irgendetwas wird…Programme, Maßnahmen, Organisationen usw. werden …
von irgendjemandem …durch Personen, die zur Bewertung besonders qualifiziert sind …
in irgendeiner Weise …in einem objektiven Verfahren …
nach irgendwelchen Kriterien bewertet.nach explizit auf den Sachverhalt bezogenen und begründeten Kriterien (ggf. Standards) bewertet.

Question 2

Evaluation dient zur Qualitätssicherung von Maßnahmen

P

Answer 2

Mittel zur systematischen Überprüfung von Interventionen
Ziel- und zweckorientierter Bewertungsprozess einer bestimmten Maßnahme
Unterschiedliche Vorgehensweisen, z.B.
–> quantitativ vs. qualitativ
–> formativ vs. summativ

Question 3

Evaluationsmatrix

Answer 3

Was soll evaluiert werden?
- Durchführung der Intervention
- Ergebnis der Intervention
Art der Daten
Qualitativ 
Quantitativ
Formativ/Prozessevaluation
Summativ/Ergebnissevaluation

Question 4

Quantitative Evaluation: Beispiele

Answer 4

Fragebogen

Question 5

Qualitative Evaluation: Beispiele

Answer 5

Teilstrukturierte Interviews

Fokus-Gruppen Interviews „Think-Aloud“ Methode

Question 6

Forschungsansätze in der Gesundheitspsychologie

Answer 6

Quantitativ (deduktiv)
§Numerische Daten
§Theoriebasiertes, hypothesenbestätigendes Vorgehen
§Theorie à Hypothesen à Hypothese bestätigt/falsifiziert mit Daten?

Qualitativ (induktiv)
§ Sprachlich vermittelte Daten
(z.B. Interview, teilnehmende Beobachtung, Gruppendiskussion)
§ Hypothesengenerierendes, exploratives Vorgehen
§ Auswertung: z.B. Frameworkmethode (Gale, 2013)
Theorie

Question 7

Forschungsansätze in der Gesundheitspsychologie
Mixed-Methods/“Mixed Methods Design“
P

Answer 7

Kombination von qualitativen und quantitativen Verfahren
Beispiele: Nach einer Pilotstudie (Pilot RCT) zusätzliche Abschlussinterviews mit Teilnehmenden führen; Neuentwicklung von Fragebögen (explorative, qualitative Studie gefolgt von quantitativer Studie)

Question 8

Summative Evaluation

P

Answer 8

• wird durchgeführt, wenn die Entwicklung der
Programmkonzeption abgeschlossen ist und das Programm eingesetzt werden soll oder bereits implementiert ist
• Ziel: Bewertung von Wirksamkeit und Nutzen von Programmen
• besser extern durchführen

Question 9

Formative Evaluation

P

Answer 9

§ wird während der Entwicklung und Erprobung eines Programms bzw. einer
Programmkonzeption durchgeführt
§ Ziel: Verbesserung und Weiterentwicklung des Programms
§ KEINE Evaluation der Ergebnisse, hier steht die Durchführung der Intervention im Mittelpunkt
§ Geschieht im Rahmen der Intervention das, was geplant war (sog. Interventionstreue/engl. intervention fidelity)?
§ Ist die Intervention überhaupt durchführbar (engl. feasibility)? Wird die Intervention von den Teilnehmenden angenommen (sog. Akzeptanz)?
§ Gibt es nicht vorhergesehene Nebenwirkungen?

Question 10

Summative Evaluation:

Wie kann Wirksamkeit gemessen werden?

Answer 10

Wirkt die Maßnahme?
 Do they work?
Wie gut wirkt die Maßnahme?
How well do they work?
Warum wirkt die Maßnahme?
How do they work?

Question 11

Ergebnisevaluation: Ist meine Intervention wirksam?

P

Answer 11

§ „Wirksamkeit ist an den Nachweis geknüpft, dass eine Intervention im Vergleich zu einer anderen Form der Intervention oder im Vergleich zur Nicht-Intervention systematische und nicht zufällige Veränderungen im Verhalten der Individuen produziert“ (Michie & Abraham, 2004)
§ Um die Wirksamkeit zu prüfen, benötigen wir ein randomisiertes Kontrollgruppendesign (engl. randomized controlled trial, RCT)
§ Mindestens eine Messung vor und eine nach der Intervention nötig
§ mindestens ein 2x2-faktorielles Design
§ Randomisierungscheck

Question 12

Randomisierung ist ein Verfahren, bei dem

P

Answer 12

Personen unter Verwendung eines Zufallsmechanismus unterschiedlichen Gruppen zugeordnet werden
Vert. (Var 1, Var 2, …, Var Y)
=
Vert. (Var 1, Var 2, …, Var Y)

P1, P2, …, PX
Gruppe 1
Gruppe 2

Randomisierungscheck:
à Sind jeweilige Variablen auch wirklich gleichmäßig verteilt?

Question 13

Beispiel für ein faktorielles Design zur Überprüfung der Wirksamkeit einer Intervention P

Answer 13

Randomisierung zur Gleichverteilung der Störvariablen

Question 14

Ist meine Intervention wirksam?

P

Answer 14

§ Prüfung auf Signifikanz
§ Wenn signifikant und Effekt in die richtige Richtung, dann ist die Interventionsbedingung
wirksamer als die Kontrollbedingung
§ Aber Achtung: Das Signifikanzniveau sagt nichts über die Stärke des Effekts aus!

Question 15

Wenn sie wirkt: Wie wirksam ist meine Intervention?

P

Answer 15

§ Zur Feststellung der Stärke der Wirkung einer Intervention berechnet man die Effektstärke
§ z.B. Cohens d (kann hier berechnet werden: www.uccs.edu/~faculty/lbecker/)
§ .20 kleiner Effekt .50 mittlerer Effekt .80 großer Effekt

Question 16

Was heißt vollständiges, faktorielles Design?

P

Answer 16

§ Alle möglichen Kombinationen der Faktorausprägungen (sog. Stufen) werden getestet
§ Sehr aufwändig!

Question 17

Prozess- und Ergebnisevaluation bei digitalen Interventionen

Answer 17

§ Wie sehr beschäftigen sich Teilnehmende mit einer (digitalen) Intervention? Wie „engaged“ sind Sie?
Gesundheit und Medizin
Technologische Aspekte der digitalen Intervention (Prozessevaluation)
z.B. Engagement
Verhaltensbezogene Aspekte der digitalen Intervention (Ergebnisevaluation)

Evaluation?

Question 18

Im Duett am besten:

Answer 18

Prozess- und Ergebnisevaluation

Question 19

Es werden 3 Ebenen der Zielsetzung unterschieden P

Answer 19

§ 1. Programmziele benennen (sog. objectives) = Ergebnis der Bedarfsanalyse
Was ist das übergeordnete Programmziel?
§ 2. Handlungsziele benennen (sog. Performance objectives)
Unterziele: Was sollen die Personen am Ende der Intervention machen/können?
§ 3. Determinanten der Handlungsziele benennen und sog. Change objectives=Veränderungsziele festlegen

Question 20

Evaluationsplan

Answer 20

Vollständiger Evaluationsplan enthält

§ Effekt-und Prozessevaluationsfragen
§ Primäre Ergebnisse (primary outcomes)
§ Sekundäre Ergebnisse( secondary outcomes)
§ Entwicklung von Indikatoren und Messinstrumenten
§ Auswahl des Evaluations design mit Bestimmung der Messzeitpunkte
§ Details zur Realisierung der Evaluation (Stichprobengröße, Art der Datensammlung, benötigte Ressourcen, Analyseverfahren, Kommunikation der Resultate an Interessengruppen)

Question 21

Prozessevaluation

Answer 21

Wie wird das Programm von den Nutzern angenommen (sog. Akzeptanz/Annahme einer Intervention)?
Wird das Programm so umgesetzt wie ursprünglich geplant (sog. Interventionstreue)?
Installation eines Feedback-Mechanismus zwischen Programmentwicklern und Programmbenutzern

Question 22

Proximale Ziele des Programms (2)

Answer 22

• Programmziel (Program objective)
• Handlungsziele (Performance objectives)
• Determinanten der Handlungsziele benennen
• Lernziele in Bezug auf die Determinanten (Change objectives)

Question 23

Theoriebasierte Methoden und praktische Strategien (3)

Answer 23

• Brainstorming über Methoden/Techniken (= BCTs)

- Methoden/Techniken in praktische Strategien übersetzen

Question 24

Programmproduktion (4)

Answer 24

• Erstellung der Interventionsmaterialien
• Operationalisieren der Strategien in Pläne, Gedanken über VL und Orte - Materialien zur Durchführung entwickeln
• Prätests und Pilotstudien mit Versuchsleitern und Zielpopulation

Question 25

Plan zur Umsetzung = sog. Implementierungsplan (5)

Answer 25

• Verbindungssystem entwickeln (Wen oder Was brauchen Sie für die Durchführung?)
• Ziele zur Umsetzung benennen
• Determinanten benennen
• Planungsmatrix erstellen /Pläne zur Implementierung erstellen

Question 26

Evaluationsplan (6)

Answer 26

• Entwickeln eines Evaluationsmodells
• Fragen zur Effekt- und Prozessevaluation entwickeln - Indikatoren und Maße entwickeln
• Evaluationsziele benennen
• Evaluationsplan erstellen