Evaluationsforschung 1 Flashcards
Was ist eine Evaluation?
Evaluation durch Laien (z.B. Hotelbewertung, Filmen usw.)
Wissenschaftliche Evaluation –> wissenschaftlich fundierte Bewertung eines klar definierten Evaluationsgegenstands durch Experten (z.B. Kriminalitätsprävention, Verkehrssicherheit)
- anwendungsbezogen
Evaluationsgegenstand = Produkt, Interventionsmaßnahme, Interventionsprogramm
- Geplante oder bereits realisierte Maßnahmen
Was ist Evaluationsforschung?
Grundlagenforschung - Entwicklung und Untersuchung von Theorien und Hypothesen, die die Welt erklären, verstehen und vorhersagen wollen
Interventionsforschung - Starke Anwendungsorientierung, deren Fokus in Entwicklung und Untersuchung von spezifischen Interventionen liegt - technologische Theorien
Evaluationsforschung liegt dazwischen und kombiniert die Basis der Grundlagen- und Interventionsforschung
- Entwicklung und Untersuchung von Theorien und Hypothesen mi dem Fokus von Interventionsevaluation
- Evaluationsforschung zielt die Evaluation von Wirksamkeit und Folgen von Interventionen
- Programmtheorien erklären detailliert die Wirkungsweise des Evaluationsgegenständes, die Logik, Annahmen und Mechanismen der Intervention
Was sind die 5 Säulen der Evaluationsforschung?
1) Versuchsplanung und Datenanalyse
2) Diagnostik und Beurteilung
3) Entscheidungs- und Bewertungshilfen
4) Evaluationsforschung
5) Programmevaluation
Was ist die Definition von Evaluationsforschung?
Evaluation ist:
(1) die systematische Bewertung
(2) von Konzept, Umsetzung, Nutzen und Wirksamkeit (usw.)
(3) eines klar definierten Evaluationsgegenstands/-objekts
- z.B. Produkt, Prozess, Treatment, (Interventions-)Maßnahme, Programm (= Maßnahmenbündel) oder Politik
(4) im spezifischen individuellen/gesellschaftlichen/organisationalen/politischen Kontext
(5) anhand präziser, vorher festgelegter und offengelegter Bewertungskriterien
(6) durch Expert:innen (d.h. unabhängige Evaluator:innen)
(7) mithilfe sozialwissenschaftlicher Methoden (d.h. mittels empirischer Datenerhebung),
(8) um eine oder mehrere (teils entgegengesetzte) Zielsetzungen des Auftraggebers zu erreichen
Was sind Evaluationsgegenstände? Was können wir evaluieren?
1) Produkt - Ereignis eines Produktionsprozesses
- Beispiel ADHS Therapie: Wirksamkeit der Therapie (Ist Psychotherapie überhaupt bei ADHS wirksam?) –> Geht es den Patienten, dem Umfeld nach der Therapie besser?
2) Prozess - Abfolge von Schritten mit bestimmtem Ziel
- Beispiel ADHS Therapie: Therapieverlauf (Wie verläuft eine typische Therapie im dt. Gesundheitssystem?) –> Welche Schritte können optimiert werden? Werden Behandlungsstandards eingehalten?
3) Programm/Projekt - Interventionsmaßnahme (z.B. Verbesserung der Arbeitszufriedenheit)
- Beispiel ADHS Therapie: Versorgung an Schulen (Was bringt ein Programm zur Versorgungsoptimierung an Schulen?) –> Gibt es Bedarf? Wie können Schulpsycholog:innen potentielle Kinder mit ADHS identifizieren?
4) Politik - Gesetze und Verordnungen
- Beispiel ADHS Therapie: Gesetz zur Sicherung der Versorgung (Wie kann die Politik die versorgung sicherstellen?) –> Besteht gesetzlicher Regelungsbedarf? Oder muss stattdessen die Umsetzung optimiert werden?
Was sind Evaluationskriterien? Wozu?
1) Bedarf - Entspricht die Maßnahme den Bedürfnissen der Zielgruppe? Gibt es überhaupt Bedarf für das Programm?
2) Konzept und Design - Ist die Maßnahme überhaupt sinnvoll/evaluierbar? Was ist die theoretische/empirische Grundlage?
3) Prozess - Wie wurde die Maßnahme praktisch umgesetzt und durchgeführt?
4) Ergebnis - Hat die Maßnahme die gewünschten Effekte?
Warum setzten wir eine Evaluation? Zielsetzung einer Evaluation - Was wollen wir erreichen?
1) Zustandsevaluation = Evaluation des Evaluationsgegenstands
- Produkt
- Prozess
- Programm
- Politik
2) Veränderungsevaluation = Zustandsvergleich über die Zeit (Zeit 1, Zeit 2, Zeit 3 usw.)
- Mehrere Diagnosen
- Prognose
- Retrognose
3) Wirksamkeitsevaluation = Zustandsvergleich vor und nach einer Intervention
Wann werden die drei Evaluationstypen eingesetzt?
1) Prospektive Evaluation - Vor der Intervention - Zustandsevaluation –> (vor einer Maßnahme - antizipatorisch)
2) Formative Evaluation - Während der Intervention - Veränderungs- und Wirksamkeitsevaluation (prozessbegleitend)
- In regelmäßigen Abschnitten
- Ziel ist die Verbesserung der Maßnahme - durch konkrete Handlungsempfehlungen für Veränderung
- Enge Zusammenarbeit mit Programmleitung
3) Summative Evaluation (nach einer Maßnahme - ergebnisbewertend) - Evaluation nach einer Maßnahme
- Abschließende Bewertung als Ganzes
Was sind verschiedene Rahmenbedingungen? (Contextual Factors)
- Im Feld vs im Labor
- Parteilich vs objektiv/überparteilich
- Geschlossen vs offen
- Vertraulich vs öffentlich
Was sind verschiedene Durchführungsmodi? Was sind die verschiedene Durchführungsmöglichkeiten? Wer kann die Evaluation durchführen?
- Intrinsisch vs extrinsisch
- Intern (Selbstevaluation) vs extern (Fremdevaluation)
- Vergleichend vs nicht vergleichend (Vergleich der Intervention mit ähnlichen Interventionen)
Was sind verschiedene Evaluationsmodelle?
Praxisorientiert vs entwicklungsorientiert vs theorieorientiert
Praxisorientiert - Orientiert auf die praktische Nutzung, Auswirkung der Intervention auf die Zielgruppe. Was hat die Intervention der Gruppe gebracht?
Entwicklungsorientiert - Orientiert auf die kontinuierliche Entwicklung und Lernen. Vor- und Nachteile der Intervention, um sie zu verbessern
Theorieorientiert - Fokus auf die Testung einer Theorie oder Hypothese. Hatte die Intervention die, aus der Theorie, erwartete Wirkung?
Was sind verschiedene Richtungen der Evaluationsforschung?
Methodenorientiert vs nutzenorientiert vs bewertungsorientiert
Methodenorientiert - Sine die Methoden, Systematik, Ziel und Ergebnisse der Intervention passend, aussagekräftig und reliabel und valid
Nutzenorientiert - Fokus auf praktische Nutzung der Intervention
Bewertungsorientiert - Fokus auf die Qualität, Wirksamkeit und Signifikanz der Intervention
Was sind die zwei Ansätze, wie Evaluationsforschung durchgeführt werden kann?
Qualitativer Ansatz
- Ziel: Exploration - Befasst sich mit dem Sinnverstehen
- Qualitätskriterium: Inhaltliche Validität - Subjektivität ist erwünscht
- Methoden: nicht standardisiert
- Vergleich: normativ
Quantitativer Ansatz
- Ziel: Beschreibung - Befasst sich mit der Messung
- Qualitätskriterien: Reliabilität, Validität und Objektivität
- Methoden: standardisiert
- Vergleich: empirisch
Was sind wichtige Aspekte, die man beachten soll, bevor man einen Evaluationsauftrag annimmt? (5 Punkte)
- Gibt es versteckte Agenda?
- Gibt es ethische Bedenken? (Ziel des Projekts widerspricht persönlichen Zielen und Werten des Evaluators)
- Ressourcen
- Rahmenbedingungen
- Rolle des Evaluators
Was ist das CIPP-Evaluationsmodell (Stufflebeam, 1971)?
Das Modell bietet ein strukturiertes Vorgehen zur Evaluation von Programmen und Interventionen. Chronologische Organisation von Schritten der Evaluation
1) (C) Context - Umfeldanalyse (Was sollen wir tun?)
- Analyse der Umfeldfaktoren und Kontext, wo die Intervention operieren wird
- Identifikation von Bedürfnissen und Zielen der Zielgruppe
2) (I) Input - Inputanalyse (Wie sollen wir es tun?)
- Der Fokus hier liegt auf Ressourcen und Mittel für die Durchführung der Intervention (finanziell, menschliche und materielle Ressourcenn)
3) (P) Prozess - Prozessanalyse (Tuen wir es wie geplant?)
- Laufende Überprüfung der Umsetzung, Faktoren, Fortschritt, externen und neuen Faktoren, Beteiligung der Gruppe usw.
4) (P) Produkt - Produktanalyse (Hat das Programm funktioniert?)
- Prüfung der Zielerreichung, Haben wir unser Ziel erreicht, Gibt es unerwünschte Effekte?
