Evaluationsforschung Flashcards
Was bedeutet “Evaluation”? Was bedeutet “wissenschaftliche Evaluation”?
Evaluation ist die Bewertung eines Sachverhalts/Gegenstands/Leistung durch Laien
Wissenschaftliche Evaluation ist die wissenschaftlich fundierte Bewertung eines klar definierten Evaluationsgegenstands durch Expert*innen.
- anwendungsbezogen
- oft auftraggeberfinanziert
- bzgl. geplanter oder bereits realisierter Maßnahmen
- oft politisch kontrovers diskutierte Themen
Wie grenzt sich die Evaluationsforschung von der Grundlagenforschung und der Interventionsforschung ab?
Grundlagenforschung - Entwicklung & Überprüfung wissenschaftlicher Theorien (Grundlagenwissenschaftliche Theorien - Beschreibung, Erklärung, Vorhersage von Sachverhalten)
Interventionsforschung - anwendungsorientiert; Entwicklung & Überprüfung technologischer Theorien
(Technologische Theorie - Beschreibung, Erklärung, Vorhersage von Interventionen)
Evaluationsforschung - anwendungsorientiert; Bewertung von Maßnahmen, Programmen, anderen Gegenständen; Entwicklung, Prüfung von Programmtheorien
(Programmtheorie - Unterform technologischer Theorien; Erklärung der Wirkungsweise des Evaluationsgegenstands)
Evaluation - Definition
= systematische Bewertung eines
klar definierten Evaluationsgegenstands, dessen Konzept, Umsetzung, Nutzen und Wirksamkeit,
innerhalb eines spezifischen individuellen/gesellschaftlichen/organisationalen/politischen Kontextes
anhand präziser, vorher festgelegter, offengelegter Bewertungskriterien
durch Expert:innen
mithilfe wissenschaftlicher Methoden
um eine oder mehrere Zielsetzungen des Auftraggebers zu erreichen
Was sind die 4 Evaluationsgegenstände?
–> Erläuterung am Beispiel der ADHS-Therapie
Produkt - Ergebnis eines Produktionsprozesses (z.B., industriell, landwirtschaftlich, pädagogisch, wissenschaftlich)
–> ADHS-Therapie: Wirksamkeit der Therapie?
Prozess - Abfolge von Schritten zu einem bestimmten Ziel (z.B., Arbeitsabläufe am Fließband; Lebensmittelherstellung)
–> ADHS-Therapie: Therapieverlauf (Wie läuft die Therapie im dt. Gesundheitssystem ab? Welche Schritte könnten optimiert werden?)
Programm/Projekt - Interventionsmaßnahme (z.B., Verbesserung der Arbeitszufriedenheit)
–> ADHS-Therapie: Was bringt eine Programm zur Versorgungsoptimierung an Schulen? –> Interventionsmaßnahme
Politik - Gesetze und Verordnungen (z.B., Arbeitsplatzsicherheit, Lebensmittelhygiene, Bildungswesen)
–> ADHS-Therapie: Gesetz zur Sicherung der Versorgung: Wie kann die Politik die Versorgung sicherstellen? Besteht gesetzlicher Regelungsbedarf oder muss stattdessen die Umsetzung optimiert werden?
Was können Evaluationskriterien sein?
Bedarf - Entspricht die Maßnahme den Bedürfnissen der Zielgruppe?
Konzept und Design - Ist die Maßnahme sinnvoll/evaluierbar? Was ist die theoretische/empirische Grundlage? –> Qualität des Interventionskonzepts (Validität); State-of-the-art
Prozess - Wie wurde die Maßnahme praktisch umgesetzt und durchgeführt? –> Qualität der Einführung und Implementation; Ausführungsintegrität
Ergebnis - Hat die Maßnahme die gewünschten Effekte?
–> Wirksamkeit/Effektivität, Transfererfolg (pos. Effekte in anderen Bereichen), Kosten-Nutzen-Bilanz/Effizienz, Akzeptanz (d. Betroffene)/ Nachhaltigkeit
Was sind Zielsetzungen einer Evaluation? (3 versch. Interventionen mit versch. Zielsetzungen)
Zustandsevaluation = Wie ist der aktuelle Zustand des Evaluationsgegenstands?
–> Produkt: Leistung der Schüler der 8. Klasse im Fach Mathematik
–> Prozess: Eigenschaften der Arbeitsprozesse in einem Unternehmen
–> Programm: Qualität einer geplanten Interventionsmaßnahme
–> Politik: Gesetzlicher Regelungsbedarf im Bereich der Kurzarbeit
- 1 Messzeitpunkt (i.d.R. summative Orientierung)
- Vergleich mit Kriterium (Ist vs. Soll)
Veränderungsevaluation = Zustandsvergleich über die Zeit
–> Mehrere Diagnosen: Frage nach dem Entwicklungstrend - Verständnis von Situationen und Prozessen
–> Prognose: Vorhersage des zukünftigen Zustands - vorausschauende Steuerung
–> Retrognose: Vergleich aktueller und vergangener Zustand - rückblickende Wirkungskontrolle
- 2 Messzeitpunkte (Vergleich mit Prognose/Retrognose)
- Ziel: Beschreibung und Bewertung der Veränderung
- Kriterien: beliebig
Wirksamkeitsevaluation = Zustandsvergleich vor und nach einer Intervention
- 2 Messzeitpunkt
- Ziel: Prüfung auf Veränderung
- Kriterium: beliebig
Prospektive vs. formative vs. summative Evaluation
Prospektive Evaluation = Evaluation vor einer Maßnahme – antizipatorisch
Formative Evaluation = Evaluation während einer Maßnahme – prozessbegleitend
Summative Evaluation = Evaluation nach einer Maßnahme – ergebnisbewertend
Was ist das Zeil der formativen Evaluation und wie wird diese durchgeführt (was und wie wird erhoben)?
Ziel: Verbesserung der Maßnahme (konkrete Handlungsempfehlungen)
- Erhebung in regelmäßigen Abständen (–> Anpassung bei Fehlentwicklungen)
- zusätzliches Sammeln von subjektiven Eindrücken der Betroffenen
- enge Zusammenarbeit mit Programmleitung
Was ist das Ziel der summativen Evaluation und wie wird diese durchgeführt (was und wie wir erhoben)?
Ziel: Nutzenbestimmung einer Maßnahme; Entscheidungshilfe für Geldgeber, Aufsichtsbehörden, Legislative
- kann sich auf Konzeption, Durchführung, Wirksamkeit und Effizienz beziehen
- wissenschaftlich besonders solide
- eher unabhängig
Was zeichnet den qualitativen Ansatz der Evaluation aus?
Ziel: Exploration –> befasst sich mit dem Sinnverstehen
Qualitätskriterium: inhaltliche Validität
Methoden: nicht standardisiert
Vergleich: normativ
Was zeichnet den quantitativen Ansatz der Evaluation aus?
Ziel: Beschreibung –> befasst sich mit der Messung
Qualitätskriterien: Reliabilität, Validität, Objektivität
Methoden: standardisiert
Vergleich: empirisch
Was war die Intervention, die von Chalfin et al. 2022 in Rahmen einer Evaluation untersucht wurde?
Was waren die Bewertungskriterien und wie ist die Evaluation einzuordnen?
Intervention: Mobile Straßenlampen in New York City
Ziel: Verringerung der Verbrechensrate
Bewertungskriterien:
- Validität (Erkenntnisgewinn)
- Akzeptanz (z.B., können Anwohner nachts noch schlafen; fühlen sich Anwohner überwacht)
- Wirkung (Effektivität, praktische Relevanz des Effekts)
- Nebenwirkungen (z.B., Lichtverschmutzung, Natur/Umwelt)
- Kosten-Nutzen-Bilanz (Effizienz)
Einordnung der Evaluation:
- Summative Evaluation; Wirksamkeitsevaluation
- eher quantitativer Ansatz (Messung der Verbrechensrate; obwohl auch Erkenntnisgewinn ein Teilziel war)
- Feldexperiment
- Evaluationsgegenstand: Produkt und/oder Projekt
- Evaluationskriterium: Ergebnis
Welche Aspekte können/sollten bezüglich der Annahme eines Evaluationsauftrags Bedenken bereiten?
Zielsetzung:
- versteckte Agenda (keine klare oder nicht offen kommunizierte Zielvorstellung; Imagepflege; nachträgliche Rechtfertigung bereist gefallener Entscheidungen; Verzögerungstaktik - Kritiker ruhig stellen, Entscheidungen aufschieben)
Ethische Bedenken:
- Ziel des Projekts widerspricht persönlichen Zielen/Werten
- ethische Bedenken hinsichtlich Durchführung (z.B., Verletzung der Intimsphäre der Teilnehmenden, sanktionierte Freiwilligkeit der Teilnahme, Gefahr des körperlichen/seelischen Schadens für Teilnehmende)
Wichtige Aspekte des Evaluationskontexts, die vor der Annahme eines Evaluationsauftrags berücksichtigt werden sollten (können positiv oder negativ sein)
Ressourcen:
- Evaluation als Auftragsforschung –> Ergebnis bestimmt durch die vom Auftraggeber bereitgestellten Ressourcen: Personal, Material, Ausstattung, Freistellung der Beteiligten, Unterstützung durch Programmleitung / internes Personal
–> Reichen die Ressourcen?
Rahmenbedingungen:
- Verschiedene Beteiligte: Gibt es ggf. widersprüchliche Standpunkte beteiligter Parteien
- Konflikte als Hintergrund einer Evaluation: Ggf. kann der/die Evaluator*in zum Sündenbock gemacht werden
- Konzeptuelle & organisationale Struktur: Je stärker diversifiziert/ dezentralisiert wird, desto aufwändiger und komplexer die Evaluation (multiple Dienstleistungen, Zielgruppen, Kooperationen)
Rolle des/der Evaluatorin:
- Beziehung zwischen Evaluatorin und Auftraggeberin: unabhängige Evaluation (Evaluatorin ist verantwortlich) vs. partizipative Evaluation (Evaluatorin berät, Auftraggeberin ist verantwortlich)
- Soziale Kompetenz im Austausch mit allen Beteiligten und Betroffenen: Hintergründe, Ursachen, Erwartungen in Erfahrung bringen; genaues Vorgehen, Zwischenziele, Gesamtziel präzisieren und operationalisieren; Koordination mit & Compliance der Durchführenden
- Fachliche, breite methodische und statistische Kenntnisse: Interdisziplinäre Teamarbeit erforderlich? Verantwortung für Methodik, Validität, Interpretierbarkeit der Ergebnisse klären
CIPP-Evaluationsmodell – Aufbau & Funktion
= Rahmenmodell, um eine Evaluation anzuleiten
Context = Umfeldanalyse – Was sollen wir tun? (Analyse der Bedürfnisse der Zielgruppe; Ziele formulieren/anpassen)
Input = Inputanalyse – Wie sollen wir es tun? (Prüfung der für die Durchführung benötigten Mittel und Ressourcen)
Process = Prozessanalyse – Tuen wir es wie geplant? (Laufende Überprüfung der Umsetzung, dazu gehört auch die Beteiligung und Akzeptanz der Zielgruppen)
Product = Produktanalyse – Hat das Programm funktioniert? (Prüfung der Zeilerreichung, dazu gehört auch die Erfassung nicht angestrebter Effekte)
Das CIPP-Evaluationsmodell orientiert sich am zeitlichen Verlauf einer Maßnahme und betrachtet einzelne Bedingungen, die das Gesamtergebnis beeinflussen, um Entscheidungen zu treffen.
Ebenen-Modell – Aufbau & Funktion
4 bzw. 6-Ebenen-Modell = Rahmenmodell, um eine Evaluation anzuleiten
Nach Kirkpatrick (1959):
- Reaktion
- Lernen
- Verhalten
- Ergebnisse
Nach Schenkel (2000):
- Produktebene: Konzeption & Qualität des Produkts (Wie bewerten Expert*innen die Maßnahme?)
- Reaktionsebene: Akzeptanz, Compliance, Zufriedenheit, Nutzungsbereitschaft, Nützlichkeit (Wie reagieren die Betroffenen auf die Maßnahme?)
- Lernebene: Erfolge auf Wissens- und Kompetenzebene (Ist die Maßnahme wirksam?)
- Handlungsebene: Erfolge auf Ebene des beobachtbaren Verhaltens (Hat sich das Verhalten der Betroffenen verändert?)
- Erfolgsebene: Effizienz (Was ist das Gesamtergebnis der Maßnahme? Welchen Nutzen hatte die Maßnahme für das System?)
- ROI-Ebene (return of investment): Langfristige Gewinne, Kosten-Nutzen-Beurteilung (Hat sich die Maßnahme langfristig wirtschaftlich/gesellschaftlich belohnt?)
Feedbackschleifen zwischen allen Ebenen
Optimierungsschleife von ROI-Ebene zur Produktebene
Was sind die 11 Schritte der Evaluation?
- Evaluationsbedarf
- Evaluationsauftrag
- Evaluationsgrundlagen
- Rahmenbedingungen
- Methodische Projektplanung
- Durchführung der Evaluation
- Datenauswertung
- Präsentation und Berichtlegung
- Dissemination der Ergebnisse
- Nutzung der Ergebnisse
- Bewertung der Evaluation
Was sind Stakeholder im Kontext der Evaluation und welche Unterkategorien gibt es?
Stakeholder = an der Evaluation beteiligte Personen, die individuelle Interessen mit der Evaluation verbinden
Program beneficiaries = Personen, die direkt/indirekt von Nutzung und Wirkung des Evaluationsgegenstands betroffen sind
Program developers and providers = Personen, die an Entwicklung, Umsetzung und Optimierung des Evaluationsgegenstands beteiligt sind
Datenbox-Konzeption nach Cattel
Drei Dimensionen:
- Personen P
- Variablen X
- Messzeitpunkt T
Mögliche Messungen:
Person x Variable
- Variable über Personen; Messzeitpunkt fix (R-Technik)
- Personen über Variable; Messzeitpunkt fix (Q-Technik)
Person x Messzeitpunkt
- Personen über Messzeitpunkte; Variable fix (S-Technik)
- Messzeitpunkte über Personen; Variable fix (T-Technik)
Variable x Messzeitpunkt
- Variablen über Messzeitpunkte; Person fix (P-Technik)
- Messzeitpunkte über Variablen; Person fix (Q-Technik)
Kennwerte zur Beschreibung von Ist-Zuständen: Gruppenvariablen, Personenvariablen, aggregierte Personenvariablen
Gruppenvariablen = Variablen, die nur auf die Gruppe sinnvoll anwendbar sind
- Häufigkeitsindikatoren (z.B., Gruppengröße, Geschlechterverhältnis)
- Eigenschaften der Gruppe (z.B., Gruppenalter, Aufgabe/Funktion)
Personenvariablen = Varaiblen, die nur auf die Person sinnvoll anwendbar sind
- psychologische Variablen (z.B., Leistung, Zufriedenheit)
Aggregierte Personenvariablen = Personenvariablen, die auf Gruppenebene aggregiert wurden
- einzelne Werte von Personenvariablen beschreiben einzelne Personen, Werte aggregierter Personenvariablen können eine Gruppe charakterisieren (z.B., Mittelwert)
(ein Wert einer Gruppenvariable charakterisiert auch eine Gruppe, kann aber nicht (sinnvoll) einer einzelnen Person zugewiesen werden) - Problem: Aggregation nicht linearer Funktion (z.B., Lernkurve) –> Auswertung mithilfe hierarchischer Modelle
Kennwerte zur Beschreibung von Ist-Zuständen: Prävalenz, Lebenszeitprävalenz, Inzidenz
Prävalenz = Anzahl von Personen mit positiver Diagnose (aktuell bestehende Fälle)
Lebenszeitprävalenz = Anzahl von Personen, die im Leben (mind. einmal) positiv diagnostiziert werden
Inzidenz = Anzahl neu hinzukommender Fälle (neu auftretende Fälle in einem Jahr)
Arten von Vergleichskriterien und wozu werden sie in einer Zustandsevaluation benötigt?
Ziel einer Zustandsevaluation: Bewertung (Statusdiagnose)
–> Es wir ein Kriterium benötigt.
Normativer Vergleich = Vergleich mit vorher festgelegtem Kriterium
- Vergleich mit Ideal- oder Kriterialnorm: Vergleich mit festgelegtem (begründetem, realistischem) Kriterium
- Vergleich mit Realnorm: Vergleich mit Durchschnittswert, der eine “normale” Situation repräsentiert
Empirischer Vergleich = Vergleich zweier unterschiedlicher Ist-Zustände
- Sozialer Vergleich (soziale Bezugsnorm): Vergleich mit anderen Personen/Gruppen
- Temporaler Vergleich (individuelle Bezugsnorm): Vergleich mit derselben Person/Gruppe zu anderem Zeitpunkt
Wie wird statistische Bedeutsamkeit im Einzelfall und auf Gruppenebene etabliert?
Einzelfall: Normvergleich, Prozentränge (z.B., IQ-Wert)
Gruppenebene: Statistische Tests für Gruppenvergleiche
- Vergleich Stichprobe & Population (z.B., t-Test für eine Stichprobe bei Idealnorm oder Realnorm)
- Vergleich mehrerer Gruppen (z.B., t-Tests oder ANOVAs für soziale und temporale Vergleiche)
Wie wird die praktische Bedeutsamkeit eines Interventionseffektes etabliert?
Effektgröße = von Stichprobengröße unabhängiger Kennwert
Interpretation = von Objekt, Kriterium, Ziel etc. abhängige Einordnung und Deutung
Beispiel: Wirksamkeit von Aspirin bei Prävention von Herzinfarkten
- EG (1 Aspirin täglich): 0,94% Herzinfarkte
- KG (0 Aspirin täglich): 1,71% Herzinfarkte
–> sehr kleine Effektgröße (<1%), aber hohe praktische Bedeutsamkeit (etwa doppelt so viele Herzinfarkte in KG als in EG –> Deutung)
Beschreibung von Veränderungen
Differenzen auf Einzelfallebene: Normvergleiche, Prozentränge, Standardisierung der Differenz
Differenzen auf Gruppenebene:
- Intradindividuelle Veränderung – individuelle Differenzen berechnen und mitteln (abhängige Stichproben)
- interindividuelle Veränderung – Vorher- und Nachher-Werte mitteln und mittlere Differenz berechnen (unabhängige Stichproben)
- Statistische Tests für Gruppenvergleiche – t-Tests, ANOVAs
Häufigkeitsaussagen auf Populationsebene:
Beispiel: Veränderung in Inzidenz –> Veränderungsquotient (VQ = (I2 - I1)/I1) –> bei bekannter Anzahl der Gesamtmessungen auch Signifikanzprüfung möglich
Trendanalyse:
- Regressionsanalyse mit mehreren Messzeitpunkte als Prädiktoren –> Feststellen der Form/ des Verlaufs der Veränderung; linearer oder quadratischer Trend, kubisch, höhere Ordnung, Kombinationen?
(Verlauf des Merkmals im Laufe der Zeit) - Zeitreihenanalyse –> Regressionsanalyse mit vergangen Messwerten als Prädiktoren (wichtig: Entfernung serieller Abhängig (Prewhitening) vor der Anwendung statistischer Tests)
Beispielstudie zur Veränderungsevaluation von Sargent er al. 2012
Hintergrund: Erlassung der Gesetze zur teilweisen Einschränkung des Rauchens im öffentlichen Bereich und im Gastgewerbe (zwischen August 2007 - Juli 2008)
—> Effekt auf koronare Herzerkrankungen
Methode: Vorher-Nachher-Studie & Trendanalyse
- Versicherungskohorte von 3,7 Mio. Personen ab 30 Jahren
- Ergebnismaße: Krankenhauseinweisungsraten, Krankenhauskosten
—> Prognose beider Variablen unter fehlenden Effekt der Gesetze (durch ermittelten Trend) und Vergleich der tatsächlichen Messung mit der Prognose => mutmaßlicher Effekt des Gesetzes auf die abhängige Variable
Ergebnis: Unter Annahme, dass das Gesetz den beobachteten Rückgang verursacht hat, konnten im Jahr nach der Umsetzung des Gesetzes 1880 Krankenhauseinweisungen vermieden und 7,7 Mio. Euro an Kosten gespart werden.
Arten der Veränderungsmessung (direkte vs. indirekte)
Direkte Veränderungsmessung = Erfassung der Veränderung in einer Messung
- z.B., Befragung
- Mögliche Verzerrungen: Konfirmationsbias, selektive Informationsverarbeitung, Assimilation/Kontrast
Indirekt Veränderungsmessung = zwei Messungen und Differenzbildung
- z.B., Zustandsevaluationen und Differenzbildung
- Mögliche Verzerrungen (vgl. Probleme bei Messwiederholung): Erinnerungseffekte, Übungseffekte, Sensibilisierung
Moderatorvariablen (bei der Veränderungsevaluation)
Ist eine Veränderungsanalyse generalisierbar? —> Überprüfen auf mögliche Moderatoren
Mögliche Moderatoren:
- Subgruppen (alt/jung, Gymnasium/Gesamtschule)
- Kontextbedingungen (Raum-zeitlich, Organisation, gesellschaftlich)
Wie sind „Wirkung“, „Wirksamkeit“ und „Wirkmodell“ jeweils definiert?
Wirkung = Ergebnis einer Ursache
Wirksamkeit = Ausmaß des Erfolgs (—> Fähigkeit eine bestimmte Wirkung hervorzubringen)
Wirkmodell = zu prüfende Theorie/Hypothese über Wirkmechanismus
Gründe für Ausbleiben von Wirkung/Wirksamkeit
Grundlagenebene — Theorie ist unzutreffend/unpräzise (z.B., werden wichtige Randbedingungen nicht berücksichtigt)
Technologische Ebene — Theorie stimmt, aber Übertragung auf Intervention nicht zulässig (z.B., bei konstanten, nicht beeinflussbaren Variablen)
Implementationsebene — Theorie stimmt, aber die Umsetzung der Intervention (konkrete Realisierung der theoretischen Variablen) war fehlerhaft
Evaluationsebene — es kam zu Fehlern bei Wirkungsprüfung (z.B., Messfehler, Design)
Persistenz & Transfer (Wirksamkeitsevaluation)
Persistenz = Beständigkeit der Wirkung der Maßnahme
- Wirkung hält nach Abschluss der Maßnahme an
- Wiederholung der Post-Messung in Follow-up-Messungen
- Mögliche Ergebnisse: stabil, Verlust, Gewinn
Transfer = Generalisierbarkeit der Wirkung der Maßnahme
- Wirkung reicht über den Gegenstandsbereich der Maßnahme hinaus
- Wirkung tritt auch im Alltag (außerhalb der Maßnahme) auf
- Anforderungstransfer = Generalisierbarkeit der Wirkung auf andere Anforderungen (z.B., R-Computerkurs führt zu Verbesserung in Statistikfähigkeiten)
- Situationstransfer = Generalisierbarkeit der Wirkung auf andere Kontexte/Situationen (z.B., Training als Mediator verbessert private soziale Interaktionen)
Definition – Haupt-, Neben-, Folge-, Brutto- und Nettowirkung
Hauptwirkung = intendierte, maßnahmenspezifische Wirkung laut Wirkmodell
Nebenwirkung = nicht intendierte Wirkung, die gleichzeitig auftritt (positiv -> die Hauptwirkung stärkend // negativ -> die Hauptwirkung schwächend)
Folgewirkung = nicht intendierte Wirkung, die später auftritt
Bruttowirkung = Summe aller Wirkungen (= Hauptwirkung + Nebenwirkung + Folgewirkung + Maßnahmenunspezifische Effekte (evtl. intendierte, aber nicht maßnahmenspezifische Effekte) + externe Effekte (konfundierte Variablen))
Nettowirkung = Hauptwirkung + Nebenwirkung + Folgewirkung
Zusammenfassung - Funktion der Evaluationsforschung
- dient Handlungsoptimierung in komplexen Situationen
- liefert Beitrag zum Entscheidungsprozess bzgl. Auswahl von Verhaltensalternativen
Eine generelle, ideale Handlungsalternative ist oft nicht existent oder nicht identifizierbar. –> Suche nach optimaler Handlungsalternative für den konkreten Fall
Was versteht man unter Metaevaluation?
Im engeren Sinne: Evaluation einer Evaluation –> Bewertung der Qualität einer Evaluationsstudie
Im weiteren Sinne: Integration von Evaluationen –> Metaanalyse von Evaluationsstudien zu einem Gegenstand (Kommen alle Studien zu gleichen Schlussfolgerung? Wie kann die wahre Effektgröße am besten geschätzt werden?)
Was versteht man unter Metaevaluation?
Im engeren Sinne: Evaluation einer Evaluation –> Bewertung der Qualität einer Evaluationsstudie
Im weiteren Sinne: Integration von Evaluationen –> Metaanalyse von Evaluationsstudien zu einem Gegenstand (Kommen alle Studien zur gleichen Schlussfolgerung? Wie kann die wahre Effektgröße am besten geschätzt werden?)
Ansätze der Evaluationsforschung
Ergebnisorientierte Ansätze
- Wirksamkeitsorientierte Ansätze (Vier Formen der Asymmetrie von Wittmann, 1990)
- Effizienzorientierte Ansätze
Systemische Ansätze
- z.B., CIPP-Modell von Stufflebeam, 1971 als Evaluationsmodell
Theorieorientierte Ansätze
- Theoriegeleitete Ansätze
- Realistische/Praxisorientierte Ansätze
Akteursorientierte Ansätze
- Klientenorientierte Ansätze
- Stakeholderorientierte Ansätze
Entscheidungskriterien zur Wahl eines Evaluationsmodells
(1) Funktion der Evaluation (Zustand, Veränderung, Wirksamkeit)
(2) Ziele und Bewertungskriterien der Beteiligten
(3) Evaluationsebenen (Reaktion, Lernen, Verhalten, Ergebnisse)
(4) Welche Arten von Daten (Kontext, Input, Prozess, Produkt)?
(5) Zeile der Programmtheorie explizit?
(6) Welche Ressourcen?
Wittmann - 5-Datenbox-Konzeption
5 Datenboxen für evidenzbasierte Interventionen: Alle Boxen sind als Cattell’sche Kovarianz-Boxen dargestellt und umfassen die Dimensionen Personen, Variablen und Messzeitpunkte. Die Datenboxen sind auf einer Zeitachse angeordnet, die dem Ablauf eines Evaluationsprozesses entspricht.
- PR-Box = predictor box (vor Intervention)
– Ausgangslage vor der Implementierung; Ausprägung der später als Kriterien verwendeten Variablen (Bedürfnisse der Betroffenen); ggf. Prädiktoren für die Wirksamkeit einer Maßnahme - ETR-Box = experimental treatment box (während)
– beinhaltet eine experimentelle Evaluation zwecks Bewertung der Maßnahme - NTR-Box = non-experimental treatment box (während)
– versteht Evaluation als nicht-experimentellen Bewertungsprozess in Form von Quasi-Experimenten, korrelativen Messungen, Meinungsurteilen - CR-Box = criterion box (nach Intervention, summativ)
– enthält alle Kriterienmaße, die zur Evaluation der festgelegten Ziele dienen und deren zeitlichen Verlauf erfasst an Personen, Gruppen oder Institutionen - EVA-box = evaluator box (Stakeholder-Interessen)
– Rahmenbedingungen für die Evaluaton, Ziele & Interessen der Stakeholder, Ressourcen
Wittmann - Zwei Pfade
Nordwest-Pfad (über ETR-Box): Interne Validität steht im Vordergrund; Reformen als Experimente; kausale Aussagen möglich
–> Efficacy = Wirksamkeit unter Idealbedingungen
–> Quasiexperimente (geplante, randomisierte Zuweisung; aktive UV-Manipulation)
–> Hauptvertreter: Donald T. Campbell
Südwest-Pfad (über NTR-Box): Externe/ökologische Validität im Vordergrund; Evaluation soll möglichst den realen Bedingungen der Intervention entsprechen; Generalisierbarkeit
–> Effectiveness = Wirksamkeit unter Alltagsbedingungen
–> Korrelationsstudien (keine geplante, randomisierte Zuweisung; keine aktive UV-Manipulation; Möglichkeit zur Generalsierung)
–> Hauptvertreter: Lee J. Cronbach
Linsenmodell nach Brunswick (1943)
Rahmenkonzeption zur Analyse des menschlichen Urteilsverhaltens
Grundprinzip: Theoretischer Ansatz, der skizziert, wie wir in einer probabilistischen Welt aus unseren Beobachtungen Schlüsse ziehen. Auf der linken Seite der Linse stehen distale Zustände der Welt (“e”), die über proximale Hinweisreize (“cues”; Linse), erfahrungsbezogener Gewichtung sowie momentanem subjektivem Eindruck im kognitiven System zu einem Urteil (“s”; rechts) zusammenfließen.
–> Die Urteilsgenauigkeit wird gemessen als die Korrelation r(Ye, Ys)
Anwendung des Linsenmodells nach Brunswick in der Evaluationsforschung für Symmetrie zwischen zwei beliebigen Datenboxen
Zwischen PR und CR bei Wirksamkeitsevaluation und zwischen ETR und CR bei Programmevaluation.
Symmetrie zwischen Ausgangslage, Intervention und Kriterienbereich ist eine unverzichtbare Grundlage der Evaluation. Zwei beliebige Datenboxen können über die Linsengleichung auf ihren Zusammenhang überprüft werden (r(true) zwischen zwei spiegelsymmetrischen Elementen im Linsenmodells (gleiche Position im Hierarchiemodell) sollte 1 sein; z.B., r(PR6, CR6)).
Linsengleichung:
r(PR,CR) = G(PR,CR) * Wurzel aus (r(PR)*r(CR)) * R(PR) * R (CR) * S + e
r(PR,CR) = beobachtete/interessierende Effektgröße (Korrelation zwischen PR und CR)
G(PR,CR) = wahre Effektgröße (wahre Korrelation zwischen zwischen PR und CR)
r = psychometrische Reliabilität von PR und CR (r<1 –> Mangel an Zuverlässigkeit) –> 2 Gefahren der Unterschätzung
R = Konstruktreliabilität von PR und CR (R<1 –> Mangel an Symmetrie) –> 2 Gefahren der Unterschätzung
S = Selektionseffekte (Stichprobenstreuung > Populationsstreuung -> 1 Gefahr der Überschätzung // Stichprobenstreuung < Populationsstreuung -> 1 Gefahr der Unterschätzung)
e = Stichprobenfehler (positiver Fehler –> 1 Gefahr der Überschätzung // negativer Fehler –> 1 Gefahr der Unterschätzung)
Insg. 6 Gefahren der Unterschätzung und 2 Gefahren der Überschätzung
Alle Datenboxen können in ihrem Zusammenhang untereinander mit dieser Gleichung analysiert werden. Die unterschiedlichen Korrelationskoeffizienten des Zusammenhangs zur Kriterienbox stellen Varianten von Effektgrößemaßen dar, die in Metaanalysen verwendet werden.
–> Durch die Anwendung der Linsengleichung kann der Symmetrie zwischen den Daten boxen analysiert werden.
Welche Bereiche decken die DeGEval-Standards ab?
= Evaluationsstandards der Deutschen Gesellschaft für Evaluation
- Nützlichkeit
- Durchführbarkeit
- Fairness
- Genauigkeit
DeGEval-Nützlichkeitsstandards
= Standards zur Ausrichtung an geklärten Evaluationszwecken sowie am Informationsbedarf der Nutzer*innen
- Identifizierung der Beteiligten & Betroffenen
- Klärung der Evaluationszwecke
- Glaubwürdigkeit und Kompetenz der Evaluator*innen
- Auswahl und Umfang der Informationen (-> Fragestellung & Informationsbedarf des Auftraggebers)
- Transparenz von Werten
- Vollständigkeit und Klarheit der Berichterstattung
- Rechtzeitigkeit der Evaluation
- Nutzung und Nutzen der Evaluation
DeGEval-Durchführbarkeitsstandards
= Standards zur Sicherstellung einer realistischen, gut durchdachten, diplomatischen und kostenbewussten Planung und Durchführung
- Angemessene Verfahren (Belastung zu Nutzen Verhältnis)
- Diplomatisches Vorgehen (hohe Akzeptanz)
- Effizienz von Evaluation (Aufwand zu Nutzen Verhältnis)
DeGEval-Fairnessstandards
= Standards zum respektvollen und fairen Umgang mit den betroffenen Personen(-gruppen)
- Formale Vereinbarungen
- Schutz individueller Rechte (Sicherheit, Würde und Rechte)
- Vollständige und faire Überprüfung (des Evaluationsgegenstands)
- Unparteiische Durchführung und Berichterstattung
- Offenlegung der Ergebnisse
DeGEval-Genauigkeitsstandards
= Standards zur Er-/Vermittlung gültiger Informationen und Ergebnisse zu Evaluationsgegenstand/-fragestellungen
- Beschreibung des Evaluationsgegenstands
- Kontextanalyse
- Beschreibung von Zwecken und Vorgehen
- Angabe von Informationsquellen
- Valide und reliable Informationen (Zuverlässigkeit und Gültigkeit der Daten; Gütekriterien quantitativer und qualitativer Sozialforschung)
- Systematische Fehlerprüfung
- Analyse qualitativer und quantitativer Informationen
- Begründete Schlussfolgerungen
- Metaevaluation
