Evaluationsforschung Flashcards

1
Q

Was bedeutet “Evaluation”? Was bedeutet “wissenschaftliche Evaluation”?

A

Evaluation ist die Bewertung eines Sachverhalts/Gegenstands/Leistung durch Laien

Wissenschaftliche Evaluation ist die wissenschaftlich fundierte Bewertung eines klar definierten Evaluationsgegenstands durch Expert*innen.

  • anwendungsbezogen
  • oft auftraggeberfinanziert
  • bzgl. geplanter oder bereits realisierter Maßnahmen
  • oft politisch kontrovers diskutierte Themen
How well did you know this?
1
Not at all
2
3
4
5
Perfectly
2
Q

Wie grenzt sich die Evaluationsforschung von der Grundlagenforschung und der Interventionsforschung ab?

A

Grundlagenforschung - Entwicklung & Überprüfung wissenschaftlicher Theorien (Grundlagenwissenschaftliche Theorien - Beschreibung, Erklärung, Vorhersage von Sachverhalten)

Interventionsforschung - anwendungsorientiert; Entwicklung & Überprüfung technologischer Theorien
(Technologische Theorie - Beschreibung, Erklärung, Vorhersage von Interventionen)

Evaluationsforschung - anwendungsorientiert; Bewertung von Maßnahmen, Programmen, anderen Gegenständen; Entwicklung, Prüfung von Programmtheorien
(Programmtheorie - Unterform technologischer Theorien; Erklärung der Wirkungsweise des Evaluationsgegenstands)

How well did you know this?
1
Not at all
2
3
4
5
Perfectly
3
Q

Evaluation - Definition

A

= systematische Bewertung eines

klar definierten Evaluationsgegenstands, dessen Konzept, Umsetzung, Nutzen und Wirksamkeit,

innerhalb eines spezifischen individuellen/gesellschaftlichen/organisationalen/politischen Kontextes

anhand präziser, vorher festgelegter, offengelegter Bewertungskriterien

durch Expert:innen

mithilfe wissenschaftlicher Methoden

um eine oder mehrere Zielsetzungen des Auftraggebers zu erreichen

How well did you know this?
1
Not at all
2
3
4
5
Perfectly
4
Q

Was sind die 4 Evaluationsgegenstände?
–> Erläuterung am Beispiel der ADHS-Therapie

A

Produkt - Ergebnis eines Produktionsprozesses (z.B., industriell, landwirtschaftlich, pädagogisch, wissenschaftlich)
–> ADHS-Therapie: Wirksamkeit der Therapie?

Prozess - Abfolge von Schritten zu einem bestimmten Ziel (z.B., Arbeitsabläufe am Fließband; Lebensmittelherstellung)
–> ADHS-Therapie: Therapieverlauf (Wie läuft die Therapie im dt. Gesundheitssystem ab? Welche Schritte könnten optimiert werden?)

Programm/Projekt - Interventionsmaßnahme (z.B., Verbesserung der Arbeitszufriedenheit)
–> ADHS-Therapie: Was bringt eine Programm zur Versorgungsoptimierung an Schulen? –> Interventionsmaßnahme

Politik - Gesetze und Verordnungen (z.B., Arbeitsplatzsicherheit, Lebensmittelhygiene, Bildungswesen)
–> ADHS-Therapie: Gesetz zur Sicherung der Versorgung: Wie kann die Politik die Versorgung sicherstellen? Besteht gesetzlicher Regelungsbedarf oder muss stattdessen die Umsetzung optimiert werden?

How well did you know this?
1
Not at all
2
3
4
5
Perfectly
5
Q

Was können Evaluationskriterien sein?

A

Bedarf - Entspricht die Maßnahme den Bedürfnissen der Zielgruppe?

Konzept und Design - Ist die Maßnahme sinnvoll/evaluierbar? Was ist die theoretische/empirische Grundlage? –> Qualität des Interventionskonzepts (Validität); State-of-the-art

Prozess - Wie wurde die Maßnahme praktisch umgesetzt und durchgeführt? –> Qualität der Einführung und Implementation; Ausführungsintegrität

Ergebnis - Hat die Maßnahme die gewünschten Effekte?
–> Wirksamkeit/Effektivität, Transfererfolg (pos. Effekte in anderen Bereichen), Kosten-Nutzen-Bilanz/Effizienz, Akzeptanz (d. Betroffene)/ Nachhaltigkeit

How well did you know this?
1
Not at all
2
3
4
5
Perfectly
6
Q

Was sind Zielsetzungen einer Evaluation? (3 versch. Interventionen mit versch. Zielsetzungen)

A

Zustandsevaluation = Wie ist der aktuelle Zustand des Evaluationsgegenstands?
–> Produkt: Leistung der Schüler der 8. Klasse im Fach Mathematik
–> Prozess: Eigenschaften der Arbeitsprozesse in einem Unternehmen
–> Programm: Qualität einer geplanten Interventionsmaßnahme
–> Politik: Gesetzlicher Regelungsbedarf im Bereich der Kurzarbeit

  • 1 Messzeitpunkt (i.d.R. summative Orientierung)
  • Vergleich mit Kriterium (Ist vs. Soll)

Veränderungsevaluation = Zustandsvergleich über die Zeit
–> Mehrere Diagnosen: Frage nach dem Entwicklungstrend - Verständnis von Situationen und Prozessen
–> Prognose: Vorhersage des zukünftigen Zustands - vorausschauende Steuerung
–> Retrognose: Vergleich aktueller und vergangener Zustand - rückblickende Wirkungskontrolle

  • 2 Messzeitpunkte (Vergleich mit Prognose/Retrognose)
  • Ziel: Beschreibung und Bewertung der Veränderung
  • Kriterien: beliebig

Wirksamkeitsevaluation = Zustandsvergleich vor und nach einer Intervention

  • 2 Messzeitpunkt
  • Ziel: Prüfung auf Veränderung
  • Kriterium: beliebig
How well did you know this?
1
Not at all
2
3
4
5
Perfectly
7
Q

Prospektive vs. formative vs. summative Evaluation

A

Prospektive Evaluation = Evaluation vor einer Maßnahme – antizipatorisch

Formative Evaluation = Evaluation während einer Maßnahme – prozessbegleitend

Summative Evaluation = Evaluation nach einer Maßnahme – ergebnisbewertend

How well did you know this?
1
Not at all
2
3
4
5
Perfectly
8
Q

Was ist das Zeil der formativen Evaluation und wie wird diese durchgeführt (was und wie wird erhoben)?

A

Ziel: Verbesserung der Maßnahme (konkrete Handlungsempfehlungen)

  • Erhebung in regelmäßigen Abständen (–> Anpassung bei Fehlentwicklungen)
  • zusätzliches Sammeln von subjektiven Eindrücken der Betroffenen
  • enge Zusammenarbeit mit Programmleitung
How well did you know this?
1
Not at all
2
3
4
5
Perfectly
9
Q

Was ist das Ziel der summativen Evaluation und wie wird diese durchgeführt (was und wie wir erhoben)?

A

Ziel: Nutzenbestimmung einer Maßnahme; Entscheidungshilfe für Geldgeber, Aufsichtsbehörden, Legislative

  • kann sich auf Konzeption, Durchführung, Wirksamkeit und Effizienz beziehen
  • wissenschaftlich besonders solide
  • eher unabhängig
How well did you know this?
1
Not at all
2
3
4
5
Perfectly
10
Q

Was zeichnet den qualitativen Ansatz der Evaluation aus?

A

Ziel: Exploration –> befasst sich mit dem Sinnverstehen

Qualitätskriterium: inhaltliche Validität

Methoden: nicht standardisiert

Vergleich: normativ

How well did you know this?
1
Not at all
2
3
4
5
Perfectly
11
Q

Was zeichnet den quantitativen Ansatz der Evaluation aus?

A

Ziel: Beschreibung –> befasst sich mit der Messung

Qualitätskriterien: Reliabilität, Validität, Objektivität

Methoden: standardisiert

Vergleich: empirisch

How well did you know this?
1
Not at all
2
3
4
5
Perfectly
12
Q

Was war die Intervention, die von Chalfin et al. 2022 in Rahmen einer Evaluation untersucht wurde?
Was waren die Bewertungskriterien und wie ist die Evaluation einzuordnen?

A

Intervention: Mobile Straßenlampen in New York City
Ziel: Verringerung der Verbrechensrate

Bewertungskriterien:

  • Validität (Erkenntnisgewinn)
  • Akzeptanz (z.B., können Anwohner nachts noch schlafen; fühlen sich Anwohner überwacht)
  • Wirkung (Effektivität, praktische Relevanz des Effekts)
  • Nebenwirkungen (z.B., Lichtverschmutzung, Natur/Umwelt)
  • Kosten-Nutzen-Bilanz (Effizienz)

Einordnung der Evaluation:

  • Summative Evaluation; Wirksamkeitsevaluation
  • eher quantitativer Ansatz (Messung der Verbrechensrate; obwohl auch Erkenntnisgewinn ein Teilziel war)
  • Feldexperiment
  • Evaluationsgegenstand: Produkt und/oder Projekt
  • Evaluationskriterium: Ergebnis
How well did you know this?
1
Not at all
2
3
4
5
Perfectly
13
Q

Welche Aspekte können/sollten bezüglich der Annahme eines Evaluationsauftrags Bedenken bereiten?

A

Zielsetzung:

  • versteckte Agenda (keine klare oder nicht offen kommunizierte Zielvorstellung; Imagepflege; nachträgliche Rechtfertigung bereist gefallener Entscheidungen; Verzögerungstaktik - Kritiker ruhig stellen, Entscheidungen aufschieben)

Ethische Bedenken:

  • Ziel des Projekts widerspricht persönlichen Zielen/Werten
  • ethische Bedenken hinsichtlich Durchführung (z.B., Verletzung der Intimsphäre der Teilnehmenden, sanktionierte Freiwilligkeit der Teilnahme, Gefahr des körperlichen/seelischen Schadens für Teilnehmende)
How well did you know this?
1
Not at all
2
3
4
5
Perfectly
14
Q

Wichtige Aspekte des Evaluationskontexts, die vor der Annahme eines Evaluationsauftrags berücksichtigt werden sollten (können positiv oder negativ sein)

A

Ressourcen:
- Evaluation als Auftragsforschung –> Ergebnis bestimmt durch die vom Auftraggeber bereitgestellten Ressourcen: Personal, Material, Ausstattung, Freistellung der Beteiligten, Unterstützung durch Programmleitung / internes Personal
–> Reichen die Ressourcen?

Rahmenbedingungen:
- Verschiedene Beteiligte: Gibt es ggf. widersprüchliche Standpunkte beteiligter Parteien
- Konflikte als Hintergrund einer Evaluation: Ggf. kann der/die Evaluator*in zum Sündenbock gemacht werden
- Konzeptuelle & organisationale Struktur: Je stärker diversifiziert/ dezentralisiert wird, desto aufwändiger und komplexer die Evaluation (multiple Dienstleistungen, Zielgruppen, Kooperationen)

Rolle des/der Evaluatorin:
- Beziehung zwischen Evaluator
in und Auftraggeberin: unabhängige Evaluation (Evaluatorin ist verantwortlich) vs. partizipative Evaluation (Evaluatorin berät, Auftraggeberin ist verantwortlich)
- Soziale Kompetenz im Austausch mit allen Beteiligten und Betroffenen: Hintergründe, Ursachen, Erwartungen in Erfahrung bringen; genaues Vorgehen, Zwischenziele, Gesamtziel präzisieren und operationalisieren; Koordination mit & Compliance der Durchführenden
- Fachliche, breite methodische und statistische Kenntnisse: Interdisziplinäre Teamarbeit erforderlich? Verantwortung für Methodik, Validität, Interpretierbarkeit der Ergebnisse klären

How well did you know this?
1
Not at all
2
3
4
5
Perfectly
15
Q

CIPP-Evaluationsmodell – Aufbau & Funktion

A

= Rahmenmodell, um eine Evaluation anzuleiten

Context = Umfeldanalyse – Was sollen wir tun? (Analyse der Bedürfnisse der Zielgruppe; Ziele formulieren/anpassen)

Input = Inputanalyse – Wie sollen wir es tun? (Prüfung der für die Durchführung benötigten Mittel und Ressourcen)

Process = Prozessanalyse – Tuen wir es wie geplant? (Laufende Überprüfung der Umsetzung, dazu gehört auch die Beteiligung und Akzeptanz der Zielgruppen)

Product = Produktanalyse – Hat das Programm funktioniert? (Prüfung der Zeilerreichung, dazu gehört auch die Erfassung nicht angestrebter Effekte)

Das CIPP-Evaluationsmodell orientiert sich am zeitlichen Verlauf einer Maßnahme und betrachtet einzelne Bedingungen, die das Gesamtergebnis beeinflussen, um Entscheidungen zu treffen.

How well did you know this?
1
Not at all
2
3
4
5
Perfectly
16
Q

Ebenen-Modell – Aufbau & Funktion

A

4 bzw. 6-Ebenen-Modell = Rahmenmodell, um eine Evaluation anzuleiten

Nach Kirkpatrick (1959):

  • Reaktion
  • Lernen
  • Verhalten
  • Ergebnisse

Nach Schenkel (2000):

  • Produktebene: Konzeption & Qualität des Produkts (Wie bewerten Expert*innen die Maßnahme?)
  • Reaktionsebene: Akzeptanz, Compliance, Zufriedenheit, Nutzungsbereitschaft, Nützlichkeit (Wie reagieren die Betroffenen auf die Maßnahme?)
  • Lernebene: Erfolge auf Wissens- und Kompetenzebene (Ist die Maßnahme wirksam?)
  • Handlungsebene: Erfolge auf Ebene des beobachtbaren Verhaltens (Hat sich das Verhalten der Betroffenen verändert?)
  • Erfolgsebene: Effizienz (Was ist das Gesamtergebnis der Maßnahme? Welchen Nutzen hatte die Maßnahme für das System?)
  • ROI-Ebene (return of investment): Langfristige Gewinne, Kosten-Nutzen-Beurteilung (Hat sich die Maßnahme langfristig wirtschaftlich/gesellschaftlich belohnt?)

Feedbackschleifen zwischen allen Ebenen
Optimierungsschleife von ROI-Ebene zur Produktebene

How well did you know this?
1
Not at all
2
3
4
5
Perfectly
17
Q

Was sind die 11 Schritte der Evaluation?

A
  1. Evaluationsbedarf
  2. Evaluationsauftrag
  3. Evaluationsgrundlagen
  4. Rahmenbedingungen
  5. Methodische Projektplanung
  6. Durchführung der Evaluation
  7. Datenauswertung
  8. Präsentation und Berichtlegung
  9. Dissemination der Ergebnisse
  10. Nutzung der Ergebnisse
  11. Bewertung der Evaluation
How well did you know this?
1
Not at all
2
3
4
5
Perfectly
18
Q

Was sind Stakeholder im Kontext der Evaluation und welche Unterkategorien gibt es?

A

Stakeholder = an der Evaluation beteiligte Personen, die individuelle Interessen mit der Evaluation verbinden

Program beneficiaries = Personen, die direkt/indirekt von Nutzung und Wirkung des Evaluationsgegenstands betroffen sind

Program developers and providers = Personen, die an Entwicklung, Umsetzung und Optimierung des Evaluationsgegenstands beteiligt sind

How well did you know this?
1
Not at all
2
3
4
5
Perfectly
19
Q

Datenbox-Konzeption nach Cattel

A

Drei Dimensionen:

  • Personen P
  • Variablen X
  • Messzeitpunkt T

Mögliche Messungen:

Person x Variable

  • Variable über Personen; Messzeitpunkt fix (R-Technik)
  • Personen über Variable; Messzeitpunkt fix (Q-Technik)

Person x Messzeitpunkt

  • Personen über Messzeitpunkte; Variable fix (S-Technik)
  • Messzeitpunkte über Personen; Variable fix (T-Technik)

Variable x Messzeitpunkt

  • Variablen über Messzeitpunkte; Person fix (P-Technik)
  • Messzeitpunkte über Variablen; Person fix (Q-Technik)
20
Q

Kennwerte zur Beschreibung von Ist-Zuständen: Gruppenvariablen, Personenvariablen, aggregierte Personenvariablen

A

Gruppenvariablen = Variablen, die nur auf die Gruppe sinnvoll anwendbar sind

  • Häufigkeitsindikatoren (z.B., Gruppengröße, Geschlechterverhältnis)
  • Eigenschaften der Gruppe (z.B., Gruppenalter, Aufgabe/Funktion)

Personenvariablen = Varaiblen, die nur auf die Person sinnvoll anwendbar sind

  • psychologische Variablen (z.B., Leistung, Zufriedenheit)

Aggregierte Personenvariablen = Personenvariablen, die auf Gruppenebene aggregiert wurden

  • einzelne Werte von Personenvariablen beschreiben einzelne Personen, Werte aggregierter Personenvariablen können eine Gruppe charakterisieren (z.B., Mittelwert)
    (ein Wert einer Gruppenvariable charakterisiert auch eine Gruppe, kann aber nicht (sinnvoll) einer einzelnen Person zugewiesen werden)
  • Problem: Aggregation nicht linearer Funktion (z.B., Lernkurve) –> Auswertung mithilfe hierarchischer Modelle
21
Q

Kennwerte zur Beschreibung von Ist-Zuständen: Prävalenz, Lebenszeitprävalenz, Inzidenz

A

Prävalenz = Anzahl von Personen mit positiver Diagnose (aktuell bestehende Fälle)

Lebenszeitprävalenz = Anzahl von Personen, die im Leben (mind. einmal) positiv diagnostiziert werden

Inzidenz = Anzahl neu hinzukommender Fälle (neu auftretende Fälle in einem Jahr)

22
Q

Arten von Vergleichskriterien und wozu werden sie in einer Zustandsevaluation benötigt?

A

Ziel einer Zustandsevaluation: Bewertung (Statusdiagnose)
–> Es wir ein Kriterium benötigt.

Normativer Vergleich = Vergleich mit vorher festgelegtem Kriterium

  • Vergleich mit Ideal- oder Kriterialnorm: Vergleich mit festgelegtem (begründetem, realistischem) Kriterium
  • Vergleich mit Realnorm: Vergleich mit Durchschnittswert, der eine “normale” Situation repräsentiert

Empirischer Vergleich = Vergleich zweier unterschiedlicher Ist-Zustände

  • Sozialer Vergleich (soziale Bezugsnorm): Vergleich mit anderen Personen/Gruppen
  • Temporaler Vergleich (individuelle Bezugsnorm): Vergleich mit derselben Person/Gruppe zu anderem Zeitpunkt
23
Q

Wie wird statistische Bedeutsamkeit im Einzelfall und auf Gruppenebene etabliert?

A

Einzelfall: Normvergleich, Prozentränge (z.B., IQ-Wert)

Gruppenebene: Statistische Tests für Gruppenvergleiche
- Vergleich Stichprobe & Population (z.B., t-Test für eine Stichprobe bei Idealnorm oder Realnorm)
- Vergleich mehrerer Gruppen (z.B., t-Tests oder ANOVAs für soziale und temporale Vergleiche)

24
Q

Wie wird die praktische Bedeutsamkeit eines Interventionseffektes etabliert?

A

Effektgröße = von Stichprobengröße unabhängiger Kennwert

Interpretation = von Objekt, Kriterium, Ziel etc. abhängige Einordnung und Deutung

Beispiel: Wirksamkeit von Aspirin bei Prävention von Herzinfarkten

  • EG (1 Aspirin täglich): 0,94% Herzinfarkte
  • KG (0 Aspirin täglich): 1,71% Herzinfarkte
    –> sehr kleine Effektgröße (<1%), aber hohe praktische Bedeutsamkeit (etwa doppelt so viele Herzinfarkte in KG als in EG –> Deutung)
25
Q

Beschreibung von Veränderungen

A

Differenzen auf Einzelfallebene: Normvergleiche, Prozentränge, Standardisierung der Differenz

Differenzen auf Gruppenebene:

  • Intradindividuelle Veränderung – individuelle Differenzen berechnen und mitteln (abhängige Stichproben)
  • interindividuelle Veränderung – Vorher- und Nachher-Werte mitteln und mittlere Differenz berechnen (unabhängige Stichproben)
  • Statistische Tests für Gruppenvergleiche – t-Tests, ANOVAs

Häufigkeitsaussagen auf Populationsebene:
Beispiel: Veränderung in Inzidenz –> Veränderungsquotient (VQ = (I2 - I1)/I1) –> bei bekannter Anzahl der Gesamtmessungen auch Signifikanzprüfung möglich

Trendanalyse:

  • Regressionsanalyse mit mehreren Messzeitpunkte als Prädiktoren –> Feststellen der Form/ des Verlaufs der Veränderung; linearer oder quadratischer Trend, kubisch, höhere Ordnung, Kombinationen?
    (Verlauf des Merkmals im Laufe der Zeit)
  • Zeitreihenanalyse –> Regressionsanalyse mit vergangen Messwerten als Prädiktoren (wichtig: Entfernung serieller Abhängig (Prewhitening) vor der Anwendung statistischer Tests)
26
Q

Beispielstudie zur Veränderungsevaluation von Sargent er al. 2012

A

Hintergrund: Erlassung der Gesetze zur teilweisen Einschränkung des Rauchens im öffentlichen Bereich und im Gastgewerbe (zwischen August 2007 - Juli 2008)
—> Effekt auf koronare Herzerkrankungen

Methode: Vorher-Nachher-Studie & Trendanalyse
- Versicherungskohorte von 3,7 Mio. Personen ab 30 Jahren
- Ergebnismaße: Krankenhauseinweisungsraten, Krankenhauskosten
—> Prognose beider Variablen unter fehlenden Effekt der Gesetze (durch ermittelten Trend) und Vergleich der tatsächlichen Messung mit der Prognose => mutmaßlicher Effekt des Gesetzes auf die abhängige Variable

Ergebnis: Unter Annahme, dass das Gesetz den beobachteten Rückgang verursacht hat, konnten im Jahr nach der Umsetzung des Gesetzes 1880 Krankenhauseinweisungen vermieden und 7,7 Mio. Euro an Kosten gespart werden.

27
Q

Arten der Veränderungsmessung (direkte vs. indirekte)

A

Direkte Veränderungsmessung = Erfassung der Veränderung in einer Messung
- z.B., Befragung
- Mögliche Verzerrungen: Konfirmationsbias, selektive Informationsverarbeitung, Assimilation/Kontrast

Indirekt Veränderungsmessung = zwei Messungen und Differenzbildung
- z.B., Zustandsevaluationen und Differenzbildung
- Mögliche Verzerrungen (vgl. Probleme bei Messwiederholung): Erinnerungseffekte, Übungseffekte, Sensibilisierung

28
Q

Moderatorvariablen (bei der Veränderungsevaluation)

A

Ist eine Veränderungsanalyse generalisierbar? —> Überprüfen auf mögliche Moderatoren

Mögliche Moderatoren:
- Subgruppen (alt/jung, Gymnasium/Gesamtschule)
- Kontextbedingungen (Raum-zeitlich, Organisation, gesellschaftlich)

29
Q

Wie sind „Wirkung“, „Wirksamkeit“ und „Wirkmodell“ jeweils definiert?

A

Wirkung = Ergebnis einer Ursache
Wirksamkeit = Ausmaß des Erfolgs (—> Fähigkeit eine bestimmte Wirkung hervorzubringen)
Wirkmodell = zu prüfende Theorie/Hypothese über Wirkmechanismus

30
Q

Gründe für Ausbleiben von Wirkung/Wirksamkeit

A

Grundlagenebene — Theorie ist unzutreffend/unpräzise (z.B., werden wichtige Randbedingungen nicht berücksichtigt)

Technologische Ebene — Theorie stimmt, aber Übertragung auf Intervention nicht zulässig (z.B., bei konstanten, nicht beeinflussbaren Variablen)

Implementationsebene — Theorie stimmt, aber die Umsetzung der Intervention (konkrete Realisierung der theoretischen Variablen) war fehlerhaft

Evaluationsebene — es kam zu Fehlern bei Wirkungsprüfung (z.B., Messfehler, Design)

31
Q

Persistenz & Transfer (Wirksamkeitsevaluation)

A

Persistenz = Beständigkeit der Wirkung der Maßnahme

  • Wirkung hält nach Abschluss der Maßnahme an
  • Wiederholung der Post-Messung in Follow-up-Messungen
  • Mögliche Ergebnisse: stabil, Verlust, Gewinn

Transfer = Generalisierbarkeit der Wirkung der Maßnahme

  • Wirkung reicht über den Gegenstandsbereich der Maßnahme hinaus
  • Wirkung tritt auch im Alltag (außerhalb der Maßnahme) auf
  • Anforderungstransfer = Generalisierbarkeit der Wirkung auf andere Anforderungen (z.B., R-Computerkurs führt zu Verbesserung in Statistikfähigkeiten)
  • Situationstransfer = Generalisierbarkeit der Wirkung auf andere Kontexte/Situationen (z.B., Training als Mediator verbessert private soziale Interaktionen)
32
Q

Definition – Haupt-, Neben-, Folge-, Brutto- und Nettowirkung

A

Hauptwirkung = intendierte, maßnahmenspezifische Wirkung laut Wirkmodell

Nebenwirkung = nicht intendierte Wirkung, die gleichzeitig auftritt (positiv -> die Hauptwirkung stärkend // negativ -> die Hauptwirkung schwächend)

Folgewirkung = nicht intendierte Wirkung, die später auftritt

Bruttowirkung = Summe aller Wirkungen (= Hauptwirkung + Nebenwirkung + Folgewirkung + Maßnahmenunspezifische Effekte (evtl. intendierte, aber nicht maßnahmenspezifische Effekte) + externe Effekte (konfundierte Variablen))

Nettowirkung = Hauptwirkung + Nebenwirkung + Folgewirkung

33
Q

Zusammenfassung - Funktion der Evaluationsforschung

A
  • dient Handlungsoptimierung in komplexen Situationen
  • liefert Beitrag zum Entscheidungsprozess bzgl. Auswahl von Verhaltensalternativen

Eine generelle, ideale Handlungsalternative ist oft nicht existent oder nicht identifizierbar. –> Suche nach optimaler Handlungsalternative für den konkreten Fall

34
Q

Was versteht man unter Metaevaluation?

A

Im engeren Sinne: Evaluation einer Evaluation –> Bewertung der Qualität einer Evaluationsstudie

Im weiteren Sinne: Integration von Evaluationen –> Metaanalyse von Evaluationsstudien zu einem Gegenstand (Kommen alle Studien zu gleichen Schlussfolgerung? Wie kann die wahre Effektgröße am besten geschätzt werden?)

35
Q

Was versteht man unter Metaevaluation?

A

Im engeren Sinne: Evaluation einer Evaluation –> Bewertung der Qualität einer Evaluationsstudie

Im weiteren Sinne: Integration von Evaluationen –> Metaanalyse von Evaluationsstudien zu einem Gegenstand (Kommen alle Studien zur gleichen Schlussfolgerung? Wie kann die wahre Effektgröße am besten geschätzt werden?)

36
Q

Ansätze der Evaluationsforschung

A

Ergebnisorientierte Ansätze
- Wirksamkeitsorientierte Ansätze (Vier Formen der Asymmetrie von Wittmann, 1990)
- Effizienzorientierte Ansätze

Systemische Ansätze
- z.B., CIPP-Modell von Stufflebeam, 1971 als Evaluationsmodell

Theorieorientierte Ansätze
- Theoriegeleitete Ansätze
- Realistische/Praxisorientierte Ansätze

Akteursorientierte Ansätze
- Klientenorientierte Ansätze
- Stakeholderorientierte Ansätze

37
Q

Entscheidungskriterien zur Wahl eines Evaluationsmodells

A

(1) Funktion der Evaluation (Zustand, Veränderung, Wirksamkeit)
(2) Ziele und Bewertungskriterien der Beteiligten
(3) Evaluationsebenen (Reaktion, Lernen, Verhalten, Ergebnisse)
(4) Welche Arten von Daten (Kontext, Input, Prozess, Produkt)?
(5) Zeile der Programmtheorie explizit?
(6) Welche Ressourcen?

38
Q

Wittmann - 5-Datenbox-Konzeption

A

5 Datenboxen für evidenzbasierte Interventionen: Alle Boxen sind als Cattell’sche Kovarianz-Boxen dargestellt und umfassen die Dimensionen Personen, Variablen und Messzeitpunkte. Die Datenboxen sind auf einer Zeitachse angeordnet, die dem Ablauf eines Evaluationsprozesses entspricht.

  • PR-Box = predictor box (vor Intervention)
    – Ausgangslage vor der Implementierung; Ausprägung der später als Kriterien verwendeten Variablen (Bedürfnisse der Betroffenen); ggf. Prädiktoren für die Wirksamkeit einer Maßnahme
  • ETR-Box = experimental treatment box (während)
    – beinhaltet eine experimentelle Evaluation zwecks Bewertung der Maßnahme
  • NTR-Box = non-experimental treatment box (während)
    – versteht Evaluation als nicht-experimentellen Bewertungsprozess in Form von Quasi-Experimenten, korrelativen Messungen, Meinungsurteilen
  • CR-Box = criterion box (nach Intervention, summativ)
    – enthält alle Kriterienmaße, die zur Evaluation der festgelegten Ziele dienen und deren zeitlichen Verlauf erfasst an Personen, Gruppen oder Institutionen
  • EVA-box = evaluator box (Stakeholder-Interessen)
    – Rahmenbedingungen für die Evaluaton, Ziele & Interessen der Stakeholder, Ressourcen
39
Q

Wittmann - Zwei Pfade

A

Nordwest-Pfad (über ETR-Box): Interne Validität steht im Vordergrund; Reformen als Experimente; kausale Aussagen möglich
–> Efficacy = Wirksamkeit unter Idealbedingungen
–> Quasiexperimente (geplante, randomisierte Zuweisung; aktive UV-Manipulation)
–> Hauptvertreter: Donald T. Campbell

Südwest-Pfad (über NTR-Box): Externe/ökologische Validität im Vordergrund; Evaluation soll möglichst den realen Bedingungen der Intervention entsprechen; Generalisierbarkeit
–> Effectiveness = Wirksamkeit unter Alltagsbedingungen
–> Korrelationsstudien (keine geplante, randomisierte Zuweisung; keine aktive UV-Manipulation; Möglichkeit zur Generalsierung)
–> Hauptvertreter: Lee J. Cronbach

40
Q

Linsenmodell nach Brunswick (1943)

A

Rahmenkonzeption zur Analyse des menschlichen Urteilsverhaltens

Grundprinzip: Theoretischer Ansatz, der skizziert, wie wir in einer probabilistischen Welt aus unseren Beobachtungen Schlüsse ziehen. Auf der linken Seite der Linse stehen distale Zustände der Welt (“e”), die über proximale Hinweisreize (“cues”; Linse), erfahrungsbezogener Gewichtung sowie momentanem subjektivem Eindruck im kognitiven System zu einem Urteil (“s”; rechts) zusammenfließen.
–> Die Urteilsgenauigkeit wird gemessen als die Korrelation r(Ye, Ys)

41
Q

Anwendung des Linsenmodells nach Brunswick in der Evaluationsforschung für Symmetrie zwischen zwei beliebigen Datenboxen

A

Zwischen PR und CR bei Wirksamkeitsevaluation und zwischen ETR und CR bei Programmevaluation.

Symmetrie zwischen Ausgangslage, Intervention und Kriterienbereich ist eine unverzichtbare Grundlage der Evaluation. Zwei beliebige Datenboxen können über die Linsengleichung auf ihren Zusammenhang überprüft werden (r(true) zwischen zwei spiegelsymmetrischen Elementen im Linsenmodells (gleiche Position im Hierarchiemodell) sollte 1 sein; z.B., r(PR6, CR6)).

Linsengleichung:
r(PR,CR) = G(PR,CR) * Wurzel aus (r(PR)*r(CR)) * R(PR) * R (CR) * S + e

r(PR,CR) = beobachtete/interessierende Effektgröße (Korrelation zwischen PR und CR)
G(PR,CR) = wahre Effektgröße (wahre Korrelation zwischen zwischen PR und CR)
r = psychometrische Reliabilität von PR und CR (r<1 –> Mangel an Zuverlässigkeit) –> 2 Gefahren der Unterschätzung
R = Konstruktreliabilität von PR und CR (R<1 –> Mangel an Symmetrie) –> 2 Gefahren der Unterschätzung
S = Selektionseffekte (Stichprobenstreuung > Populationsstreuung -> 1 Gefahr der Überschätzung // Stichprobenstreuung < Populationsstreuung -> 1 Gefahr der Unterschätzung)
e = Stichprobenfehler (positiver Fehler –> 1 Gefahr der Überschätzung // negativer Fehler –> 1 Gefahr der Unterschätzung)

Insg. 6 Gefahren der Unterschätzung und 2 Gefahren der Überschätzung

Alle Datenboxen können in ihrem Zusammenhang untereinander mit dieser Gleichung analysiert werden. Die unterschiedlichen Korrelationskoeffizienten des Zusammenhangs zur Kriterienbox stellen Varianten von Effektgrößemaßen dar, die in Metaanalysen verwendet werden.
–> Durch die Anwendung der Linsengleichung kann der Symmetrie zwischen den Daten boxen analysiert werden.

42
Q

Welche Bereiche decken die DeGEval-Standards ab?

A

= Evaluationsstandards der Deutschen Gesellschaft für Evaluation

  • Nützlichkeit
  • Durchführbarkeit
  • Fairness
  • Genauigkeit
43
Q

DeGEval-Nützlichkeitsstandards

A

= Standards zur Ausrichtung an geklärten Evaluationszwecken sowie am Informationsbedarf der Nutzer*innen

  • Identifizierung der Beteiligten & Betroffenen
  • Klärung der Evaluationszwecke
  • Glaubwürdigkeit und Kompetenz der Evaluator*innen
  • Auswahl und Umfang der Informationen (-> Fragestellung & Informationsbedarf des Auftraggebers)
  • Transparenz von Werten
  • Vollständigkeit und Klarheit der Berichterstattung
  • Rechtzeitigkeit der Evaluation
  • Nutzung und Nutzen der Evaluation
44
Q

DeGEval-Durchführbarkeitsstandards

A

= Standards zur Sicherstellung einer realistischen, gut durchdachten, diplomatischen und kostenbewussten Planung und Durchführung

  • Angemessene Verfahren (Belastung zu Nutzen Verhältnis)
  • Diplomatisches Vorgehen (hohe Akzeptanz)
  • Effizienz von Evaluation (Aufwand zu Nutzen Verhältnis)
45
Q

DeGEval-Fairnessstandards

A

= Standards zum respektvollen und fairen Umgang mit den betroffenen Personen(-gruppen)

  • Formale Vereinbarungen
  • Schutz individueller Rechte (Sicherheit, Würde und Rechte)
  • Vollständige und faire Überprüfung (des Evaluationsgegenstands)
  • Unparteiische Durchführung und Berichterstattung
  • Offenlegung der Ergebnisse
46
Q

DeGEval-Genauigkeitsstandards

A

= Standards zur Er-/Vermittlung gültiger Informationen und Ergebnisse zu Evaluationsgegenstand/-fragestellungen

  • Beschreibung des Evaluationsgegenstands
  • Kontextanalyse
  • Beschreibung von Zwecken und Vorgehen
  • Angabe von Informationsquellen
  • Valide und reliable Informationen (Zuverlässigkeit und Gültigkeit der Daten; Gütekriterien quantitativer und qualitativer Sozialforschung)
  • Systematische Fehlerprüfung
  • Analyse qualitativer und quantitativer Informationen
  • Begründete Schlussfolgerungen
  • Metaevaluation