Evaluationsforschung 2 Flashcards
Was sind die drei verschiedene Zielsetzungen und ihre Eigenschaften?
1) Zustandsevaluation
- 1 Messzeitpunkt
- Ziel: Zustandsbeschreibung
- Kriterien: Vergleich mit Kriterium (Vergleich von Ist und Soll)
2) Veränderungsevaluation
- 2 Messzeitpunkte
- Ziel: Beschreibung und Bewertung der Veränderung
3) Wirksamkeitsevaluation
- 2 Messzeitpunkte
- Ziel: Prüfung auf Veränderung
Datenbox-Konzeption nach Cattell
Was ist die Zustandsevaluation?
Die Evaluation von jetzigen Zustand eines Programms oder Subjekt, bevor eine Intervention durchgeführt wird und auf deren Basis die Intervention gestaltet wird.
- Kennwerte zur Beschreibung von Ist-Zustand 1/2
- Arten von Vergleichskriterien
- Bedeutsamkeit
Was sind Kennwerte zur Beschreibung der Ist-Zustand 1?
Ist-Zustand: Wie der Zustand ist jetzt, in diesem Moment bei der Baseline vor der Intervention
1) Gruppenvariablen = Variablen, die nur auf die Gruppe sinnvoll anwendbar sind: Häufigkeitsindikatoren (Gruppengröße usw.) und Eigenschaften der Gruppe (Gruppenleiter, Aufgabe usw.)
2) Personenvariablen = Variablen, die nur auf die Person sinnvoll anwendbar sind: psychologische Variablen (Variablen, die sich auf intrapersonale Prozesse beziehen, Leistung, Zufriedenheit usw.)
3) Aggregiert Personenvariablen = Personenvariablen, die auf Gruppenebene aggregiert wurden: Einzelne Werte beschreiben einzelne Personen - aggregierter Wert kann Gruppe charakterisieren (Problem: Aggregation nicht linearer Funktionen)
Was sind Kennwerte zur Beschreibung der Ist-Zustand 2?
4) Prävalenz = Anzahl von Personen mit positiver Diagnose (aktuell bestehende Fälle) (Anzahl aller als arbeitslos/depressiv Personen)
5) Lebenszeitprävalenz = Anzahl von Personen, die im Leben (mind. einmal) positiv diagnostiziert werden (Personen, die jemals in ihrem Leben als arbeitslos/depressiv waren)
6) Inzidenz = Anzahl neu hinzukommender Fälle (neu auftretende Fälle in einem Jahr) (Personen, die im letzten Jahr neu als arbeitslos/depressiv gemeldet wurden)
Was sind Arten von Vergleichskriterien bei Zustandsevaluation? Vergleich der aktuellen Zustand mit Normen
Das Ziel der Zustandsevaluation ist Bewertung
1) Normativer Vergleich = Vergleich mit vorher festgelegtem Kriterium
- Vergleich mit Ideal- oder Kriterialnorm: Vergleich mit festgelegtem Kriterium
- Vergleich mit Realnorm: Vergleich mit Durchschnittswert, der eine normale Situation repräsentiert
2) Empirischer Vergleich = Vergleich zweier unterschiedlicher Ist-Zustände
- Sozialer Vergleich: Vergleich mit anderen Personen/Gruppen
- Temporaler Vergleich: Vergleich mit derselben Person7Gruppe zu anderem Zeitpunkt
Was ist die Bedeutsamkeit der Zustandsevaluation?
1) Statistische Bedeutsamkeit
- Im Einzelfall: Normvergleich, Prozentränge: Person x hat einen überdurchschnittlichen IQ von 120
- Auf Gruppenebene: statistischer Test für Gruppenvergleiche: Verfahren zum Vergleich Stichprobe und Population
2) Praktische Bedeutsamkeit
- Effektgröße: Von Stichprobengröße unabhängiger Kennwert
- Interpretation: Von Objekt, Kriterium, Ziel abhängige Einordnung und Deutung
Was ist die Veränderungsevaluation?
Untersucht die Veränderungen der Variablen als Folge von der Intervention/Programm. Der Fokus liegt im Vergleich zwischen vorher und nachher –> Die Richtung und Ausmaß der Veränderung wird quantifiziert. Hat die Intervention ihr Ziel erreicht?
- Beschreibung von Veränderungen
- Arten der Veränderungsmessung
- Moderatorvariablen
Was für Veränderungen gibt es bei der Veränderungsevaluation? (5 Punkte)
1) Differenzen auf Einzelfallebene: Normvergleich, Prozentränge, Standardisierung der Differenz
2) Differenzen auf Gruppenebene
- Intraindividuelle Veränderung: individuelle Differenzen berechnen und mitteln (abhängige Stichproben)
- Interindividuelle Veränderung: Vorher- und Nachher-Werte mitteln und mittlere Differenz berechnen (unabhängige Stichproben)
- Statistische Tests für Gruppenvergleiche: t-Tests, ANOVAs
3) Häufigkeitsaussagen auf Populationsebene
- Beispiel: Veränderung in Inzidenz? –> Veränderungsquotient
4) Trendanalyse
- Regressionsanalyse mit mehreren Messzeitpunkten als Prädiktoren
5) Zeitreihenanalyse
- Regressionsanalyse mit vergangenen Messwerten als Prädiktoren
- Zeitreihe = Daten mit mehreren Messwiederholungen (abhängig)
- Problem: Autokorrelationen
Welche Arten der Veränderungsmessung gibt es?
1) Direkte Veränderungsmessung = Erfassung der Veränderung in einer Messung (z.B. Fragebögen, Interviews, Beobachtungen)
- Mögliche Verzerrungen (Konfirmationsbias, selektive Informationsverarbeitung, Assimilation)
2) Indirekte Veränderungsmessung = Differenz zwischen zwei Messungen, vorher und nachher (z.B. Zustandsevaluationen und Differenzbildung)
- Mögliche Verzerrungen (vgl. Probleme bei Messwiederholung) (Erinnerungseffekte, Übungseffekte, Sensibilisierung)
Was sind Moderatorvariablen bei Veränderungsevaluation?
Das Ziel der Veränderungsevaluation ist die Veränderung zu beschreiben. Kann aber die Veränderungsanalyse generalisiert werden?
- Die Moderatoren können die Variablen modifizieren und beeinflussen/verzerren
- Moderatoren können die Subgruppen (alt vs jung, Management vs Produktion) oder Kontextbedingungen sein (raum-zeitlich, Organisation)
Beispiel: Messungen der Leistungen in Mathe und Deutsch bei Jungen und Mädchen
Was ist die Wirksamkeitsevaluation?
Der Fokus hier liegt auf die allgemeine Effektivität/Wirksamkeit der Intervention. Beschränkt sich nicht nur mit Vergleich zwischen vorher und nachher, sondern schaut, ob es Veränderungen in einzelnen Variablen gibt, holistische Effekte werden geschaut. Im Gegensatz zur Veränderungsevaluation, sind hier die Signifikanz, Nachhaltigkeit, unerwünschte Effekte und Gesamtwert der Intervention wichtig
- Wirkung und Wirksamkeit
- Persistenz und Transfer
- Arten von Wirkungen
Wirkung und Wirksamkeit bei Wirksamkeitsevaluation?
1) Wirkung - Ergebnis einer Ursache
- Bezieht sich auf Ergebnis
- Für jede Wirkung gibt es eine Ursache, aber die Ursache muss nicht bekannt sein
2) Wirksamkeit = Ausmaß des Erfolgs
- Bezieht sich auf die Methode
- Die Fähigkeit, eine bestimmte Wirkung hervorzubringen
- Mit welcher Wahrscheinlichkeit kausal eine vorab definierte Veränderung erreicht werden kann
3) Wirkmodell = zu prüfende Theorie/Hypothese über Wirkmechanismus
- Beschreibung der Prozesse
- Theoretische Begründung
- Spezifikation relevanter Randbedingungen
Was sind Gründe dafür, warum keine Wirkung/Wirksamkeit auftritt? (4 Punkte)
1) Grundlagenebene
- Theorie ist unzutreffend (z.B. werden wichtige Randbedingungen nicht berücksichtigt)
2) Technologische Ebene
- Theorie stimmt, aber Übertragung auf Intervention nicht zulässig (z.B. nicht beeinflussbaren Variablen)
3) Implementationsebene
- Theorie stimmt, aber die Umsetzung der Intervention (konkrete Realisierung der theoretischen Variablen) war fehlerhaft
4) Evaluationsebene
- Es kam zu Fehlern bei Wirkungsprüfung (z.B. Messfehler, Design)
Was sind Persistenz und Transfer bei Wirkungsevaluation?
1) Persistenz = Dauerhaftigkeit der Wirkung der Maßnahme
- Wirkung hält nach Abschluss der Maßnahme an
- Wiederholung der Post-Messung in Follow-up-Messungen: Mögliche Ergebnisse - Stabil, Verlust (z.B. Gedächtnis) oder Gewinn
2) Transfer = Generalisierbarkeit der Wirkung der Maßnahme
- Wirkung reicht über den Gegenstandsbereich der Maßnahme hinaus
- Wirkung tritt auch im Alltag (außerhalb der Maßnahme) auf
2.1 Anforderungstransfer = Generalisierbarkeit der Wirkung auf andere Anforderungen
- Beispiel: R-Computerkurs führt zu Verbesserung in Statistikfähigkeiten
2.2 Situationstransfer = Generalisierbarkeit der Wirkung auf andere Kontexte/Situationen
- Beispiel: Training als Mediator verbessert private soziale Interaktionen
