3. EVALUATION

Question 1

Definiere den Begriff Evaluation!

Answer 1

Summe systematischer Untersuchungen, die empirische Informationen über den Wert eines Evaluationsgegenstandes bereitstellen
—> Bewertung zur Verbesserung oder Elimination von festgestellten Defiziten in einem Persönlichkeits-, Leistungs- oder Fähigkeitsbereich

Die erzielten Ergebnisse bzw. Schlussfolgerungen müssen nachvollziehbar auf empirisch gewonnenen qualitativen/ quantitativen Daten beruhen.

Question 2

Welche Formen von Evaluation unterscheidet man?

Answer 2

• Fremd- (externe) und Selbstevaluation (interne)
• summative und formative Evaluation
• vergleichende und anforderungsbezogene Evaluation (soziale oder kriteriale Norm)
• Zustands-, Veränderungs- und Wirksamkeitsevaluation

Question 3

Sie wollen die Wirksamkeit einer Intervention zur Förderung der Lesekompetenz bei Grundschulkindern überprüfen. Beschreiben Sie den Evaluationskreislauf nach Buhren (2007) anhand dieses Beispiels.

Answer 3

Entstehungszusammenhang:
- Festlegung eines Evaluationsbereichs (Lesekompetenz)

Begründungszusammenhang:
- Formulierung von Fragestellungen, Zielen (Verbesserung der Lesefähigkeit) und Erfolgskriterien (Leseflüssigkeit, -geschwindigkeit)
- Formulierung von Qualitätsindikatoren (bestimmte Messverfahren für Lesen) oder Entwicklung von Instrumenten (wenn es keine passenden Verfahren gibt)

• Durchführung der Intervention (an den Grundschulkindern) —> Sammeln/ Dokumentation von Daten

Verwertungszusammenhang:
- Auswertung und Interpretation der Daten
- Ableitung von Konsequenzen/ Maßnahmen, Realisierung der Umsetzung

—> neuen Evaluationsbereich festlegen

Question 4

Sie möchten ein neues Sprachfördertraining evaluieren. Was müssen Sie beachten, um den Standards der Evaluation der DeGEval gerecht zu werden?

Answer 4

• Nützlichkeit
• Durchführbarkeit, Machbarkeit
• Fairness, ethisches Vorgehen
• Genauigkeit

Question 5

Was versteht man unter dem Schläfer-Effekt und wie kann man ihn beim Evaluationsdesign berücksichtigen?

Answer 5

Schläfer-Effekt: Wirkung einer Intervention wird mit der Zeit stärker, obwohl die ursprüngliche Reaktion relativ schwach oder sogar negativ war.
—> erfolgreiche Intervention, aber mit verzögertem Effekt

Beim Evaluationsdesign reichen kurzfristige Messungen nicht aus, ein follow-up-Messzeitpunkt muss eingeplant werden.

Question 6

Nennen Sie die vier Klassen methodischer Probleme bei Evaluationen und erläutern Sie diese!

Answer 6

Wahl der Kontrollgruppe (Äquivalenzprobleme):
- häufig nur Berücksichtigung einer unbehandelten Kontrollgruppe —> Aber ist die evaluierte Maßnahme erfolgreicher als andere?
- randomisierte Gruppenzuweisung in realen Bedingungen oft schwierig (—> Unterschiede zwischen Kontroll- und Treatmentgruppe in den Ausgangswerten)
- Diffusion/ Imitation der Intervention (Mitglieder der Kontrollgruppe erfahren von der Intervention.)
- kompensatorischer Ausgleich der Intervention (In der Kontrollgruppe werden andere Fördermaßnahmen umgesetzt.)
- kompensatorische Anstrengung innerhalb der Kontrollgruppe
- negative Reaktion der Kontrollgruppe (keine Anstrengung aufgrund gefühlter Benachteiligung)

Reifungs-/ Entwicklungseffekte:
- In den Gruppen treten entwicklungsbedingte Veränderungen in der Zeitvariable auf, die dementsprechend nicht durch das Treatment hervorgerufen wurden und Interventionseffekte überlagern.
- „test wiseness“ durch wiederholte Messung

Stichprobenmortalität (Probleme fehlender Werte, weil Personen nicht mehr bereit oder in der Lage sind, teilzunehmen):
geringerer Power (Effizienzverlust) durch kleinere Stichprobe, erschwerter statistischer Umgang mit Daten, Gefahr verzerrter Parameterschätzungen

Hierarchische Daten:
In schulischen Settings werden typischerweise ganze Klassen erhoben. Bei Analysen muss diese Datenstruktur berücksichtigt werden:
Klumpenstichprobe (innerhalb der Klumpen Personen oft sehr ähnlich, zwischen den Klumpen sehr unterschiedlich) —> keine unabhängigen Beobachtungen —> Standardfehler wird unterschätzt.
Intraklassenkorrelation sollte möglichst niedrig sein.