7 nichtexperimentelle Evaluationsdesigns Flashcards
Welche nichtexperimentellen Evaluationsdesigns gibt es?
Eingruppen-Designs:
- Nachtest-Design
- Vortest-Nachtest-Design
Welche Fragen können durch Eingruppendeeigns generell NICHT beantwortet werden?
EIN ZEITPUNKT:
- keine Erfassung der progressiven Verbesserung möglich
- keine Kausalattribution möglich (Veränderung auf Programm rückführbar?)
ZWEI ZEITPUNKTE:
- Keine Kausalattributionen möglich („interne Validität“)
» Vorgehen: Eliminierung von Alternativhypothesen, bis nur Programm als Erklärung übrig bleibt
Was kann das Nachtest- und das Vortest-Nachtest-Design beantworten?
NUR XO
- Wie gut ist die Leistung der Teilnehmer am Ende des Programms?
- Werden die Minimalstandards (bzgl Level der Kriteriumsvariable) erreicht?
OXO
zusätzlich:
- Wie sehr verändern sich die Teilnehmer während des Programms
Nenne 7 Störfaktoren der internen Validität.
- Reifung
- Historie
- Selektion
- Mortalität
- Regression zur Mitte
- Testeffekte
- Instrumentation
Was ist Reifung?
Wie kann man es umgehen?
intrapersonale Veränderungen der Probanden im Laufe der Zeit
» Vergleich mit anderen Gruppen
» längerer Testzeitraum
Was ist Historie?
Wie kann man es umgehen?
spezifische Ereignisse zwischen dem Vor- und Nachtest, welche einen Einfluss auf die Probanden ausüben
» Vergleich mit anderen Gruppen
» mehrere Zeitpunkte
Was ist Selektion?
Wie kann man es umgehen?
Probandenzusammen- setzung entspricht nicht der Zusammensetzung der Zielgruppe
» Vortest zur Messung
der interessierenden Variable vor der Intervention um Aussagen über das Ausmaß der Selektion und der Veränderung zu ermöglichen
Was ist Mortalität?
Wie kann man es umgehen?
Ausfall von Probanden im Nachtest
|»_space; Vortest-Nachtest-Design zur Messung der Anzahl der Ausfälle
Was ist Regression zur Mitte?
Wie kann man es umgehen?
Auf „extremen“ Testwert - folgt näher an der Mitte liegender Testwert (einer
der größten Störfaktoren für interne Validität)
» Wahl einer repräsentativen Stichprobe
» Vortest-Nachtest-Design
Was ist Testeffekte?
Wie kann man es umgehen?
- Testsituation an sich bewirkt Änderung des Verhaltens
- gesteigerte Vertrautheit bei zweiter Testung
- Reaktivität der Teilnehmer
» aktives Betrachten
Was ist Instrumentation?
Wie kann man es umgehen?
Erfahrung(en) des Testleiters gehen mit verändertem Instrumentationsverhalten einher (Testleiter wird vertrauter mit dem
Messverfahren)
» Testleiter vor Durchführung mit Test vertraut machen
» objektive Messverfahren
» Pre- und Posttest erst am Ende von verblindeten Auswertern auswerten lassen
Interne Validität
Bei einem intern validen Experiment sind Veränderungen der abhängigen Variablen eindeutig auf Variationen der unabhängigen Variablen zurückführbar. Folglich lässt ein solches Experiment eine kausale Interpretation zu, bei der die unabhängige Variable (Ursache) für Veränderungen der abhängigen Variablen (Wirkung) verantwortlich ist.
Zum Beispiel läge interne Validität vor, wenn sich der Anstieg mathematischer Kompetenzen eindeutig auf ein bestimmtes Trainingsprogramm zurückführen ließe und nicht auf das höhere Engagement des Lehrers in der Trainingsgruppe im Vergleich zur Kontrollgruppe.
Externe Validität
Die Ergebnisse eines extern validen Experiments sind dadurch charakterisiert, dass diese auf andere Kontexte (andere experimentelle Variablenoperationalisierungen, Situationen und Personengruppen) generalisiert werden können. Beispielsweise könnte die externe Validität eingeschränkt sein, wenn die Ergebnisse eines entwicklungspsychologischen Trainingsexperiments nur auf bayrische Gymnasialschülerinnen der sechsten Klasse, die ein Jahr verspätet eingeschult wurden, verallgemeinert werden können.
Konstruktvalidität
Ein konstruktvalider Test misst alle Facetten des theoretischen Konstrukts, die durch den Test erfasst werden sollen.
Konvergente (Konstruktvalidität)
Die konvergente Validität stellt die Korrelation zwischen verschiedenen Tests dar, die dasselbe Konstrukt messen. Die ermittelten Korrelationen sollten bei einem validen Test möglichst hoch ausfallen.
