7 nichtexperimentelle Evaluationsdesigns Flashcards
Welche nichtexperimentellen Evaluationsdesigns gibt es?
Eingruppen-Designs:
- Nachtest-Design
- Vortest-Nachtest-Design
Welche Fragen können durch Eingruppendeeigns generell NICHT beantwortet werden?
EIN ZEITPUNKT:
- keine Erfassung der progressiven Verbesserung möglich
- keine Kausalattribution möglich (Veränderung auf Programm rückführbar?)
ZWEI ZEITPUNKTE:
- Keine Kausalattributionen möglich („interne Validität“)
» Vorgehen: Eliminierung von Alternativhypothesen, bis nur Programm als Erklärung übrig bleibt
Was kann das Nachtest- und das Vortest-Nachtest-Design beantworten?
NUR XO
- Wie gut ist die Leistung der Teilnehmer am Ende des Programms?
- Werden die Minimalstandards (bzgl Level der Kriteriumsvariable) erreicht?
OXO
zusätzlich:
- Wie sehr verändern sich die Teilnehmer während des Programms
Nenne 7 Störfaktoren der internen Validität.
- Reifung
- Historie
- Selektion
- Mortalität
- Regression zur Mitte
- Testeffekte
- Instrumentation
Was ist Reifung?
Wie kann man es umgehen?
intrapersonale Veränderungen der Probanden im Laufe der Zeit
» Vergleich mit anderen Gruppen
» längerer Testzeitraum
Was ist Historie?
Wie kann man es umgehen?
spezifische Ereignisse zwischen dem Vor- und Nachtest, welche einen Einfluss auf die Probanden ausüben
» Vergleich mit anderen Gruppen
» mehrere Zeitpunkte
Was ist Selektion?
Wie kann man es umgehen?
Probandenzusammen- setzung entspricht nicht der Zusammensetzung der Zielgruppe
» Vortest zur Messung
der interessierenden Variable vor der Intervention um Aussagen über das Ausmaß der Selektion und der Veränderung zu ermöglichen
Was ist Mortalität?
Wie kann man es umgehen?
Ausfall von Probanden im Nachtest
|»_space; Vortest-Nachtest-Design zur Messung der Anzahl der Ausfälle
Was ist Regression zur Mitte?
Wie kann man es umgehen?
Auf „extremen“ Testwert - folgt näher an der Mitte liegender Testwert (einer
der größten Störfaktoren für interne Validität)
» Wahl einer repräsentativen Stichprobe
» Vortest-Nachtest-Design
Was ist Testeffekte?
Wie kann man es umgehen?
- Testsituation an sich bewirkt Änderung des Verhaltens
- gesteigerte Vertrautheit bei zweiter Testung
- Reaktivität der Teilnehmer
» aktives Betrachten
Was ist Instrumentation?
Wie kann man es umgehen?
Erfahrung(en) des Testleiters gehen mit verändertem Instrumentationsverhalten einher (Testleiter wird vertrauter mit dem
Messverfahren)
» Testleiter vor Durchführung mit Test vertraut machen
» objektive Messverfahren
» Pre- und Posttest erst am Ende von verblindeten Auswertern auswerten lassen
Interne Validität
Bei einem intern validen Experiment sind Veränderungen der abhängigen Variablen eindeutig auf Variationen der unabhängigen Variablen zurückführbar. Folglich lässt ein solches Experiment eine kausale Interpretation zu, bei der die unabhängige Variable (Ursache) für Veränderungen der abhängigen Variablen (Wirkung) verantwortlich ist.
Zum Beispiel läge interne Validität vor, wenn sich der Anstieg mathematischer Kompetenzen eindeutig auf ein bestimmtes Trainingsprogramm zurückführen ließe und nicht auf das höhere Engagement des Lehrers in der Trainingsgruppe im Vergleich zur Kontrollgruppe.
Externe Validität
Die Ergebnisse eines extern validen Experiments sind dadurch charakterisiert, dass diese auf andere Kontexte (andere experimentelle Variablenoperationalisierungen, Situationen und Personengruppen) generalisiert werden können. Beispielsweise könnte die externe Validität eingeschränkt sein, wenn die Ergebnisse eines entwicklungspsychologischen Trainingsexperiments nur auf bayrische Gymnasialschülerinnen der sechsten Klasse, die ein Jahr verspätet eingeschult wurden, verallgemeinert werden können.
Konstruktvalidität
Ein konstruktvalider Test misst alle Facetten des theoretischen Konstrukts, die durch den Test erfasst werden sollen.
Konvergente (Konstruktvalidität)
Die konvergente Validität stellt die Korrelation zwischen verschiedenen Tests dar, die dasselbe Konstrukt messen. Die ermittelten Korrelationen sollten bei einem validen Test möglichst hoch ausfallen.
Diskriminante (Konstruktvalidität)
Die diskriminante Validität bezieht sich auf Korrelationen zwischen verschiedenen Tests, die verschiedene Konstrukte messen. Da es sich um unterschiedliche Konstrukte handelt, sollten diese nur gering oder gar nicht miteinander korrelieren.
Veränderungen, die bei der Konstruktvalidität unterschieden werden
(1) Alpha-Veränderung = wahre Veränderung der interessierenden Variable in ihrer Ausprägung von Vor- zu Nachtest.
(2) Beta-Veränderung = Veränderung des subjektiven Maßstabs für die Variable. Es ändert sich, wie Teilnehmer die Bedeutung einer Skala verstehen; subjektive “Rekalibrierung” der Messskala.
(3) Gamma-Veränderung = Rekonzeptualisierung der Bedeutung der interessierenden Variable. Das Konstrukt wird im Verlauf der Intervention subjektiv neu definiert.
surplus: Wozu kann ein Eingruppendesign mit nur einem Beobachtungszeitpunkt nützlich sein?
um einen Hinweis darauf zu erlangen, ob überhaupt weiter (und dann aufwändiger) evaluiert werden soll
oder ob die Leistung nach dem Programm so oder so nicht die Zielstandards trifft (Grad der Zielerreichung)
surplus: Wozu kann ein Eingruppendesign mit Pretest-Posttest immerhin nützlich sein?
um zu schauen, ob die Veränderung während des Programms in die geplante Richtung geht
- wenn nicht
- wenn keine Veränderung
- oder wenn Veränderung größenmäßig nicht signifikant
–> Interpretation: keine ausreichenden Veränderungen, es muss nicht weiterevaluiert werden (Grad der Veränderung)
Merke allerdings: WENN Veränderung signifikant, sagt das nichts darüber, ob sie vom Programm verursacht wurde!
surplus: Was ist ein Ansatz, um bei Eingruppendeeigns (Pretest-Posttest) herauszufinden, ob der Grad der Verbesserung zB mit der Anzahl der erhaltenen Sitzungen zusammenhängt?
Korrelation zwischen Verbesserung und Sitzungsanzahl reicht nicht, da die Sitzungsanzahl zB mit dem Ausgangsniveau (Pretest-Wert) korreliert sein könnte und dieses Ausgangsniveau einen Einfluss auf die mögliche Verbesserung haben könnte
Lösung zum “Herausbrechen” des Einflusses des Ausgangsniveaus:
REGRESSION ADJUSTMENT
Pretest in Regressionsgraden jeweils als Prädiktor für
a) Posttest
b) Sitzungsanzahl
benutzen und die beiden Fehler korrelieren
–> wenn positiv, ist die Sitzungsanzahl positiv mit der Veränderung korreliert
