Umgang mit Trainingsprogrammen Flashcards
Definiere Evaluation.
Jegliche Art der zielgerichteten und zweckorientierten Festsetzung des Wertes einer Sache
Nenne verschiedene Formen der Evaluation.
Global (Schulleistungen im Ländervergleich)
analytisch (einzelne spezifische Fördermaßnahmen)
- Evaluationsparadigmen
- Summative Evaluation (Produktevaluation)
- formative Evaluation (Prozessevaluation)
- interne E. (innerhalb einer Institution)
- externe Evaluation (mithilfe unabhängiger Dritter)
- Ranking (z.B. CHE-Hochschulranking, Forschungsrankings)
- wissenschaftliche Evaluation
Nenne und Erläutere Evaluationsparadigmen.
Isolierte Evaluation:
oft Überprüfung der allgemeinen Wirksamkeit zB eines Programmes (Wirksamkeitshypothese)
Vergleichende Evaluation:
Einzelmaßnahmen miteinander oder mit Maßnahmenkombination (Äquivalenzhypothese, Überlegenheitshypothese oder nicht- Überlegenheitshypothese)
Kombinierte Evaluation:
Einfluss auf Art und Anzahl der Kontroll- und Experimentalgruppen
Nenne und Erläutere die Phasen der Durchführung einer wissenschaftlichen Evaluation
- Entstehungszusammenhang: Planung
o Theoretischer und konzeptueller Überbau
o Kontext (Zielgruppe, Ort)
o Kontroll- und Vergleichsgruppen - Begründungszusammenhang: Hypothesen + methodisches Vorgehen
o Theoriebasierte Ableitung und Formulierung von Hypothesen über Kausalgefüge
o Leistungssteigerung und Transfer auf andere AVs prüfen
o Alternativerklärungen und diskriminante Trainingseffekte ausschließen
o Nachweis hinreichender Effektdauer
o Änderung der Testvalidität überprüfen - Verwertungszusammenhang: Interpretation von Befunden + Konsequenzen
o Interpretation von Ergebnissen
o Ziehen von Konsequenzen
Nenne und Erläutere die Umwelt- und kontextgebundene Aspekte einer Evaluation.
- Programme bzw. deren Evaluationen sind abhängig von Zielsetzung und dem jeweiligen (soziokulturellen) Kontext
- -> Einfluss auf Passung, Anwendbarkeit, Wirksamkeit und Validieren
- Auch Evaluationsergebnisse sind kontextgebunden
- -> zB wissenschaftliche Evaluation eines Programms unter kontrollierten/optimalen bzw. Bereits bekannten Bedingungen statt
- -> Im Evaluationsprozess treffen viele Interessengruppen aufeinander, die diesen beeinflussen können
- Trainer können unterschiedlich effektiv sein und den Erfolg des Trainings passiv als auch aktiv beeinflussen
- -> Wichtig: Dokumentations- und Instruktionsqualität
o Trainingseffekte variieren alters-, Ressourcen- und vorwissensabhängig
–> Zielgruppen-/Adressatenbezug (zB ATI-Effekte = Attitude-Treatment-Interaction)
Wie wird ein Trainingsprogramm bewertet?
- Objektivität
- Reliabilität
- Validität
- Effektivität/Wirksamkeit
=> Wichtig: Die Evaluation eines Programms ist nur so präzise wie ihre Methodik und ihr theoretisches Fundament!
Welche methodischen Probleme treten während einer Evaluation auf?
- Reifungs- und Entwicklungsprozesse
- Äquivalenzprobleme
- Stichprobenmortalität
- statistische Probleme durch fehlende Werte
- hierarchische Daten
Erkläre Reifungs- und Entwicklungsprozesse:
Veränderungen, die nicht auf die Intervention, sondern auf organismische oder umweltbedingte Effekte zurückzuführen sind (zB Übungseffekte, Reifung)
Wann treten Äquivalenzprobleme auf?
Mitglieder in Interventions- und Kontrollgruppen sind nicht äquivalent bezüglich Ausgangswerte auf Zielvariablen
- Randomisierung der Personen zur Kontrollgruppe und Interventionsgruppe (Pretest- Posttest- Follow- up- Design) nicht immer möglich → Ausgangsunterschiede und Störvariablen müssen konstant gehalten werden
Fehlerquellen:
- Diffusion u. Imitation der Intervention
- kompensatorischer Ausgleich der Intervention
- kompensatorische Anstrengung in der Kontrollgruppe
- negative Reaktion der Kontrollgruppe
Wann tritt Stichprobenmortalität auf?
Tritt auf, wenn die Teilnehmer im Pretest- Posttest- Follow- up- Design aus verschiedenen Gründen die weitere Teilnahme an der Maßnahme verweigern
Nenne 3 statistische Probleme durch fehlende Werte und stelle Lösungen für das Problem dar.
- sinkende Effizienz durch eingeschränkte Stichprobe
- erschwerter Umgang mit Daten, da statistische Standardverfahren vollständige Datenmatrizen benötigen
- Verzerrungen von Parameterschätzungen, da Unterschiede zwischen beobachteten und fehlenden Daten
Mögliche Lösungen des Problems:
- Ausschluss von Personen mit ungültigen Werten→ aber: fallweiser Ausschluss der Daten senkt Validität
- empfohlen: Verfahren zur Mehrfachschätzung fehlender Werte
Erkläre hierarchische Daten:
- Im schulischen Bereich werden meist ganze Klassen oder Schulen (sog. Klumpen) den Interventionsgruppen und Kontrollgruppen zugeordnet
- Ziehung von Klumpenstichproben führen zur Unterschätzung des Standardfehlers
- -> Folge: zu kleine Konfidenzintervalle für die geschätzten Parameter und Häufung möglicher Entscheidungsfehler bei inferenzstatistischer Verfahren
- Ausmaß der Unterschätzung des Standardfehlers ist abhängig von der Klumpengröße in der Stichprobe u. Homogenität der Klumpen
- -> je größer Klumpenstichprobe, umso größer Unterschätzung
- -> je größer Intraklassenkorrelation, desto stärker Verschätzung bei der Bestimmung des Standardfehlers
- Empfohlene Lösung: mehrebenenanalytische Verfahren → angemessene Schätzungen des Standardfehlers und Modellierung von Effekten auf Individual- und Clusterebene
Was wird bei Effektivität/Wirksamkeit untersucht?
- Spezifische und allgemeine Trainings
- Effektstärke (Trade-off zwischen Effektstärke und Effektbreite; Maße: MWunterschiede, Varianz; Einflussgröße: Stichprobengröße und Beschaffenheit)
- Effektdauer und Nachhaltigkeit u. U. abhängig von den zu erlernenden Kompetenzen
- Effekt-Transfer: nicht zu weit, sondern auf (theoriekonform) relevante Bereiche („Huckepack-Theorem“ nach Klauer, 2000: speziellere Strategie transferiert ggf. auf allgemeinere Strategien, aber nicht umgekehrt)
Was wird bei Validität untersucht?
- Konstruktvalidität
- -> leistungsrelevante Kompetenzen werden gesteigert
- Diskriminante Validität
- Konvergente und prädiktive Validität
- Testvalidität kann sich trainingsbedingt und aufgaben-/kontextabhängig ändern (je nach geforderter Kompetenz zum Messzeitpunkt bei z. B. finiten/automatisierbaren Aufgaben)
- Theoretisches Fundament
- Durchführbarkeit (Zielgruppe, Material, Aufwand…)
- Effizienz: Kosten-Nutzen-Analyse
Erkläre Objektivität + Reliabilität
Objektivität:
- Durchführung
- Dokumentation
- Instruktion
Reliabilität:
Kann je nach Methode durch Training beeinflusst werden
