3.) Überprüfung der Wirksamkeit von Trainings Flashcards
🎯 Lernziele
🎯 Ideen für versch Untersuchungsdesigns kennenlernen
🎯 optimale Untersuchungsdesigns identifizieren
.
🎯 Ideen für versch Untersuchungsdesigns kennenlernen
Experimentelle Designs: Grundbedingungen ☝️
Drei Grundbedingungen:
☝️ Bildung mindestens zweier experimenteller Gruppen
☝️ VPN werden experimentellen Gruppen nach Zufallsverfahren (Randomisierung) zugewiesen
☝️ unabhängige Variable wird vom Forscher „manipuliert”, d.h. vom Forscher präsentiert
- > experimentelles Design (Abb.)
- > experimentelles Design (m-Kategorien) (Abb.)
- > Vorher-Nachher-Messung (Abb.)
- > Vier-Gruppen-Versuchsplan (nach Solomon (Abb.)
Experimentelle Designs: Randomisierung 🎲
➡️ Randomisierung neutralisiert sämtliche, auch unbekannte Drittvariablen 🎲
🤷♀️ mögl Fehlerquellen d. Randomisierung ❌
❌ 🔺Hawthorne-Effekt/Reaktivität
(➡️ Blind-/Doppelblindversuche einsetzen)
❌ subj Bewertung des Zuteilungsergebnisses
(Demoralisierung der KG, Verlierer-Gewinner-Problem)
❌ Einschränkung d. Fehleranfälligkeit durch Matching, Gruppenmatching, paarweises Matching mögl
- > Kontrollgruppenanordnung mit Vor- und Nachuntersuchung
- > Kontrollgruppenanordnung mit nur einer Nachuntersuchung
- je innere + äußere Gültigkeit
.
🎯 optimale Untersuchungsdesigns identifizieren
☝️ Bedingungen für Praxistauglichkeit ☝️
☝️ Qualifikation zur Durchführung muss beschrieben sein
☝️ Qualifikation muss lehr- und lernbar sein.
☝️ detaillierte Beschreibung für lückenlose Durchführung
☝️ Risiko von Verfahrensfehlern sollte gering sein
☝️ Training als Chance
☝️ Adressengerechtes Material
☝️ Berücksichtigung der Lebenswelt
Praxistauglichkeit: CHECKLISTE ✔️
✔️ Sind die Ziele des Programms explizit beschrieben?
✔️ Wird der theoretische Bezug der zu trainierenden Fertigkeit oder Fähigkeit dargelegt (oder zumindest eine Definition)?
✔️ Gibt es eine Angabe, für wen das Programm geeignet ist?
✔️ Sind die Trainingsmethoden rational begründet?
✔️ Wurde die Wirksamkeit geprüft (Effektstärke, Nachhaltigkeit und Transfer)?
✔️ Ist mit unerwünschten Nebenwirkungen zu rechnen?
✔️ Sind die Materialien adressatengerecht?
✔️ Ist das Training klar strukturiert und übersichtlich?
✔️ Welche Rahmenbedingungen sind für eine erfolgreiche Trainingsdurchführung erforderlich?
✔️ Fühle ich mich als Traininer/in aufgrund der Programmbeschreibung in der Lage, das Training durchzuführen oder brauche ich die notwendige Qualifikation dazu?
.
📋 Advance Organizer
📋 Effekte + Validitätsaspekte 📋 experimentelle Designs 📋 Übungen zum experimentellen Design 📋 P-Lounge: Reflexion 📋 Bedingungen für die Praxistauglichkeit
.
❓ Welche Effekte gibt es?
🔺 Trainingseffekte 🏋️♀️
🏋️♀️ Transfer, der über die geübten Aufgaben hinausgehen
🏋️♀️ Nachhaltigkeit (🔺Follow-up)
🏋️♀️ differentielle Effekte (z.B. „🔺Matthäus-Effekt)
.
❓ Welche Effekte gibt es?
🔺 geplante Effekte 🧐
🧐 Das Training soll das halten, was es verspricht!
🧐 Förderung kann breit oder spezifisch angelegt sein.
.
❓ Welche Effekte gibt es?
🔺 Breite und Wirksamkeit ✔️
✔️ „… je breiter ein Programm angelegt ist, desto geringer sind die erreichbaren Wirkungen und umgekehrt“
(Klauer, 2001)
✔️ ABER, spezifische Programme können auch breite Effekte zeigen (s.o.)
.
❓ Welche Effekte gibt es?
🔺 diffuse Effekte 🥴
🥴Neuartigkeit und Attraktivität
🥴Zuwendung
🥴Erwartungen / Placebo
🥴 Spill over (⚪️Fairplayer)
.
❓ Welche Effekte gibt es?
🔺 unerwünschte Nebenwirkungen 🙉
🙉 Training als Strafarbeit
🙉 Langeweile
🙉 ungünstige Beziehungen zu Trainer:innen
🙉 Angst vor Versagen
.
Wirksamkeitsprüfung 🔎
➡️ Zwei Aspekte der Wirksamkeitsüberprüfung:
🔬 Untersuchung
▫️ Notwendigkeit von Kontrollgruppendesigns
🏋️♀️ Trainingseffekte 🏋️♀️
▫️ insb Nachhaltigkeit + Transfer sollten experimentell nachgewiesen werden
.
Validitätsaspekte der Wirksamkeitsprüfung
nach Cook + Campbell, 1979; Lösel + Nowack, 1987
➡️ Statistische Validität
➡️ Interne Validität i.e.S.
➡️ Konstruktvalidität
➡️ Externe Validität i.e.S.
➡️ Deskriptive Validität
🔺 Statistische Validität:
▫️ Sind die kausalen Schlüsse aus dem statistischen Material korrekt?
🔺 Interne Validität i.e.S.:
▫️ Hängen Treatment (UV) und Wirkung (AV) ursächlich miteinander zusammen?
🔺 Konstruktvalidität:
▫️ Sind die Ursachen (Treatment) und die Wirkungen (Effekte) gut operationalisiert?
🔺 Externe Validität i.e.S.:
▫️ Lassen sich die Befunde auf andere Kontexte, andere Personen und über die Zeit generalisieren?
🔺Deskriptive Validität:
▫️ Inwieweit werden relevante Informationen zur Planung, Durchführung und Auswertung der Studie sowie zur Beurteilung der genannten
Validitätsaspekte mitgeteilt?
.
🔺 Statistische Validität
▫️ Sind die kausalen Schlüsse aus dem statistischen Material korrekt?
.
🔺 Interne Validität i.e.S.:
▫️ Hängen Treatment (UV) + Wirkung (AV) ursächl mitein. zsm?
.
🔺 Konstruktvalidität
▫️ Sind die Ursachen (Treatment) und die Wirkungen (Effekte) gut operationalisiert?
.
🔺 Externe Validität i.e.S.
▫️ Lassen sich die Befunde auf andere Kontexte, andere Personen und über die Zeit generalisieren?
.
🔺 Deskriptive Validität
▫️ Inwieweit werden relevante Informationen zur Planung, Durchführung und Auswertung der Studie sowie zur Beurteilung der genannten Validitätsaspekte mitgeteilt?
.
Experimentelle Designs: Grundbedingungen ☝️
➡️ Drei Grundbedingungen ☝️
☝️ Bildung mind. zweier experimenteller Gruppen
☝️ VP werden experimentellen Gruppen nach Zufallsverfahren (Randomisierung) zugewiesen
☝️ unabhängige Variable wird vom Forscher „manipuliert”, d.h. vom Forscher präsentiert
—> Abb. Designs
.
Experimentelle Designs: Randomisierung 🎲
➡️ Randomisierung neutralisiert sämtliche, auch unbekannte Drittvariablen 🎲
🤷♀️ mögl Fehlerquellen d. Randomisierung ❌
❌ 🔺Hawthorne-Effekt/Reaktivität
(➡️ Blind-/Doppelblindversuche einsetzen)
❌ subj Bewertung des Zuteilungsergebnisses
(Demoralisierung der KG, Verlierer-Gewinner-Problem)
❌ Einschränkung d. Fehleranfälligkeit durch Matching, Gruppenmatching, paarweises Matching mögl
.
Kontrollgruppenanordnung mit Vor- u. Nachuntersuchung
—> Abb. + Tabelle
.
Kontrollgruppenanordnung mit nur einer Nachuntersuchung
—> Abb. + Tabelle
.
Viergruppenplan von Solomon
—> Abb. + Tabelle
.
🐯 Wie würden Sie die Wirksamkeit von „Till Tiger“ untersuchen?
▪️ Til Tiger richtet sich an ängstliche, sozial unsichere und schüchterne Kinder im Alter von fünf bis zehn Jahren und deren Eltern.
▪️ Vorgespräche mit Eltern und Kinder
▪️ zwei Einzel - u. neun Gruppenstunden
▪️ Auswertungsgespräche mit Kindern und Eltern
❓ Ist eine Kontrollgruppe ohne Training möglich?
❓ Ist eine randomisierte Zuordnung möglich? Ist eine Follow-Up-Untersuchung möglich?
❓ Kann ich Zielgrößen sicher erfassen?
❓ Kann ich Wirkmechanismen sicher erfassen?
⁉️ Alternativen?
.
👩❤️💋👨 Wie würden Sie die Wirksamkeit von „Mich und Dich verstehen“ untersuchen?
▪️ Das „Mich und Dich verstehen“ Programm ist ein Präventionsansatz zur Wahrnehmung von und zum Umgang mit Gefühlen.
▪️ Es ist am Besten, wenn die Epochen zusammenhängend vermittelt werden, d. h. drei Tage hintereinander je vier Stunden. Dann Pause von ca. 6-8 Wochen und dann die nächste Epoche usw.
❓ Ist eine Kontrollgruppe ohne Training möglich?
❓ Ist eine randomisierte Zuordnung möglich? Ist eine Follow-Up-Untersuchung möglich?
❓ Kann ich Zielgrößen sicher erfassen?
❓ Kann ich Wirkmechanismen sicher erfassen?
⁉️ Alternativen?
.
🤝 Wie würden Sie die Wirksamkeit von „Fairplayer“ untersuchen?
Zielgruppe
▪️ Schwerpunkt auf 7. - 9. Klasse
▪️ primär-präventives Programm: alle Klassenmitglieder
▪️ Lehrer:innen
Umfang des Programms
▪️ 2,5 Tage fairplayer.fortbildung
▪️ 15-17 Unterrichtsdoppelstunden (à 90 min.)
▪️ 2 Elternabende
▪️ 1 x Gruppensupervision
❓ Ist eine Kontrollgruppe ohne Training möglich?
❓ Ist eine randomisierte Zuordnung möglich?
❓ Ist eine Follow-Up-Untersuchung möglich?
❓ Kann ich Zielgrößen sicher erfassen?
❓ Kann ich Wirkmechanismen sicher erfassen?
⁉️ Alternativen?
.
👨👩👧 Wir würden Sie die Wirksamkeit von „PEKiP“ untersuchen?
🔺 Prager Eltern-Kind-Programm (PEKiP)
Zielgruppe
▪️ 1. Lebensjahr
▪️ primär-präventives Programm
▪️ Kinder + Eltern
Umfang des Programms
▪️ etwa 1 Jahr
▪️ wöchentlich
❓ Ist eine Kontrollgruppe ohne Training möglich?
❓ Ist eine randomisierte Zuordnung möglich?
❓ Ist eine Follow-Up-Untersuchung möglich?
❓ Kann ich Zielgrößen sicher erfassen?
❓ Kann ich Wirkmechanismen sicher erfassen?
⁉️ Alternativen?
.
Bitte besprechen Sie in Kleingruppen von 2-4 Personen die folgenden Fragen in der P-Lounge:
Was muss ich bei der Evaluation von Interventionen beachten?
Gibt es ein optimales Evaluationsdesign?
.
☝️ Bedingungen für Praxistauglichkeit
☝️ Qualifikation zur Durchführung muss beschrieben sein
☝️ Qualifikation muss lehr- und lernbar sein.
☝️ detaillierte Beschreibung für lückenlose Durchführung
☝️ Risiko von Verfahrensfehlern sollte gering sein
☝️ Training als Chance
☝️ Adressengerechtes Material
☝️ Berücksichtigung der Lebenswelt
.
Praxistauglichkeit: Checkliste ✔️
✔️ Sind die Ziele des Programms explizit beschrieben?
✔️ Wird der theoretische Bezug der zu trainierenden Fertigkeit oder Fähigkeit dargelegt (oder zumindest eine Definition)?
✔️ Gibt es eine Angabe, für wen das Programm geeignet ist?
✔️ Sind die Trainingsmethoden rational begründet?
✔️ Wurde die Wirksamkeit geprüft (Effektstärke, Nachhaltigkeit und Transfer)?
✔️ Ist mit unerwünschten Nebenwirkungen zu rechnen?
✔️ Sind die Materialien adressatengerecht?
✔️ Ist das Training klar strukturiert und übersichtlich?
✔️ Welche Rahmenbedingungen sind für eine erfolgreiche Trainingsdurchführung erforderlich?
✔️ Fühle ich mich als Traininer/in aufgrund der Programmbeschreibung in der Lage, das Training durchzuführen oder brauche ich die notwendige Qualifikation dazu?
.
Zum Vertiefen ….
—> Tabellen: versch Validitäten
.
⁉️ Bitte ordnen Sie die Experimentellen Designs den passenden Schemata zu:
- einfaches, experimentelles Design
- experimentelles Design mit mehreren Experimentalgruppen
- 4-Gruppen-Versuchsplan nach Solomon
- Voher-Nachher-Messung
- einfaches, experimentelles Design
=> X O Versuchsgruppe O Kontrollgruppe - experimentelles Design mit mehreren Experimentalgruppen
=> X1 X2 .. Xm O1 O2 .. Om
- 4-Gruppen-Versuchsplan nach Solomon
=>
O1 X O2
O3 O4
X O5
O6
- Voher-Nachher-Messung
=> O1 X O2
O3 O4
( siehe Bilder —> Abb. )
.
⁉️ Bitte ordnen Sie zu!
✅ GÜNSTIG für ein quasiexperimentelles Design ist .. ✅
❌ UNgünstig für ein quasiexperimentelles Design ist .. ❌
✅ gleiche Ausgangswerte vor der Intervention für Kontroll- und Experimentalgruppe
✅ sorgsame Kontrollen von Störeffekten durch Messung
❌ keine Vortestung vor der Intervention
❌ Kontroll- und Experimentalgruppe unterscheiden sich systematisch.
❌ Es sind Störeffekte bekannt, die ich nicht erfassen kann.
.
⁉️ Erklären Sie was die Wechselwirkung zwischen “Testen und Treatment” bei einem Experimentaldesign mit Vortestung bedeutet. Illustrieren Sie dies mit einem praktischen Beispiel.
- Der Vortest kann insbes d. Kontrollgruppe anzeigen, was das Ziel der Untersuchung sein soll.
- Die VPN können das Lernziel daraufhin selbstständig ansteuern.
- Damit würden die Unterschiede zw Experimental- u. Kontrollgruppe geringer ausfallen.
BEISPIEL (eigenes noch ausdenken!)
- Etwa, wenn ich eine Intervention zum Lesen machen will und das Lesen vorher teste-
- Die VPN in der Kontrollgruppe merken, dass sie noch nicht so viel können und fangen nun an selbstständig das Lesen zu üben.
.
⁉️ Ist bei der Evaluation vom “Fairplayer” eine Kontrollgruppe ohne Training möglich?
A. Ja
B. Nein
C. Vielleicht
💡 Bitte begründen Sie Ihre Antwort kurz.
✅ Ja
💡 JA, weil es ein primär-präventives Programm ist.
.
⁉️ Ist bei der Evaluation vom “Fairplayer” eine randomisierte Zuordnung möglich?
A. Ja
B. Nein
C. Vielleicht
💡 Bitte begründen Sie Ihre Antwort kurz.
✅ Nein
💡 NEIN, es findet im bisherigen Klassenverband statt.
.
⁉️ Ist bei der Evaluation vom “Fairplayer” eine Follow-Up-Untersuchung möglich?
A. Ja
B. Nein
C. Vielleicht
💡 Bitte begründen Sie Ihre Antwort kurz.
✅ Ja
💡 JA, es kann eine Kontrollgruppe mit keinem Training geben, die nach einem längeren Zeitraum wieder untersucht wird.
.
⁉️ Welches Erhebungsdesign für die Überprüfung vom Til Tiger wäre NICHT sinnvoll?
A. Wartegruppen-Kontrolldesign
B. Kontrollgruppe mit einer ähnlichen Intervention
C. Randomisierte Zuordnung zu Interventions- und Kontrollgruppe
D. Eine Follow-Up-Untersuchung
E. Kontrollgruppe ohne Intervention
F. Untersuchung des elterlichen Verhaltens
✅ Kontrollgruppe ohne Intervention
💡 Das wäre ethisch nicht vertretbar, weil die Kinder Hilfe brauchen.
.
⁉️ Wieso ist die Randomisierung der “Königsweg” für die Neutralisierung von unerwünschten Störeffekten?
Bitte schicken Sie die Antwort dieser Frage bis zum 8. 2. per Mail an mich (thomas.martens@medicalschool-hamburg.de), wir besprechen die Ergebnisse dann am 10. 2. in der Vorlesung.
( keine Antwort vorhanden, vllt in der über/nächsten ?! )
.
⁉️ Welche Ideen haben Sie für die Untersuchung des Programms “PEKIP”?
( eigene Idee(n) zusätzlich überlegen, auch für andere Programme ggf. )
- Es könnte m.H. Von Videoanalysen die “Responsivität” der Bezugspersonen untersucht werden.
.
