24. Überprüfung der Wirksamkeit Flashcards
Welche Effekte gibt es?
a) Geplante Effekte:
- Das Training soll das halten, was es verspricht!
- Förderung kann breit oder spezifisch angelegt sein.
b) Breite und Wirksamkeit:
- „… je breiter ein Programm angelegt ist, desto geringer
sind die erreichbaren Wirkungen und umgekehrt“
(Klauer, 2001).
- Aber, spezifische Programme können auch breite
Effekte zeigen (s.o.).
c) Trainingseffekte
- Transfer, der über die geübten Aufgaben hinausgehen - Nachhaltigkeit (Follow-up)
- Differentielle Effekte (z.B. „Matthäus-Effekt)
d) Diffuse Effekte:
- Neuartigkeit und Attraktivität - Zuwendung
- Erwartungen / Placebo
- Spill over (Fairplayer)
e) Unerwünschte Nebenwirkungen:
- Training als Strafarbeit,
- Langeweile,
- ungünstige Beziehungen
zu Trainern/innen und - Angst vor Versagen.
Wirksamkeitsprüfung
Zwei Aspekte der Wirksamkeitsüberprüfung:
a) Untersuchung:
- Notwendigkeit von Kontrollgruppendesigns
b) Trainingseffekte:
- insbesondere die Nachhaltigkeit und der Transfer sollten experimentell nachgewiesen werden.
Validitätsaspekte der Wirksamkeitsprüfung
nach Cook & Campbell, 1979; Lösel & Nowack, 1987
Experimentelle Designs: Grundbedingungen
Drei Grundbedingungen:
- Bildung mindestens zweier experimenteller Gruppen
- Versuchspersonen werden den experimentellen Gruppen
nach Zufallsverfahren (Randomisierung) zugewiesen
- unabhängige Variable wird vom Forscher „manipuliert”, d.h. vom Forscher präsentiert
Experimentelle Designs: Grundbedingungen
Drei Grundbedingungen:
- Bildung mindestens zweier experimenteller Gruppen
- Versuchspersonen werden den experimentellen Gruppen
nach Zufallsverfahren (Randomisierung) zugewiesen
- unabhängige Variable wird vom Forscher „manipuliert”, d.h. vom Forscher präsentiert
Experimentelle Designs: Randomisierung
Randomisierung neutralisiert
sämtliche, auch unbekannte Drittvariablen
Mögliche Fehlerquellen der Randomisierung:
- Hawthorne-Effekt/Reaktivität ( Blind-/Doppelblindversuche
einsetzen)
- Subjektive Bewertung des Zuteilungsergebnisses (Demoralisierung der KG, Verlierer-Gewinner-Problem)
- Einschränkung der Fehleranfälligkeit durch
Matching, Gruppenmatching, paarweises Matching möglich
Mögliche Störeffekte 1/2
Mögliche Störeffekte 1/2
Mögliche Störeffekte 2/2
Kontrollgruppenanordnung
mit Vor- und Nachuntersuchung
Kontrollgruppenanordnung
mit Vor- und Nachuntersuchung
Kontrollgruppenanordnung
mit nur einer Nachuntersuchung
Kontrollgruppenanordnung
mit nur einer Nachuntersuchung
Viergruppenplan von Solomon
Wir würden Sie die Wirksamkeit von „Till Tiger“ untersuchen?
- Til Tiger richtet sich an ängstliche, sozial unsichere und schüchterne Kinder im Alter von fünf bis zehn Jahren und deren Eltern.
- Vorgespräche mit Eltern und Kinder
- zwei Einzel - und neun Gruppenstunden
- Auswertungsgespräche mit Kindern und Eltern
Evaluation Till Tiger
- Ist eine Kontrollgruppe ohne Training möglich?
- Ist eine randomisierte Zuordnung möglich? Ist eine Follow-Up-Untersuchung möglich?
- Kann ich Zielgrößen sicher erfassen?
- Kann ich Wirkmechanismen sicher erfassen?
- Alternativen?
Wir würden Sie die Wirksamkeit von „Mich und Dich verstehen“ untersuchen?
- Das „Mich und Dich verstehen“ Programm ist ein Präventionsansatz zur Wahrnehmung von und zum Umgang mit Gefühlen.
- Es ist am Besten, wenn die Epochen zusammenhängend vermittelt werden, d. h. drei Tage hintereinander je vier Stunden. Dann Pause von ca. 6-8 Wochen und dann die nächste Epoche usw.
Evaluation Mich und Dich …
- Ist eine Kontrollgruppe ohne Training möglich?
- Ist eine randomisierte Zuordnung möglich? Ist eine Follow-Up-Untersuchung möglich?
- Kann ich Zielgrößen sicher erfassen?
- Kann ich Wirkmechanismen sicher erfassen?
Wir würden Sie die Wirksamkeit von „Fairplayer“ untersuchen?
Zielgruppe - Schwerpunkt auf 7. - 9. Klasse - primär-präventives Programm: alle Klassenmitglieder - Lehrer/innen
Umfang des Programms - 2,5 Tage fairplayer.fortbildung - 15-17 Unterrichtsdoppelstunden (à 90 min.) - 2 Elternabende - 1 x Gruppensupervision
Evaluation Fairplayer
• Ist eine Kontrollgruppe ohne Training möglich?
• Ist eine randomisierte Zuordnung möglich?
• Ist eine Follow-Up-Untersuchung möglich?
• Kann ich Zielgrößen sicher erfassen?
Kann ich Wirkmechanismen sicher erfassen?
Wir würden Sie die Wirksamkeit von „PEKiP“ untersuchen?
Zielgruppe
- Lebensjahr
- primär-präventives Programm Kinder + Eltern
Umfang des Programms
- etwa 1 Jahr
- wöchentlich
Evaluation PEKIP
- Ist eine Kontrollgruppe ohne Training möglich?
- Ist eine randomisierte Zuordnung möglich?
- Ist eine Follow-Up-Untersuchung möglich?
- Kann ich Zielgrößen sicher erfassen?
- Kann ich Wirkmechanismen sicher erfassen?
Murmelgruppe (Buzz Group)
Bitte besprechen Sie in Kleingruppen die folgenden Fragen:
- Was muss ich bei der Evaluation von Interventionen beachten?
- Gibt es ein optimales Evaluationsdesign?
Bedingungen für Praxistauglichkeit
- Qualifikation zur Durchführung muss beschrieben sein
- Qualifikation muss lehr- und lernbar sein.
- detaillierte Beschreibung für lückenlose Durchführung
- Risiko von Verfahrensfehlern sollte gering sein
- Training als Chance
- Adressengerechtes Material
- Berücksichtigung der Lebenswelt
Praxistauglichkeit: Checkliste
- Sind die Ziele des Programms explizit beschrieben?
- Wird der theoretische Bezug der zu trainierenden Fertigkeit oder Fähigkeit dargelegt (oder zumindest eine Definition)?
- Gibt es eine Angabe, für wen das Programm geeignet ist?
- Sind die Trainingsmethoden rational begründet?
- Wurde die Wirksamkeit geprüft (Effektstärke, Nachhaltigkeit und Transfer)?
- Ist mit unerwünschten Nebenwirkungen zu rechnen?
- Sind die Materialien adressatengerecht?
- Ist das Training klar strukturiert und übersichtlich?
- Welche Rahmenbedingungen sind für eine erfolgreiche Trainings- durchführung erforderlich?
- Fühle ich mich als Traininer/in aufgrund der Programmbeschreibung in der Lage, das Training durchzuführen oder brauche ich die notwendige Qualifikation dazu?
