24. Überprüfung der Wirksamkeit

Question 1

Welche Effekte gibt es?

Answer 1

a) Geplante Effekte:
- Das Training soll das halten, was es verspricht!
- Förderung kann breit oder spezifisch angelegt sein.
b) Breite und Wirksamkeit:
- „… je breiter ein Programm angelegt ist, desto geringer
sind die erreichbaren Wirkungen und umgekehrt“
(Klauer, 2001).
- Aber, spezifische Programme können auch breite
Effekte zeigen (s.o.).
c) Trainingseffekte
- Transfer, der über die geübten Aufgaben hinausgehen - Nachhaltigkeit (Follow-up)
- Differentielle Effekte (z.B. „Matthäus-Effekt)
d) Diffuse Effekte:
- Neuartigkeit und Attraktivität - Zuwendung
- Erwartungen / Placebo
- Spill over (Fairplayer)
e) Unerwünschte Nebenwirkungen:
- Training als Strafarbeit,
- Langeweile,
- ungünstige Beziehungen
zu Trainern/innen und - Angst vor Versagen.

Question 2

Wirksamkeitsprüfung

Answer 2

Zwei Aspekte der Wirksamkeitsüberprüfung:

a) Untersuchung:
- Notwendigkeit von Kontrollgruppendesigns
b) Trainingseffekte:
- insbesondere die Nachhaltigkeit und der Transfer sollten experimentell nachgewiesen werden.

Question 3

Validitätsaspekte der Wirksamkeitsprüfung

nach Cook & Campbell, 1979; Lösel & Nowack, 1987

Answer 3

Question 4

Experimentelle Designs: Grundbedingungen

Answer 4

Drei Grundbedingungen:
- Bildung mindestens zweier experimenteller Gruppen
- Versuchspersonen werden den experimentellen Gruppen
nach Zufallsverfahren (Randomisierung) zugewiesen
- unabhängige Variable wird vom Forscher „manipuliert”, d.h. vom Forscher präsentiert

Question 4

Experimentelle Designs: Grundbedingungen

Answer 4

Drei Grundbedingungen:
- Bildung mindestens zweier experimenteller Gruppen
- Versuchspersonen werden den experimentellen Gruppen
nach Zufallsverfahren (Randomisierung) zugewiesen
- unabhängige Variable wird vom Forscher „manipuliert”, d.h. vom Forscher präsentiert

Question 5

Experimentelle Designs: Randomisierung

Answer 5

Randomisierung neutralisiert
sämtliche, auch unbekannte Drittvariablen

Mögliche Fehlerquellen der Randomisierung:
- Hawthorne-Effekt/Reaktivität ( Blind-/Doppelblindversuche
einsetzen)
- Subjektive Bewertung des Zuteilungsergebnisses (Demoralisierung der KG, Verlierer-Gewinner-Problem)
- Einschränkung der Fehleranfälligkeit durch
Matching, Gruppenmatching, paarweises Matching möglich

Question 6

Mögliche Störeffekte 1/2

Answer 6

Question 7

Mögliche Störeffekte 1/2

Answer 7

Question 8

Mögliche Störeffekte 2/2

Answer 8

Question 9

Kontrollgruppenanordnung

mit Vor- und Nachuntersuchung

Answer 9

Question 9

Kontrollgruppenanordnung

mit Vor- und Nachuntersuchung

Answer 9

Question 10

Kontrollgruppenanordnung

mit nur einer Nachuntersuchung

Answer 10

Question 11

Kontrollgruppenanordnung

mit nur einer Nachuntersuchung

Answer 11

Question 12

Viergruppenplan von Solomon

Answer 12

Question 13

Wir würden Sie die Wirksamkeit von „Till Tiger“ untersuchen?

Answer 13

• Til Tiger richtet sich an ängstliche, sozial unsichere und schüchterne Kinder im Alter von fünf bis zehn Jahren und deren Eltern.
• Vorgespräche mit Eltern und Kinder
• zwei Einzel - und neun Gruppenstunden
• Auswertungsgespräche mit Kindern und Eltern

Question 14

Evaluation Till Tiger

Answer 14

• Ist eine Kontrollgruppe ohne Training möglich?
• Ist eine randomisierte Zuordnung möglich? Ist eine Follow-Up-Untersuchung möglich?
• Kann ich Zielgrößen sicher erfassen?
• Kann ich Wirkmechanismen sicher erfassen?
• Alternativen?

Question 15

Wir würden Sie die Wirksamkeit von „Mich und Dich verstehen“ untersuchen?

Answer 15

• Das „Mich und Dich verstehen“ Programm ist ein Präventionsansatz zur Wahrnehmung von und zum Umgang mit Gefühlen.
• Es ist am Besten, wenn die Epochen zusammenhängend vermittelt werden, d. h. drei Tage hintereinander je vier Stunden. Dann Pause von ca. 6-8 Wochen und dann die nächste Epoche usw.

Question 16

Evaluation Mich und Dich …

Answer 16

• Ist eine Kontrollgruppe ohne Training möglich?
• Ist eine randomisierte Zuordnung möglich? Ist eine Follow-Up-Untersuchung möglich?
• Kann ich Zielgrößen sicher erfassen?
• Kann ich Wirkmechanismen sicher erfassen?

Question 17

Wir würden Sie die Wirksamkeit von „Fairplayer“ untersuchen?

Answer 17

Zielgruppe
- Schwerpunkt auf 7. - 9. Klasse 
- primär-präventives Programm:
alle Klassenmitglieder 
- Lehrer/innen

Umfang des Programms
- 2,5 Tage fairplayer.fortbildung
- 15-17 Unterrichtsdoppelstunden
(à 90 min.)
- 2 Elternabende
- 1 x Gruppensupervision

Question 18

Evaluation Fairplayer

Answer 18

• Ist eine Kontrollgruppe ohne Training möglich?
• Ist eine randomisierte Zuordnung möglich?
• Ist eine Follow-Up-Untersuchung möglich?
• Kann ich Zielgrößen sicher erfassen?
Kann ich Wirkmechanismen sicher erfassen?

Question 19

Wir würden Sie die Wirksamkeit von „PEKiP“ untersuchen?

Answer 19

Zielgruppe

• 1. Lebensjahr
• primär-präventives Programm  Kinder + Eltern

Umfang des Programms

• etwa 1 Jahr
• wöchentlich

Question 20

Evaluation PEKIP

Answer 20

• Ist eine Kontrollgruppe ohne Training möglich?
• Ist eine randomisierte Zuordnung möglich?
• Ist eine Follow-Up-Untersuchung möglich?
• Kann ich Zielgrößen sicher erfassen?
• Kann ich Wirkmechanismen sicher erfassen?

Question 21

Murmelgruppe (Buzz Group)

Answer 21

Bitte besprechen Sie in Kleingruppen die folgenden Fragen:

• Was muss ich bei der Evaluation von Interventionen beachten?
• Gibt es ein optimales Evaluationsdesign?

Question 22

Bedingungen für Praxistauglichkeit

Answer 22

• Qualifikation zur Durchführung muss beschrieben sein
• Qualifikation muss lehr- und lernbar sein.
• detaillierte Beschreibung für lückenlose Durchführung
• Risiko von Verfahrensfehlern sollte gering sein
• Training als Chance
• Adressengerechtes Material
• Berücksichtigung der Lebenswelt

Question 23

Praxistauglichkeit: Checkliste

Answer 23

• Sind die Ziele des Programms explizit beschrieben?
• Wird der theoretische Bezug der zu trainierenden Fertigkeit oder Fähigkeit dargelegt (oder zumindest eine Definition)?
• Gibt es eine Angabe, für wen das Programm geeignet ist?
• Sind die Trainingsmethoden rational begründet?
• Wurde die Wirksamkeit geprüft (Effektstärke, Nachhaltigkeit und Transfer)?
• Ist mit unerwünschten Nebenwirkungen zu rechnen?
• Sind die Materialien adressatengerecht?
• Ist das Training klar strukturiert und übersichtlich?
• Welche Rahmenbedingungen sind für eine erfolgreiche Trainings- durchführung erforderlich?
• Fühle ich mich als Traininer/in aufgrund der Programmbeschreibung in der Lage, das Training durchzuführen oder brauche ich die notwendige Qualifikation dazu?