3.) Überprüfung der Wirksamkeit von Trainings Flashcards

1
Q

🎯 Lernziele

A

🎯 Ideen für versch Untersuchungsdesigns kennenlernen

🎯 optimale Untersuchungsdesigns identifizieren

.

How well did you know this?
1
Not at all
2
3
4
5
Perfectly
2
Q

🎯 Ideen für versch Untersuchungsdesigns kennenlernen

A

Experimentelle Designs: Grundbedingungen ☝️

Drei Grundbedingungen:

☝️ Bildung mindestens zweier experimenteller Gruppen

☝️ VPN werden experimentellen Gruppen nach Zufallsverfahren (Randomisierung) zugewiesen

☝️ unabhängige Variable wird vom Forscher „manipuliert”, d.h. vom Forscher präsentiert

  • > experimentelles Design (Abb.)
  • > experimentelles Design (m-Kategorien) (Abb.)
  • > Vorher-Nachher-Messung (Abb.)
  • > Vier-Gruppen-Versuchsplan (nach Solomon (Abb.)

Experimentelle Designs: Randomisierung 🎲

➡️ Randomisierung neutralisiert sämtliche, auch unbekannte Drittvariablen 🎲

🤷‍♀️ mögl Fehlerquellen d. Randomisierung ❌

❌ 🔺Hawthorne-Effekt/Reaktivität
(➡️ Blind-/Doppelblindversuche einsetzen)

❌ subj Bewertung des Zuteilungsergebnisses
(Demoralisierung der KG, Verlierer-Gewinner-Problem)

❌ Einschränkung d. Fehleranfälligkeit durch Matching, Gruppenmatching, paarweises Matching mögl

  • > Kontrollgruppenanordnung mit Vor- und Nachuntersuchung
  • > Kontrollgruppenanordnung mit nur einer Nachuntersuchung
  • je innere + äußere Gültigkeit

.

How well did you know this?
1
Not at all
2
3
4
5
Perfectly
3
Q

🎯 optimale Untersuchungsdesigns identifizieren

A

☝️ Bedingungen für Praxistauglichkeit ☝️

☝️ Qualifikation zur Durchführung muss beschrieben sein

☝️ Qualifikation muss lehr- und lernbar sein.

☝️ detaillierte Beschreibung für lückenlose Durchführung

☝️ Risiko von Verfahrensfehlern sollte gering sein

☝️ Training als Chance

☝️ Adressengerechtes Material

☝️ Berücksichtigung der Lebenswelt

Praxistauglichkeit: CHECKLISTE ✔️

✔️ Sind die Ziele des Programms explizit beschrieben?

✔️ Wird der theoretische Bezug der zu trainierenden Fertigkeit oder Fähigkeit dargelegt (oder zumindest eine Definition)?

✔️ Gibt es eine Angabe, für wen das Programm geeignet ist?

✔️ Sind die Trainingsmethoden rational begründet?

✔️ Wurde die Wirksamkeit geprüft (Effektstärke, Nachhaltigkeit und Transfer)?

✔️ Ist mit unerwünschten Nebenwirkungen zu rechnen?

✔️ Sind die Materialien adressatengerecht?

✔️ Ist das Training klar strukturiert und übersichtlich?

✔️ Welche Rahmenbedingungen sind für eine erfolgreiche Trainingsdurchführung erforderlich?

✔️ Fühle ich mich als Traininer/in aufgrund der Programmbeschreibung in der Lage, das Training durchzuführen oder brauche ich die notwendige Qualifikation dazu?

.

How well did you know this?
1
Not at all
2
3
4
5
Perfectly
4
Q

📋 Advance Organizer

A
📋 Effekte + Validitätsaspekte
📋 experimentelle Designs
📋 Übungen zum experimentellen Design
📋 P-Lounge: Reflexion
📋 Bedingungen für die Praxistauglichkeit

.

How well did you know this?
1
Not at all
2
3
4
5
Perfectly
5
Q

❓ Welche Effekte gibt es?

🔺 Trainingseffekte 🏋️‍♀️

A

🏋️‍♀️ Transfer, der über die geübten Aufgaben hinausgehen

🏋️‍♀️ Nachhaltigkeit (🔺Follow-up)

🏋️‍♀️ differentielle Effekte (z.B. „🔺Matthäus-Effekt)

.

How well did you know this?
1
Not at all
2
3
4
5
Perfectly
6
Q

❓ Welche Effekte gibt es?

🔺 geplante Effekte 🧐

A

🧐 Das Training soll das halten, was es verspricht!

🧐 Förderung kann breit oder spezifisch angelegt sein.

.

How well did you know this?
1
Not at all
2
3
4
5
Perfectly
7
Q

❓ Welche Effekte gibt es?

🔺 Breite und Wirksamkeit ✔️

A

✔️ „… je breiter ein Programm angelegt ist, desto geringer sind die erreichbaren Wirkungen und umgekehrt“

(Klauer, 2001)

✔️ ABER, spezifische Programme können auch breite Effekte zeigen (s.o.)

.

How well did you know this?
1
Not at all
2
3
4
5
Perfectly
8
Q

❓ Welche Effekte gibt es?

🔺 diffuse Effekte 🥴

A

🥴Neuartigkeit und Attraktivität

🥴Zuwendung

🥴Erwartungen / Placebo

🥴 Spill over (⚪️Fairplayer)

.

How well did you know this?
1
Not at all
2
3
4
5
Perfectly
9
Q

❓ Welche Effekte gibt es?

🔺 unerwünschte Nebenwirkungen 🙉

A

🙉 Training als Strafarbeit

🙉 Langeweile

🙉 ungünstige Beziehungen zu Trainer:innen

🙉 Angst vor Versagen

.

How well did you know this?
1
Not at all
2
3
4
5
Perfectly
10
Q

Wirksamkeitsprüfung 🔎

A

➡️ Zwei Aspekte der Wirksamkeitsüberprüfung:

🔬 Untersuchung

▫️ Notwendigkeit von Kontrollgruppendesigns

🏋️‍♀️ Trainingseffekte 🏋️‍♀️

▫️ insb Nachhaltigkeit + Transfer sollten experimentell nachgewiesen werden

.

How well did you know this?
1
Not at all
2
3
4
5
Perfectly
11
Q

Validitätsaspekte der Wirksamkeitsprüfung

nach Cook + Campbell, 1979; Lösel + Nowack, 1987

A

➡️ Statistische Validität

➡️ Interne Validität i.e.S.

➡️ Konstruktvalidität

➡️ Externe Validität i.e.S.

➡️ Deskriptive Validität

🔺 Statistische Validität:

▫️ Sind die kausalen Schlüsse aus dem statistischen Material korrekt?

🔺 Interne Validität i.e.S.:

▫️ Hängen Treatment (UV) und Wirkung (AV) ursächlich miteinander zusammen?

🔺 Konstruktvalidität:

▫️ Sind die Ursachen (Treatment) und die Wirkungen (Effekte) gut operationalisiert?

🔺 Externe Validität i.e.S.:

▫️ Lassen sich die Befunde auf andere Kontexte, andere Personen und über die Zeit generalisieren?

🔺Deskriptive Validität:

▫️ Inwieweit werden relevante Informationen zur Planung, Durchführung und Auswertung der Studie sowie zur Beurteilung der genannten
Validitätsaspekte mitgeteilt?

.

How well did you know this?
1
Not at all
2
3
4
5
Perfectly
12
Q

🔺 Statistische Validität

A

▫️ Sind die kausalen Schlüsse aus dem statistischen Material korrekt?

.

How well did you know this?
1
Not at all
2
3
4
5
Perfectly
13
Q

🔺 Interne Validität i.e.S.:

A

▫️ Hängen Treatment (UV) + Wirkung (AV) ursächl mitein. zsm?

.

How well did you know this?
1
Not at all
2
3
4
5
Perfectly
14
Q

🔺 Konstruktvalidität

A

▫️ Sind die Ursachen (Treatment) und die Wirkungen (Effekte) gut operationalisiert?

.

How well did you know this?
1
Not at all
2
3
4
5
Perfectly
15
Q

🔺 Externe Validität i.e.S.

A

▫️ Lassen sich die Befunde auf andere Kontexte, andere Personen und über die Zeit generalisieren?

.

How well did you know this?
1
Not at all
2
3
4
5
Perfectly
16
Q

🔺 Deskriptive Validität

A

▫️ Inwieweit werden relevante Informationen zur Planung, Durchführung und Auswertung der Studie sowie zur Beurteilung der genannten Validitätsaspekte mitgeteilt?

.

17
Q

Experimentelle Designs: Grundbedingungen ☝️

A

➡️ Drei Grundbedingungen ☝️

☝️ Bildung mind. zweier experimenteller Gruppen

☝️ VP werden experimentellen Gruppen nach Zufallsverfahren (Randomisierung) zugewiesen

☝️ unabhängige Variable wird vom Forscher „manipuliert”, d.h. vom Forscher präsentiert

—> Abb. Designs

.

18
Q

Experimentelle Designs: Randomisierung 🎲

A

➡️ Randomisierung neutralisiert sämtliche, auch unbekannte Drittvariablen 🎲

🤷‍♀️ mögl Fehlerquellen d. Randomisierung ❌

❌ 🔺Hawthorne-Effekt/Reaktivität
(➡️ Blind-/Doppelblindversuche einsetzen)

❌ subj Bewertung des Zuteilungsergebnisses
(Demoralisierung der KG, Verlierer-Gewinner-Problem)

❌ Einschränkung d. Fehleranfälligkeit durch Matching, Gruppenmatching, paarweises Matching mögl

.

19
Q

Kontrollgruppenanordnung mit Vor- u. Nachuntersuchung

A

—> Abb. + Tabelle

.

20
Q

Kontrollgruppenanordnung mit nur einer Nachuntersuchung

A

—> Abb. + Tabelle

.

21
Q

Viergruppenplan von Solomon

A

—> Abb. + Tabelle

.

22
Q

🐯 Wie würden Sie die Wirksamkeit von „Till Tiger“ untersuchen?

A

▪️ Til Tiger richtet sich an ängstliche, sozial unsichere und schüchterne Kinder im Alter von fünf bis zehn Jahren und deren Eltern.

▪️ Vorgespräche mit Eltern und Kinder

▪️ zwei Einzel - u. neun Gruppenstunden

▪️ Auswertungsgespräche mit Kindern und Eltern

❓ Ist eine Kontrollgruppe ohne Training möglich?

❓ Ist eine randomisierte Zuordnung möglich? Ist eine Follow-Up-Untersuchung möglich?

❓ Kann ich Zielgrößen sicher erfassen?

❓ Kann ich Wirkmechanismen sicher erfassen?

⁉️ Alternativen?

.

23
Q

👩‍❤️‍💋‍👨 Wie würden Sie die Wirksamkeit von „Mich und Dich verstehen“ untersuchen?

A

▪️ Das „Mich und Dich verstehen“ Programm ist ein Präventionsansatz zur Wahrnehmung von und zum Umgang mit Gefühlen.

▪️ Es ist am Besten, wenn die Epochen zusammenhängend vermittelt werden, d. h. drei Tage hintereinander je vier Stunden. Dann Pause von ca. 6-8 Wochen und dann die nächste Epoche usw.

❓ Ist eine Kontrollgruppe ohne Training möglich?

❓ Ist eine randomisierte Zuordnung möglich? Ist eine Follow-Up-Untersuchung möglich?

❓ Kann ich Zielgrößen sicher erfassen?

❓ Kann ich Wirkmechanismen sicher erfassen?

⁉️ Alternativen?

.

24
Q

🤝 Wie würden Sie die Wirksamkeit von „Fairplayer“ untersuchen?

A

Zielgruppe

▪️ Schwerpunkt auf 7. - 9. Klasse
▪️ primär-präventives Programm: alle Klassenmitglieder
▪️ Lehrer:innen

Umfang des Programms

▪️ 2,5 Tage fairplayer.fortbildung
▪️ 15-17 Unterrichtsdoppelstunden (à 90 min.)
▪️ 2 Elternabende
▪️ 1 x Gruppensupervision

❓ Ist eine Kontrollgruppe ohne Training möglich?

❓ Ist eine randomisierte Zuordnung möglich?

❓ Ist eine Follow-Up-Untersuchung möglich?

❓ Kann ich Zielgrößen sicher erfassen?

❓ Kann ich Wirkmechanismen sicher erfassen?

⁉️ Alternativen?

.

25
Q

👨‍👩‍👧 Wir würden Sie die Wirksamkeit von „PEKiP“ untersuchen?

A

🔺 Prager Eltern-Kind-Programm (PEKiP)

Zielgruppe

▪️ 1. Lebensjahr
▪️ primär-präventives Programm
▪️ Kinder + Eltern

Umfang des Programms
▪️ etwa 1 Jahr
▪️ wöchentlich

❓ Ist eine Kontrollgruppe ohne Training möglich?

❓ Ist eine randomisierte Zuordnung möglich?

❓ Ist eine Follow-Up-Untersuchung möglich?

❓ Kann ich Zielgrößen sicher erfassen?

❓ Kann ich Wirkmechanismen sicher erfassen?

⁉️ Alternativen?

.

26
Q

Bitte besprechen Sie in Kleingruppen von 2-4 Personen die folgenden Fragen in der P-Lounge:

Was muss ich bei der Evaluation von Interventionen beachten?
Gibt es ein optimales Evaluationsdesign?

A

.

27
Q

☝️ Bedingungen für Praxistauglichkeit

A

☝️ Qualifikation zur Durchführung muss beschrieben sein

☝️ Qualifikation muss lehr- und lernbar sein.

☝️ detaillierte Beschreibung für lückenlose Durchführung

☝️ Risiko von Verfahrensfehlern sollte gering sein

☝️ Training als Chance

☝️ Adressengerechtes Material

☝️ Berücksichtigung der Lebenswelt

.

28
Q

Praxistauglichkeit: Checkliste ✔️

A

✔️ Sind die Ziele des Programms explizit beschrieben?

✔️ Wird der theoretische Bezug der zu trainierenden Fertigkeit oder Fähigkeit dargelegt (oder zumindest eine Definition)?

✔️ Gibt es eine Angabe, für wen das Programm geeignet ist?

✔️ Sind die Trainingsmethoden rational begründet?

✔️ Wurde die Wirksamkeit geprüft (Effektstärke, Nachhaltigkeit und Transfer)?

✔️ Ist mit unerwünschten Nebenwirkungen zu rechnen?

✔️ Sind die Materialien adressatengerecht?

✔️ Ist das Training klar strukturiert und übersichtlich?

✔️ Welche Rahmenbedingungen sind für eine erfolgreiche Trainingsdurchführung erforderlich?

✔️ Fühle ich mich als Traininer/in aufgrund der Programmbeschreibung in der Lage, das Training durchzuführen oder brauche ich die notwendige Qualifikation dazu?

.

29
Q

Zum Vertiefen ….

A

—> Tabellen: versch Validitäten

.

30
Q

⁉️ Bitte ordnen Sie die Experimentellen Designs den passenden Schemata zu:

  • einfaches, experimentelles Design
  • experimentelles Design mit mehreren Experimentalgruppen
  • 4-Gruppen-Versuchsplan nach Solomon
  • Voher-Nachher-Messung
A
  • einfaches, experimentelles Design
    => X O Versuchsgruppe O Kontrollgruppe
  • experimentelles Design mit mehreren Experimentalgruppen
    => X1 X2 .. Xm O1 O2 .. Om
- 4-Gruppen-Versuchsplan nach Solomon 
=> 
O1 X O2
O3    O4
      X O5
          O6  
  • Voher-Nachher-Messung
    => O1 X O2
    O3 O4

( siehe Bilder —> Abb. )

.

31
Q

⁉️ Bitte ordnen Sie zu!

✅ GÜNSTIG für ein quasiexperimentelles Design ist .. ✅

❌ UNgünstig für ein quasiexperimentelles Design ist .. ❌

A

✅ gleiche Ausgangswerte vor der Intervention für Kontroll- und Experimentalgruppe

✅ sorgsame Kontrollen von Störeffekten durch Messung

❌ keine Vortestung vor der Intervention

❌ Kontroll- und Experimentalgruppe unterscheiden sich systematisch.

❌ Es sind Störeffekte bekannt, die ich nicht erfassen kann.

.

32
Q

⁉️ Erklären Sie was die Wechselwirkung zwischen “Testen und Treatment” bei einem Experimentaldesign mit Vortestung bedeutet. Illustrieren Sie dies mit einem praktischen Beispiel.

A
  • Der Vortest kann insbes d. Kontrollgruppe anzeigen, was das Ziel der Untersuchung sein soll.
  • Die VPN können das Lernziel daraufhin selbstständig ansteuern.
  • Damit würden die Unterschiede zw Experimental- u. Kontrollgruppe geringer ausfallen.

BEISPIEL (eigenes noch ausdenken!)

  • Etwa, wenn ich eine Intervention zum Lesen machen will und das Lesen vorher teste-
  • Die VPN in der Kontrollgruppe merken, dass sie noch nicht so viel können und fangen nun an selbstständig das Lesen zu üben.

.

33
Q

⁉️ Ist bei der Evaluation vom “Fairplayer” eine Kontrollgruppe ohne Training möglich?

A. Ja
B. Nein
C. Vielleicht

💡 Bitte begründen Sie Ihre Antwort kurz.

A

✅ Ja

💡 JA, weil es ein primär-präventives Programm ist.

.

34
Q

⁉️ Ist bei der Evaluation vom “Fairplayer” eine randomisierte Zuordnung möglich?

A. Ja
B. Nein
C. Vielleicht

💡 Bitte begründen Sie Ihre Antwort kurz.

A

✅ Nein

💡 NEIN, es findet im bisherigen Klassenverband statt.

.

35
Q

⁉️ Ist bei der Evaluation vom “Fairplayer” eine Follow-Up-Untersuchung möglich?

A. Ja
B. Nein
C. Vielleicht

💡 Bitte begründen Sie Ihre Antwort kurz.

A

✅ Ja

💡 JA, es kann eine Kontrollgruppe mit keinem Training geben, die nach einem längeren Zeitraum wieder untersucht wird.

.

36
Q

⁉️ Welches Erhebungsdesign für die Überprüfung vom Til Tiger wäre NICHT sinnvoll?

A. Wartegruppen-Kontrolldesign

B. Kontrollgruppe mit einer ähnlichen Intervention

C. Randomisierte Zuordnung zu Interventions- und Kontrollgruppe

D. Eine Follow-Up-Untersuchung

E. Kontrollgruppe ohne Intervention

F. Untersuchung des elterlichen Verhaltens

A

✅ Kontrollgruppe ohne Intervention

💡 Das wäre ethisch nicht vertretbar, weil die Kinder Hilfe brauchen.

.

37
Q

⁉️ Wieso ist die Randomisierung der “Königsweg” für die Neutralisierung von unerwünschten Störeffekten?

Bitte schicken Sie die Antwort dieser Frage bis zum 8. 2. per Mail an mich (thomas.martens@medicalschool-hamburg.de), wir besprechen die Ergebnisse dann am 10. 2. in der Vorlesung.

A

( keine Antwort vorhanden, vllt in der über/nächsten ?! )

.

38
Q

⁉️ Welche Ideen haben Sie für die Untersuchung des Programms “PEKIP”?

A

( eigene Idee(n) zusätzlich überlegen, auch für andere Programme ggf. )

  • Es könnte m.H. Von Videoanalysen die “Responsivität” der Bezugspersonen untersucht werden.

.