6 Wirksamkeit von Interventionen, Kriteriumsmaße

Question 1

Wozu Wirksamkeitshypothesen?

Answer 1

Damit die Wirksamkeit einer Intervention empirisch untersucht werden kann.

H0: Programm ist nicht hinsichtlich seiner Ziele wirksam, es erreicht seine Ziele nicht
H1: Programm ist hinsichtlich seiner Ziele wirksam, es erreicht seine Ziele

Question 2

Auf welche 3 Faktoren soll die summative Erfolgsevaluation Antworten geben?

Answer 2

1) Auftreten / Nichtauftreten der Wirkungen (“ob & wenn ja, welche?”)
2) Intensität dieser Wirkungen (“wie groß?”)
3) Dauer / zeitlicher Transfer (“wie lange?” )

Question 3

Nenne die 2 wichtigsten allgemeinen Wirksamkeitskriterien!

Answer 3

1. Statistische Signifikanz

2. Effektgrößen

Question 4

Wovon ist die statistische Signifikanz abhängig? (3)

Answer 4

1. Signifikanzniveau,
2. Stichprobengröße und
3. empirischem Effekt

Question 5

Wie wird die statistische Signifikanz ausgedrückt?

Answer 5

Überschreitungswahrscheinlichkeit p (p-Wert)

Question 6

Nenne 2 Vorteile der statistischen Signifikanz!

Answer 6

+ Hinweis darauf, dass Wirkungen über Zufallsschwankungen hinaus vorliegen
+ Funktion eines Entscheidungskriteriums

Question 7

Nenne 2 Nachteile der statistischen Signifikanz!

Answer 7

• Häufige Fehlinterpretationen: z.B. Je kleiner p, desto wahrscheinlicher H1…
• Schwierigkeit bei Fällen, in denen die H0 “gestützt” werden soll
• Statistische Signifikanz inhaltliche Relevanz?

Question 8

Welche beiden Funktionen können Effektgrößen darstellen?

Answer 8

1 Distanzmaß:
Ausmaß der Unterschiedlichkeit zwischen 2 oder mehr Populationen

2 Zusammenhangsmaß:
Ausmaß des Zusammenhangs zwischen der Zuordnung zu einer der Populationen und den Werten einer AV

Question 9

Nenne 2 Vorteile von Effektgrößen!

Answer 9

+ plausible numerische Operationalisierung der Wirkungsintensität

+ erlauben Untersuchung von Transferintensität

Question 10

Nenne 2 Nachteile von Effektgrößen!

Answer 10

• verschiedene Effektgrößen aufgrund Abhängigkeit von Zufallsschwankungen, Personen etc. nicht vergleichbar
• fehlende Entscheidungsregel (Ab wann ist Effekt “bedeutsam”?)

Question 11

Erkläre was mit der “groben Aufgabenteilung” von statistischer Signifikanz und Effektgrößen gemeint ist.

Answer 11

A
Statistische Signifikanz als Antwort auf Frage, ob eine Wirkung vorliegt
B
Effektgrößen als Antwort auf Frage, wie intensiv diese ist

Question 12

Nenne die Richtwerte für: d

Answer 12

klein: .10
mittel: .30
groß: .50

Question 13

Nenne die Richtwerte für: eta quadrat

Answer 13

klein: .01
mittel: .06
groß: .14

Question 14

Was sind Kriteriumsmaße?

Answer 14

Maße, die geeignet sind, interne Ziele psychologischer Interventionsmaßnahmen zu erfassen.

Question 15

Was sind „interne Ziele psychologischer Interventionsmaßnahmen“?

Answer 15

Positive Veränderungen in einem bestimmten als besonders förderungswürdig oder rehabilitationsbedürftig angesehenen Bereich des Erlebens/Verhaltens.

Beispiele:
Verbesserung der Intelligenz, Persönlichkeitsveränderungen, Reduktion von Symptomen, Eignung für eine spezielle Tätigkeit

Question 16

Inwiefern ist das Kriteriumsmaß beim Coaching durch das Programm schon festgelegt?

Answer 16

Will man beispielsweise die Leistung in einem bestimmten Intelligenztest (internes Ziel) coachen, so ist damit das Kriteriumsmaß (Steigerung der Leistungspunkte des Intelligenztests) vorgegeben, an dem sich das Programm zu orientieren hat.

Question 17

Wie ist der Zusammenhang von Kriteriumsmaßen und Programmaufgaben bei Training, Unterricht, Beratung und Therapie?

Answer 17

Das Ausmaß an Transfer von Programm- zu Kriteriumsaufgaben bildet ein Kontinuum, an dessen Endpunkt maximale Ähnlichkeit (wie bei Coaching) und maximale Unänhlichkeit stehen (, die noch Transfer zulässt).

Question 18

Was beschreibt das Problem “Programmnähe” in Bezug auf die Evaluation von Interventionsprogrammen

Answer 18

Die Programmnähe bezeichnet die relative Ähnlichkeit von Programmaufgaben und Kriteriumsaufgaben. Es gibt derzeit keine Möglichkeit diese Programmnähe zu quantifizieren! (Ergo: Es helfen nur subjektive und Expertenschätzungen.)

Question 19

Erkläre, warum die “Vorwissen-Hypothese” in Bezug auf die Evaluation von Interventionsprogrammen ein Problem darstellt.

Answer 19

Die Teilnehmer verfügen bereits über das erforderliche Vorwissen, um den programmfernen Test (Nachtest) korrekt zu bearbeiten. Die Wissensbasis reicht für die erfolgreiche Bearbeitung aus, sodass nicht die in dem Programm vermittelten Strategien aktiviert werden müssen und mit dem Kriteriumsmaß überprüft werden können.

Question 20

Warum sind Follow-Up gut?

Answer 20

Längerfristig verfügbare L-Kompetenzen liegen vor, wenn zum Zeitpunkt des Follow-Up noch Vorteile gegenüber der Vergleichsgruppe erzielt werden. Diese sind immer an zeitlichen Transfer gebunden und unterliegen einer “Mindestwirkungsdauer”.

Der zeitliche Transfer fällt um so größer aus, je weiter die Follow-Up-Erhebung vom Ende der Intervention entfernt ist.

Question 21

ZIELADÄQUATHEIT

Answer 21

• Kriteriumsmaße sollen sich an den spezifischen internen und verbindlichen externen des Programmes orientieren / diese erfassen (und zB nicht zu programmnah sein)
• von Autoren vorgegebene Maße sind zu verwenden, aber kritisch auf Eignung zur Zielerfassung zu überprüfen und ggf. durch weitere / eigens konstruierte Maße zu ergänzen, die Alternativerklärungen für die festgestellte Effektivität hinreichend sicher ausschließen können (zB Vorwissenshypothese bei zu einfachem Test)
• mehrere Ziele –> mehrere Maße
• jeweils verschiedene Maße für Nah-/Fernziele
• Maße für Neben- und Folgewirkungen wünschenswert

Question 22

TRANSFERABSTAND

Answer 22

• falls verbindliche Ziele in L-ST oder L-AT-Kompetenzen bestehen, sind die eingesetzten Kriteriumsmaße so entwickelt, dass die erfolgreiche Aufgabenbearbeitung nicht ohne den entsprechenden Transfer möglich ist.
• für AT / ST den Programmaufgaben /-kontexten hinreichend unähnliche Kriteriumsmaße
• für L-Kompetenzen mind. 1 Follow up erforderlich

Question 23

surplus: Nenne Gütemerkmale für Kriteriumsmaße.

Answer 23

1. Zieladäquatheit
2. Transferabstand
3. Ausgewogenheit bei vergleichenden Evaluationen
4. Validität und Reliabilität
5. Ermittlung wichtiger Moderatorvariablen für die Kriteriumsmaße

Question 24

surplus: Wann ist ein Kriteriumsmaß “valide”?

Answer 24

• wenn es einen Schluss von der Wirksamkeit auf die dieser möglicherweise zugrundeliegenden Wirkungen erlaubt?

Question 25

surplus: Nenne einen Nachteil der Einzelfallanalyse.

Answer 25

weniger intern valide (bei einer einzelnen Person können zufällig tausend andere Gründe für eine Veränderung vorliegen)