6 Wirksamkeit von Interventionen, Kriteriumsmaße Flashcards
Wozu Wirksamkeitshypothesen?
Damit die Wirksamkeit einer Intervention empirisch untersucht werden kann.
H0: Programm ist nicht hinsichtlich seiner Ziele wirksam, es erreicht seine Ziele nicht
H1: Programm ist hinsichtlich seiner Ziele wirksam, es erreicht seine Ziele
Auf welche 3 Faktoren soll die summative Erfolgsevaluation Antworten geben?
1) Auftreten / Nichtauftreten der Wirkungen (“ob & wenn ja, welche?”)
2) Intensität dieser Wirkungen (“wie groß?”)
3) Dauer / zeitlicher Transfer (“wie lange?” )
Nenne die 2 wichtigsten allgemeinen Wirksamkeitskriterien!
- Statistische Signifikanz
2. Effektgrößen
Wovon ist die statistische Signifikanz abhängig? (3)
- Signifikanzniveau,
- Stichprobengröße und
- empirischem Effekt
Wie wird die statistische Signifikanz ausgedrückt?
Überschreitungswahrscheinlichkeit p (p-Wert)
Nenne 2 Vorteile der statistischen Signifikanz!
+ Hinweis darauf, dass Wirkungen über Zufallsschwankungen hinaus vorliegen
+ Funktion eines Entscheidungskriteriums
Nenne 2 Nachteile der statistischen Signifikanz!
- Häufige Fehlinterpretationen: z.B. Je kleiner p, desto wahrscheinlicher H1…
- Schwierigkeit bei Fällen, in denen die H0 “gestützt” werden soll
- Statistische Signifikanz inhaltliche Relevanz?
Welche beiden Funktionen können Effektgrößen darstellen?
1 Distanzmaß:
Ausmaß der Unterschiedlichkeit zwischen 2 oder mehr Populationen
2 Zusammenhangsmaß:
Ausmaß des Zusammenhangs zwischen der Zuordnung zu einer der Populationen und den Werten einer AV
Nenne 2 Vorteile von Effektgrößen!
+ plausible numerische Operationalisierung der Wirkungsintensität
+ erlauben Untersuchung von Transferintensität
Nenne 2 Nachteile von Effektgrößen!
- verschiedene Effektgrößen aufgrund Abhängigkeit von Zufallsschwankungen, Personen etc. nicht vergleichbar
- fehlende Entscheidungsregel (Ab wann ist Effekt “bedeutsam”?)
Erkläre was mit der “groben Aufgabenteilung” von statistischer Signifikanz und Effektgrößen gemeint ist.
A
Statistische Signifikanz als Antwort auf Frage, ob eine Wirkung vorliegt
B
Effektgrößen als Antwort auf Frage, wie intensiv diese ist
Nenne die Richtwerte für: d
klein: .10
mittel: .30
groß: .50
Nenne die Richtwerte für: eta quadrat
klein: .01
mittel: .06
groß: .14
Was sind Kriteriumsmaße?
Maße, die geeignet sind, interne Ziele psychologischer Interventionsmaßnahmen zu erfassen.
Was sind „interne Ziele psychologischer Interventionsmaßnahmen“?
Positive Veränderungen in einem bestimmten als besonders förderungswürdig oder rehabilitationsbedürftig angesehenen Bereich des Erlebens/Verhaltens.
Beispiele:
Verbesserung der Intelligenz, Persönlichkeitsveränderungen, Reduktion von Symptomen, Eignung für eine spezielle Tätigkeit
Inwiefern ist das Kriteriumsmaß beim Coaching durch das Programm schon festgelegt?
Will man beispielsweise die Leistung in einem bestimmten Intelligenztest (internes Ziel) coachen, so ist damit das Kriteriumsmaß (Steigerung der Leistungspunkte des Intelligenztests) vorgegeben, an dem sich das Programm zu orientieren hat.
Wie ist der Zusammenhang von Kriteriumsmaßen und Programmaufgaben bei Training, Unterricht, Beratung und Therapie?
Das Ausmaß an Transfer von Programm- zu Kriteriumsaufgaben bildet ein Kontinuum, an dessen Endpunkt maximale Ähnlichkeit (wie bei Coaching) und maximale Unänhlichkeit stehen (, die noch Transfer zulässt).
Was beschreibt das Problem “Programmnähe” in Bezug auf die Evaluation von Interventionsprogrammen
Die Programmnähe bezeichnet die relative Ähnlichkeit von Programmaufgaben und Kriteriumsaufgaben. Es gibt derzeit keine Möglichkeit diese Programmnähe zu quantifizieren! (Ergo: Es helfen nur subjektive und Expertenschätzungen.)
Erkläre, warum die “Vorwissen-Hypothese” in Bezug auf die Evaluation von Interventionsprogrammen ein Problem darstellt.
Die Teilnehmer verfügen bereits über das erforderliche Vorwissen, um den programmfernen Test (Nachtest) korrekt zu bearbeiten. Die Wissensbasis reicht für die erfolgreiche Bearbeitung aus, sodass nicht die in dem Programm vermittelten Strategien aktiviert werden müssen und mit dem Kriteriumsmaß überprüft werden können.
Warum sind Follow-Up gut?
Längerfristig verfügbare L-Kompetenzen liegen vor, wenn zum Zeitpunkt des Follow-Up noch Vorteile gegenüber der Vergleichsgruppe erzielt werden. Diese sind immer an zeitlichen Transfer gebunden und unterliegen einer “Mindestwirkungsdauer”.
Der zeitliche Transfer fällt um so größer aus, je weiter die Follow-Up-Erhebung vom Ende der Intervention entfernt ist.
ZIELADÄQUATHEIT
- Kriteriumsmaße sollen sich an den spezifischen internen und verbindlichen externen des Programmes orientieren / diese erfassen (und zB nicht zu programmnah sein)
- von Autoren vorgegebene Maße sind zu verwenden, aber kritisch auf Eignung zur Zielerfassung zu überprüfen und ggf. durch weitere / eigens konstruierte Maße zu ergänzen, die Alternativerklärungen für die festgestellte Effektivität hinreichend sicher ausschließen können (zB Vorwissenshypothese bei zu einfachem Test)
- mehrere Ziele –> mehrere Maße
- jeweils verschiedene Maße für Nah-/Fernziele
- Maße für Neben- und Folgewirkungen wünschenswert
TRANSFERABSTAND
- falls verbindliche Ziele in L-ST oder L-AT-Kompetenzen bestehen, sind die eingesetzten Kriteriumsmaße so entwickelt, dass die erfolgreiche Aufgabenbearbeitung nicht ohne den entsprechenden Transfer möglich ist.
- für AT / ST den Programmaufgaben /-kontexten hinreichend unähnliche Kriteriumsmaße
- für L-Kompetenzen mind. 1 Follow up erforderlich
surplus: Nenne Gütemerkmale für Kriteriumsmaße.
- Zieladäquatheit
- Transferabstand
- Ausgewogenheit bei vergleichenden Evaluationen
- Validität und Reliabilität
- Ermittlung wichtiger Moderatorvariablen für die Kriteriumsmaße
surplus: Wann ist ein Kriteriumsmaß “valide”?
- wenn es einen Schluss von der Wirksamkeit auf die dieser möglicherweise zugrundeliegenden Wirkungen erlaubt?
surplus: Nenne einen Nachteil der Einzelfallanalyse.
weniger intern valide (bei einer einzelnen Person können zufällig tausend andere Gründe für eine Veränderung vorliegen)
