Methoden der Zielskalierung & Ergebnisevaluation Flashcards
Definition Veränderungsmessung:
Beschreiben, ggf. Erklären & Vorhersagen wahrer Merkmalsveränderungen von mindestens einer Person über mindestens zwei Zeitpunkte
• Endogene Merkmalsfluktuationen
: z.B. selbstaktivierte individuelle personale & soziale Ressourcen→„spontane Remission“
• Exogene Merkmalsfluktuationen:
durch Wirkung exogener Intervention induzierte Merkmalsveränderung
• Ziele der Veränderungsmessung
– Efficacy: Wirksamkeitsnachweis im Labor
– Effectiveness: Brauchbarkeit in Routinepraxis
– Efficiency: Wirtschaftlichkeit der Intervention
– Efficacy:
Wirksamkeitsnachweis im Labor
– Effectiveness:
Brauchbarkeit in Routinepraxis
– Efficiency:
Wirtschaftlichkeit der Intervention
Evaluation:
systematische, wissenschaftlich fundierte Bewertung interventions- psychologischer Maßnahmen aufgrund empirisch gewonnener Datenbasis
• Intern:
durch eigene Mitarbeiter durchgeführt
• Extern:
durch fremde Mitarbeiter durchgeführt
§§ 135-138 im SGB V:
Qualitätssicherung in der Gesundheitsversorgung
Qualitätssicherung: verschiedene Ansätze und Maßnahmen zur systematischen & kontinuierlichen Hinterfragung, Bewertung, Förderung und ggf.- Verbesserung der Qualität gesundheitsbezogener Dienstleistungen/Interventionen (Versorgungspraxis)
Evaluation von GP-Interventionen
- Ergebnis- oder Erfolgsevaluation
(War die Intervention/die Sitzung erfolgreich?)
Bezieht sich auf die Interventionsziele & hat zwei Perspektiven
a. Ergebnisperspektive bzw. -evaluation
Aufgabe: Effekte der Intervention abschließend erfassen, Wirksamkeits- nachweis erbringen
= summative Evaluation
b.Verlaufsperspektive bzw. - evaluation
Gegenstand: Entwicklung der Veränderung, Annähe- rung an Interventionsziele, adaptive Veränderungen
= formative Evaluation
= Qualitätssicherung: Ergebnisqualität-Monitoring
2.Prozessevaluation
(Was hat wie gewirkt?)
Bezieht sich auf den Interventionsprozess
a.Aufgabe: Entwicklung des Interventionsprozesses auf personaler & interpersonaler Ebene erfassen (z.B. Diagnostik der Wirkfaktoren mit Berner Stundenbogen)
=Qualitätssicherung:
Prozessqualität-Monitoring5
Interventionszielverwirklichung: Goal Attainment Scale (Schäfer & Kolip, 2010, 2011)
Inhalt:
Erfassen des Grades der Erreichung selbstgesteckter Ziele
Interventionszielverwirklichung: Goal Attainment Scale
Schritt 1:
Festlegung eines/mehrerer Ziele, ggf. von Ober- & Unterzielen
Ziele sollen SMART formuliert werden
S – spezifisch (konkret, eindeutig & präzise formuliert)
M – messbar (Erfolgskriterium, das sich überprüfen lässt →Woran genau merke ich, dass das Ziel erreicht ist?)
A – aktionsorientiert & attraktiv
(positiv & aktionsorientiert formuliertes Ziel→Vorfreude) R – realistisch (unter eigener Kontrolle, erreichbar)
T – terminiert (bis wann soll Ziel erreicht sein)
S –
spezifisch (konkret, eindeutig & präzise formuliert)
M –
messbar (Erfolgskriterium, das sich überprüfen lässt →Woran genau merke ich, dass das Ziel erreicht ist?)
A –
aktionsorientiert & attraktiv
positiv & aktionsorientiert formuliertes Ziel→Vorfreude
R –
realistisch (unter eigener Kontrolle, erreichbar)
T –
terminiert (bis wann soll Ziel erreicht sein)
Interventionszielverwirklichung: Goal Attainment Scale (Schäfer & Kolip, 2010, 2011)
Schritt 2:
Bilden messbarer Kriterien/Indikatoren, die angeben, wie die Zielerreichung festgestellt werden kann (Indikator ergibt sich oft aus Maßnahme der Zielerreichung)
Indikatoren sollen ZWERG sein
Z - Zentrale Bedeutung (Indikator liefert aussagekräftige
Hinweise auf jeweiliges Ziel)
W - Wirtschaftlichkeit (Erhebungsaufwand ist vertretbar)
E - Einfachheit (Indikator gut verständlich & nachvollziehbar) R - Rechtzeitigkeit (Daten zu nützlichem Zeitpunkt verfügbar) G - Genauigkeit (Indikator bietet verlässlichen Maßstab)
Z -
Zentrale Bedeutung (Indikator liefert aussagekräftige Hinweise auf jeweiliges Ziel)
W -
Wirtschaftlichkeit (Erhebungsaufwand ist vertretbar)
E -
Einfachheit (Indikator gut verständlich & nachvollziehbar)
R -
Rechtzeitigkeit (Daten zu nützlichem Zeitpunkt verfügbar)
G -
Genauigkeit (Indikator bietet verlässlichen Maßstab)
Interventionszielverwirklichung: Goal Attainment Scale (Schäfer & Kolip, 2010, 2011)
Schritt 3:
Bilden der 5-stufigen Zielskala
Schritt 3: Bilden der 5-stufigen Zielskala
\+2 = viel mehr als erwartet \+1 = mehr als erwartet 0 = realistischer Sollwert, folgt direkt aus ZWERG-Indikator -1 = weniger als erwartet -2 = viel weniger als erwartet
Interventionszielverwirklichung: Goal Attainment Scale (Schäfer & Kolip, 2010, 2011)
Schritt 4:
Prüfen der gebildeten Zielerreichungsskala auf Korrektheit
Wichtig : Zielerreichungsskala sollte …
a) möglichst nur 1 Indikator enthalten
b) keine Überschneidungen/Lücken zwischen den Stufen aufweisen
c) alle fünf Zielerreichungsgrade ausformuliert vorliegen
d) Auf jeder Stufe eindeutig und verständlich formuliert sein
Schritt 5:
Bewertung der Zielerreichung
• Vorgehen: partizipativ zum vorher festgelegten Zeitpunkt
• Bewertung der Indikatoren: z.T. direkt, z.T. unter Rückgriff auf weitere
diagnostische Verfahren (Tests, Fragebögen…) & Begleitdokumentation
Indirekte Veränderungsmessung: RCI (Krampen & Hank, 2008; Schmidt-Atzert & Amelang, 2012)
Idee:
relevante (meist symptomorientierte, änderungssensitve) Verfahren zu Beginn und Ende der Intervention vorgelegt→aus beobachteter Differenz indirekt auf erfolgte Veränderung geschlossen
Veränderungsindex („reliable change index“ RCI oder RC):
- Frage: Hat sich Person nach Intervention tatsächlich /überzufällig geändert?
- RCI-Rationale: Differenz der Prä-Post-Werte im Verhältnis zum Standardmessfehler der Differenzen in der Referenzstichprobe → z-verteilt
Interpretation RCI:
reliable Veränderung, wenn |RCI| > 1.96, p < .05
Klinische Relevanz einer Veränderung:
Beurteilung abhängig von Zielen & Standards, die neben der rein statistischen Beurteilung der Veränderung auch von Normen des Klienten, Intervenierenden, sozialrechtlichen Systemen etc. abhängen können
klinisch bedeutsamen Symptomreduktion (Jacobson & Truax, 1991):
• notwendig: Merkmal war vor der Intervention im klinisch sign. Bereich (z.B.
über 2 SD vom Mittel entfernt)!
• nach Intervention: bestenfalls Heilung (Symptomfreiheit)
• oder: zumindest merkliche Symptom- bzw. Problemreduktion (d.h. Wechsel von „Population mit Störung“→„gesunder Population“)
3 Operationalisierungen für klinisch bedeutsame Symptomreduktion (Jacobson & Truax, 1991)
a) Ausmaß der Symptomatik liegt nach der Intervention mindestens 2 SD unter dem Mittelwert der „Population mit Störung“
b) Ausmaß der Symptomatik liegt nach der Intervention innerhalb von M 2 SD einer nicht gestörten Population
c) Symptomausprägung liegt nach der Intervention näher am Mittelwert der nicht gestörten Population als am Mittelwert der gestörten Population
Problem: je nach Kriterium kann Einschätzung der klinischen Bedeutsamkeit unterschiedlich ausfallen!
• Kriterium a:
Normwerte nur für klinische Population verfügbar
• Kriterium b:
Normwerte für „gesunde“ & „klinische“ Population verfügbar & beide Verteilungen überlappen wenig→Kriterium b näher am Mittel der „gesunden“ Gruppe als Kriterium c (Kriterium b ist hier „strenger“)
• Kriterium c:
beide Verteilungen überlappen stärker (Kriterium b weiter vom Mittel der „gesunden“ Gruppe entfernt) →„strengeres“ Kriterium c 1
Klinisch bedeutsame Verbesserung ist gegeben, wenn
- Ausgangswert vor Intervention hat klinisch relevante Ausprägung und
- Veränderungsindex |RCI| > 1.96 (Änderung ist signifikant) und
- Ausprägung der Symptomatik unterschreitet nach der Intervention einen bestimmten Schwellenwert in Richtung des Mittelwertes der nichtklinischen Population (prüfe Kriterien nach Jacobson & Truax)
Folge: Personen können sich zwar in ihrer Symptomausprägung signifikant ändern, sind aber ggf. nicht notwendig auch „symptomfrei“ oder „geheilt“
Indirekte Veränderungsmessung: Vorteile
- Pro: Weniger anfällig für absichtliche Verzerrungen
2. Pro: Guter Indikator für „objektivierbare“ Veränderungen
Indirekte Veränderungsmessung: Nachteile
Systematische Fehlerquellen:
• Erinnerungseffekte: Erinnern an und Wiederholen von früheren Antworten (insbesondere bei kurzen Messabständen)
• Testübung: Vertrautheit mit Testmaterial beeinflusst Testperformanz (z.B. vebessert bei IQ-Test die Testleistung)
• Sensibilisierung für Fragestellung: aufgrund der ersten Befragung wird erwartetes Antwortverhalten antizipiert und ausgeführt (oder verweigert)
• Zwischenzeitliches Geschehen: außerhalb der Intervention liegende Einflüsse auf Zielverhalten (z.B. Bombendrohungen bei Flugangst)
• Response shift: subjektive Repräsentation des Merkmals und damit die Validität des Messverfahrens verändern sich über die Zeit (z.B. Verständnis von Depression)
• Regression zur Mitte: bei extremen Ausgangswerte sind größere Änderungen zu erwarten als bei moderaten→„wahre“ Veränderung überschätzt (Artefakt)
• ggf. geringe Reliabilität der Differenzwerte
• Verfahren muss anderungssensitiv sein: dies erfordert …
• veränderbares Merkmal (States statt zeitstabile Traits oder Gewohnheit)
• Beurteilungszeitraum (z.B. 7 Tage) < Interventionszeitraum (z.B. 8 Wochen)
• Itemschwierigkeit (nicht zu schwer, nicht zu leicht)
• feiner differenzierte Skalenstufen
• Physikalismus-Subjektivismus-Dilemma: entspricht Messwertkontinuum einem Kontinuum auf subjektiv-psychologischer Ebene?
• Folge: gleiche Differenzwerte zwischen verschiedenen Punkten der Skala haben ggf. andere subjektive Bedeutung (z.B. 75→65 vs. 55→45)
• Erinnerungseffekte:
Erinnern an und Wiederholen von früheren Antworten (insbesondere bei kurzen Messabständen)
• Testübung:
Vertrautheit mit Testmaterial beeinflusst Testperformanz (z.B. vebessert bei IQ-Test die Testleistung)
• Sensibilisierung für Fragestellung:
aufgrund der ersten Befragung wird erwartetes Antwortverhalten antizipiert und ausgeführt (oder verweigert)
• Zwischenzeitliches Geschehen:
außerhalb der Intervention liegende Einflüsse auf Zielverhalten (z.B. Bombendrohungen bei Flugangst)
• Response shift:
subjektive Repräsentation des Merkmals und damit die Validität des Messverfahrens verändern sich über die Zeit (z.B. Verständnis von Depression)
• Regression zur Mitte:
bei extremen Ausgangswerte sind größere Änderungen zu erwarten als bei moderaten→„wahre“ Veränderung überschätzt (Artefakt)
• ggf. geringe Reliabilität der Differenzwerte
• Verfahren muss anderungssensitiv sein: dies erfordert …
- veränderbares Merkmal (States statt zeitstabile Traits oder Gewohnheit)
- Beurteilungszeitraum (z.B. 7 Tage) < Interventionszeitraum (z.B. 8 Wochen)
- Itemschwierigkeit (nicht zu schwer, nicht zu leicht)
- feiner differenzierte Skalenstufen
• Physikalismus-Subjektivismus-Dilemma:
entspricht Messwertkontinuum einem Kontinuum auf subjektiv-psychologischer Ebene?
• Folge: gleiche Differenzwerte zwischen verschiedenen Punkten der Skala haben ggf. andere subjektive Bedeutung (z.B. 75→65 vs. 55→45)
Direkte Veränderungsmessung:Idee:
subjektive Messwertskala der Person direkt zum Vergleich herangezogen →erfasst in 1 Messung für gegebenen Zeitraum subjektiv erlebte Änderung
• Instrumente der direkten Veränderungsmessung
- retrospektive Einschätzung der Zufriedenheit mit Ergebnis
- Goal Attainment Scaling
- Veränderungsfragebogen des Erlebens & Verhaltens (VEV-K; Kriebel et al., 2001)
- Veränderungsfragebogen zum Entspannungserleben und Befinden – Psychotherapie (VFE-PT)
Vergleichsnormen: direkte Veränderungsmessung
experimentelle Designs→Vergleich der Nachtest- Ergebnisse der Experimentalgruppe mit Änderungen in Wartegruppe
Veränderungsfragebogen zum Entspannungserleben und befinden – Psychotherapie (VFE-PT) (Krampen, 2010)
• Veränderungsnormen: durch
Vergleich von Therapie- & Wartegruppe
Direkte Veränderungsmessung: Vorteile
- Pro: keine Regressionseffekte & Reliabilitäts-Validitäts-Probleme
- Pro: ökonomischer (1-Punkt-Messung) Indikator subjektiv erlebter Änderung
Direkte Veränderungsmessung: Nachteile
• Konfirmationseffekt: Antwortverhalten bestätigt die vorgefasste Erwartung
• selektive Informationsgewichtung: stärkere Gewichtung von Ereignissen zu
Beginn und/oder am Ende der Intervention (Primacy & Recency-Effekt)
• Abweichungen von ursprünglicher Erwartung/ Zustand unterschätzt
(Assimilationseffekt) oder überschätzt (Kontrasteffekt)
• Response-Shift: Merkmalsrepräsentation subjektiv verändert
• Antworttendenzen (bei Krampen, 2010, kein Problem)
• Erinnerungsprobleme (bei längerem Interventionsprozess & Gedächtnisproblem)
• Konfirmationseffekt:
Antwortverhalten bestätigt die vorgefasste Erwartung
• selektive Informationsgewichtung:
stärkere Gewichtung von Ereignissen zu
Beginn und/oder am Ende der Intervention (Primacy & Recency-Effekt)
• Abweichungen von ursprünglicher Erwartung/ Zustand unterschätzt
(Assimilationseffekt) oder überschätzt (Kontrasteffekt)
• Response-Shift:
Merkmalsrepräsentation subjektiv verändert
• Antworttendenzen
(bei Krampen, 2010, kein Problem)
• Erinnerungsprobleme
(bei längerem Interventionsprozess & Gedächtnisproblem)
• direkte & indirekte Veränderungsmessung haben
z.T. unterschiedliche Vor- und Nachteile
• direkte Veränderungsmessung keine
Alternative zur indirekten Messung
• direkte & indirekte Veränderungsmessung sind
komplementäre (d.h. einander ergänzende) Methoden der Veränderungsmessung
• gut abgesichertes Interventionsergebnis:
nach Prinzip multimethodaler und multimodaler Messung direkte und indirekte Methode kombinieren
• positiv für Einzelfall:
indirekte und direkte Messung sind konsistent
• Inkonsistenz direkt & indirekt:
Abwägen der Bedeutsamkeit der Fehlerquellen beider Strategien für den jeweiligen Einzelfall→in Urteil einbeziehen (z.B. Vergesslichkeit & VEV-K bei großen Intervallen)
