Methoden der Zielskalierung & Ergebnisevaluation Flashcards

1
Q

Definition Veränderungsmessung:

A

Beschreiben, ggf. Erklären & Vorhersagen wahrer Merkmalsveränderungen von mindestens einer Person über mindestens zwei Zeitpunkte

How well did you know this?
1
Not at all
2
3
4
5
Perfectly
2
Q

• Endogene Merkmalsfluktuationen

A

: z.B. selbstaktivierte individuelle personale & soziale Ressourcen→„spontane Remission“

How well did you know this?
1
Not at all
2
3
4
5
Perfectly
3
Q

• Exogene Merkmalsfluktuationen:

A

durch Wirkung exogener Intervention induzierte Merkmalsveränderung

How well did you know this?
1
Not at all
2
3
4
5
Perfectly
4
Q

• Ziele der Veränderungsmessung

A

– Efficacy: Wirksamkeitsnachweis im Labor
– Effectiveness: Brauchbarkeit in Routinepraxis
– Efficiency: Wirtschaftlichkeit der Intervention

How well did you know this?
1
Not at all
2
3
4
5
Perfectly
5
Q

– Efficacy:

A

Wirksamkeitsnachweis im Labor

How well did you know this?
1
Not at all
2
3
4
5
Perfectly
6
Q

– Effectiveness:

A

Brauchbarkeit in Routinepraxis

How well did you know this?
1
Not at all
2
3
4
5
Perfectly
7
Q

– Efficiency:

A

Wirtschaftlichkeit der Intervention

How well did you know this?
1
Not at all
2
3
4
5
Perfectly
8
Q

Evaluation:

A

systematische, wissenschaftlich fundierte Bewertung interventions- psychologischer Maßnahmen aufgrund empirisch gewonnener Datenbasis

How well did you know this?
1
Not at all
2
3
4
5
Perfectly
9
Q

• Intern:

A

durch eigene Mitarbeiter durchgeführt

How well did you know this?
1
Not at all
2
3
4
5
Perfectly
10
Q

• Extern:

A

durch fremde Mitarbeiter durchgeführt

How well did you know this?
1
Not at all
2
3
4
5
Perfectly
11
Q

§§ 135-138 im SGB V:

A

Qualitätssicherung in der Gesundheitsversorgung
Qualitätssicherung: verschiedene Ansätze und Maßnahmen zur systematischen & kontinuierlichen Hinterfragung, Bewertung, Förderung und ggf.- Verbesserung der Qualität gesundheitsbezogener Dienstleistungen/Interventionen (Versorgungspraxis)

How well did you know this?
1
Not at all
2
3
4
5
Perfectly
12
Q

Evaluation von GP-Interventionen

A
  1. Ergebnis- oder Erfolgsevaluation
    (War die Intervention/die Sitzung erfolgreich?)
    Bezieht sich auf die Interventionsziele & hat zwei Perspektiven
    a. Ergebnisperspektive bzw. -evaluation
    Aufgabe: Effekte der Intervention abschließend erfassen, Wirksamkeits- nachweis erbringen
    = summative Evaluation
    b.Verlaufsperspektive bzw. - evaluation
    Gegenstand: Entwicklung der Veränderung, Annähe- rung an Interventionsziele, adaptive Veränderungen
    = formative Evaluation
    = Qualitätssicherung: Ergebnisqualität-Monitoring
    2.Prozessevaluation
    (Was hat wie gewirkt?)
    Bezieht sich auf den Interventionsprozess
    a.Aufgabe: Entwicklung des Interventionsprozesses auf personaler & interpersonaler Ebene erfassen (z.B. Diagnostik der Wirkfaktoren mit Berner Stundenbogen)
    =Qualitätssicherung:
    Prozessqualität-Monitoring5
How well did you know this?
1
Not at all
2
3
4
5
Perfectly
13
Q

Interventionszielverwirklichung: Goal Attainment Scale (Schäfer & Kolip, 2010, 2011)
Inhalt:

A

Erfassen des Grades der Erreichung selbstgesteckter Ziele

How well did you know this?
1
Not at all
2
3
4
5
Perfectly
14
Q

Interventionszielverwirklichung: Goal Attainment Scale

Schritt 1:

A

Festlegung eines/mehrerer Ziele, ggf. von Ober- & Unterzielen

How well did you know this?
1
Not at all
2
3
4
5
Perfectly
15
Q

Ziele sollen SMART formuliert werden

A

S – spezifisch (konkret, eindeutig & präzise formuliert)
M – messbar (Erfolgskriterium, das sich überprüfen lässt →Woran genau merke ich, dass das Ziel erreicht ist?)
A – aktionsorientiert & attraktiv
(positiv & aktionsorientiert formuliertes Ziel→Vorfreude) R – realistisch (unter eigener Kontrolle, erreichbar)
T – terminiert (bis wann soll Ziel erreicht sein)

How well did you know this?
1
Not at all
2
3
4
5
Perfectly
16
Q

S –

A

spezifisch (konkret, eindeutig & präzise formuliert)

How well did you know this?
1
Not at all
2
3
4
5
Perfectly
17
Q

M –

A

messbar (Erfolgskriterium, das sich überprüfen lässt →Woran genau merke ich, dass das Ziel erreicht ist?)

How well did you know this?
1
Not at all
2
3
4
5
Perfectly
18
Q

A –

A

aktionsorientiert & attraktiv

positiv & aktionsorientiert formuliertes Ziel→Vorfreude

How well did you know this?
1
Not at all
2
3
4
5
Perfectly
19
Q

R –

A

realistisch (unter eigener Kontrolle, erreichbar)

How well did you know this?
1
Not at all
2
3
4
5
Perfectly
20
Q

T –

A

terminiert (bis wann soll Ziel erreicht sein)

How well did you know this?
1
Not at all
2
3
4
5
Perfectly
21
Q

Interventionszielverwirklichung: Goal Attainment Scale (Schäfer & Kolip, 2010, 2011)

Schritt 2:

A

Bilden messbarer Kriterien/Indikatoren, die angeben, wie die Zielerreichung festgestellt werden kann (Indikator ergibt sich oft aus Maßnahme der Zielerreichung)

How well did you know this?
1
Not at all
2
3
4
5
Perfectly
22
Q

Indikatoren sollen ZWERG sein

A

Z - Zentrale Bedeutung (Indikator liefert aussagekräftige
Hinweise auf jeweiliges Ziel)
W - Wirtschaftlichkeit (Erhebungsaufwand ist vertretbar)
E - Einfachheit (Indikator gut verständlich & nachvollziehbar) R - Rechtzeitigkeit (Daten zu nützlichem Zeitpunkt verfügbar) G - Genauigkeit (Indikator bietet verlässlichen Maßstab)

How well did you know this?
1
Not at all
2
3
4
5
Perfectly
23
Q

Z -

A
Zentrale Bedeutung (Indikator liefert aussagekräftige
Hinweise auf jeweiliges Ziel)
How well did you know this?
1
Not at all
2
3
4
5
Perfectly
24
Q

W -

A

Wirtschaftlichkeit (Erhebungsaufwand ist vertretbar)

How well did you know this?
1
Not at all
2
3
4
5
Perfectly
25
Q

E -

A

Einfachheit (Indikator gut verständlich & nachvollziehbar)

How well did you know this?
1
Not at all
2
3
4
5
Perfectly
26
Q

R -

A

Rechtzeitigkeit (Daten zu nützlichem Zeitpunkt verfügbar)

How well did you know this?
1
Not at all
2
3
4
5
Perfectly
27
Q

G -

A

Genauigkeit (Indikator bietet verlässlichen Maßstab)

How well did you know this?
1
Not at all
2
3
4
5
Perfectly
28
Q

Interventionszielverwirklichung: Goal Attainment Scale (Schäfer & Kolip, 2010, 2011)

Schritt 3:

A

Bilden der 5-stufigen Zielskala

29
Q

Schritt 3: Bilden der 5-stufigen Zielskala

A
\+2
= viel mehr als erwartet
\+1
= mehr als erwartet
0
= realistischer Sollwert, folgt direkt aus ZWERG-Indikator
-1
= weniger als erwartet
-2
= viel weniger als erwartet
30
Q

Interventionszielverwirklichung: Goal Attainment Scale (Schäfer & Kolip, 2010, 2011)
Schritt 4:

A

Prüfen der gebildeten Zielerreichungsskala auf Korrektheit
Wichtig : Zielerreichungsskala sollte …
a) möglichst nur 1 Indikator enthalten
b) keine Überschneidungen/Lücken zwischen den Stufen aufweisen
c) alle fünf Zielerreichungsgrade ausformuliert vorliegen
d) Auf jeder Stufe eindeutig und verständlich formuliert sein

31
Q

Schritt 5:

A

Bewertung der Zielerreichung
• Vorgehen: partizipativ zum vorher festgelegten Zeitpunkt
• Bewertung der Indikatoren: z.T. direkt, z.T. unter Rückgriff auf weitere
diagnostische Verfahren (Tests, Fragebögen…) & Begleitdokumentation

32
Q

Indirekte Veränderungsmessung: RCI (Krampen & Hank, 2008; Schmidt-Atzert & Amelang, 2012)

Idee:

A

relevante (meist symptomorientierte, änderungssensitve) Verfahren zu Beginn und Ende der Intervention vorgelegt→aus beobachteter Differenz indirekt auf erfolgte Veränderung geschlossen

33
Q

Veränderungsindex („reliable change index“ RCI oder RC):

A
  • Frage: Hat sich Person nach Intervention tatsächlich /überzufällig geändert?
  • RCI-Rationale: Differenz der Prä-Post-Werte im Verhältnis zum Standardmessfehler der Differenzen in der Referenzstichprobe → z-verteilt
34
Q

Interpretation RCI:

A

reliable Veränderung, wenn |RCI| > 1.96, p < .05

35
Q

Klinische Relevanz einer Veränderung:

A

Beurteilung abhängig von Zielen & Standards, die neben der rein statistischen Beurteilung der Veränderung auch von Normen des Klienten, Intervenierenden, sozialrechtlichen Systemen etc. abhängen können

36
Q

klinisch bedeutsamen Symptomreduktion (Jacobson & Truax, 1991):

A

• notwendig: Merkmal war vor der Intervention im klinisch sign. Bereich (z.B.
über 2 SD vom Mittel entfernt)!
• nach Intervention: bestenfalls Heilung (Symptomfreiheit)
• oder: zumindest merkliche Symptom- bzw. Problemreduktion (d.h. Wechsel von „Population mit Störung“→„gesunder Population“)

37
Q

3 Operationalisierungen für klinisch bedeutsame Symptomreduktion (Jacobson & Truax, 1991)

A

a) Ausmaß der Symptomatik liegt nach der Intervention mindestens 2 SD unter dem Mittelwert der „Population mit Störung“
b) Ausmaß der Symptomatik liegt nach der Intervention innerhalb von M  2 SD einer nicht gestörten Population
c) Symptomausprägung liegt nach der Intervention näher am Mittelwert der nicht gestörten Population als am Mittelwert der gestörten Population

Problem: je nach Kriterium kann Einschätzung der klinischen Bedeutsamkeit unterschiedlich ausfallen!

38
Q

• Kriterium a:

A

Normwerte nur für klinische Population verfügbar

39
Q

• Kriterium b:

A

Normwerte für „gesunde“ & „klinische“ Population verfügbar & beide Verteilungen überlappen wenig→Kriterium b näher am Mittel der „gesunden“ Gruppe als Kriterium c (Kriterium b ist hier „strenger“)

40
Q

• Kriterium c:

A

beide Verteilungen überlappen stärker (Kriterium b weiter vom Mittel der „gesunden“ Gruppe entfernt) →„strengeres“ Kriterium c 1

41
Q

Klinisch bedeutsame Verbesserung ist gegeben, wenn

A
  1. Ausgangswert vor Intervention hat klinisch relevante Ausprägung und
  2. Veränderungsindex |RCI| > 1.96 (Änderung ist signifikant) und
  3. Ausprägung der Symptomatik unterschreitet nach der Intervention einen bestimmten Schwellenwert in Richtung des Mittelwertes der nichtklinischen Population (prüfe Kriterien nach Jacobson & Truax)
    Folge: Personen können sich zwar in ihrer Symptomausprägung signifikant ändern, sind aber ggf. nicht notwendig auch „symptomfrei“ oder „geheilt“
42
Q

Indirekte Veränderungsmessung: Vorteile

A
  1. Pro: Weniger anfällig für absichtliche Verzerrungen

2. Pro: Guter Indikator für „objektivierbare“ Veränderungen

43
Q

Indirekte Veränderungsmessung: Nachteile

A

Systematische Fehlerquellen:
• Erinnerungseffekte: Erinnern an und Wiederholen von früheren Antworten (insbesondere bei kurzen Messabständen)
• Testübung: Vertrautheit mit Testmaterial beeinflusst Testperformanz (z.B. vebessert bei IQ-Test die Testleistung)
• Sensibilisierung für Fragestellung: aufgrund der ersten Befragung wird erwartetes Antwortverhalten antizipiert und ausgeführt (oder verweigert)
• Zwischenzeitliches Geschehen: außerhalb der Intervention liegende Einflüsse auf Zielverhalten (z.B. Bombendrohungen bei Flugangst)
• Response shift: subjektive Repräsentation des Merkmals und damit die Validität des Messverfahrens verändern sich über die Zeit (z.B. Verständnis von Depression)
• Regression zur Mitte: bei extremen Ausgangswerte sind größere Änderungen zu erwarten als bei moderaten→„wahre“ Veränderung überschätzt (Artefakt)
• ggf. geringe Reliabilität der Differenzwerte
• Verfahren muss anderungssensitiv sein: dies erfordert …
• veränderbares Merkmal (States statt zeitstabile Traits oder Gewohnheit)
• Beurteilungszeitraum (z.B. 7 Tage) < Interventionszeitraum (z.B. 8 Wochen)
• Itemschwierigkeit (nicht zu schwer, nicht zu leicht)
• feiner differenzierte Skalenstufen
• Physikalismus-Subjektivismus-Dilemma: entspricht Messwertkontinuum einem Kontinuum auf subjektiv-psychologischer Ebene?
• Folge: gleiche Differenzwerte zwischen verschiedenen Punkten der Skala haben ggf. andere subjektive Bedeutung (z.B. 75→65 vs. 55→45)

44
Q

• Erinnerungseffekte:

A

Erinnern an und Wiederholen von früheren Antworten (insbesondere bei kurzen Messabständen)

45
Q

• Testübung:

A

Vertrautheit mit Testmaterial beeinflusst Testperformanz (z.B. vebessert bei IQ-Test die Testleistung)

46
Q

• Sensibilisierung für Fragestellung:

A

aufgrund der ersten Befragung wird erwartetes Antwortverhalten antizipiert und ausgeführt (oder verweigert)

47
Q

• Zwischenzeitliches Geschehen:

A

außerhalb der Intervention liegende Einflüsse auf Zielverhalten (z.B. Bombendrohungen bei Flugangst)

48
Q

• Response shift:

A

subjektive Repräsentation des Merkmals und damit die Validität des Messverfahrens verändern sich über die Zeit (z.B. Verständnis von Depression)

49
Q

• Regression zur Mitte:

A

bei extremen Ausgangswerte sind größere Änderungen zu erwarten als bei moderaten→„wahre“ Veränderung überschätzt (Artefakt)
• ggf. geringe Reliabilität der Differenzwerte

50
Q

• Verfahren muss anderungssensitiv sein: dies erfordert …

A
  • veränderbares Merkmal (States statt zeitstabile Traits oder Gewohnheit)
  • Beurteilungszeitraum (z.B. 7 Tage) < Interventionszeitraum (z.B. 8 Wochen)
  • Itemschwierigkeit (nicht zu schwer, nicht zu leicht)
  • feiner differenzierte Skalenstufen
51
Q

• Physikalismus-Subjektivismus-Dilemma:

A

entspricht Messwertkontinuum einem Kontinuum auf subjektiv-psychologischer Ebene?
• Folge: gleiche Differenzwerte zwischen verschiedenen Punkten der Skala haben ggf. andere subjektive Bedeutung (z.B. 75→65 vs. 55→45)

52
Q

Direkte Veränderungsmessung:Idee:

A

subjektive Messwertskala der Person direkt zum Vergleich herangezogen →erfasst in 1 Messung für gegebenen Zeitraum subjektiv erlebte Änderung

53
Q

• Instrumente der direkten Veränderungsmessung

A
  • retrospektive Einschätzung der Zufriedenheit mit Ergebnis
  • Goal Attainment Scaling
  • Veränderungsfragebogen des Erlebens & Verhaltens (VEV-K; Kriebel et al., 2001)
  • Veränderungsfragebogen zum Entspannungserleben und Befinden – Psychotherapie (VFE-PT)
54
Q

Vergleichsnormen: direkte Veränderungsmessung

A

experimentelle Designs→Vergleich der Nachtest- Ergebnisse der Experimentalgruppe mit Änderungen in Wartegruppe

55
Q

Veränderungsfragebogen zum Entspannungserleben und befinden – Psychotherapie (VFE-PT) (Krampen, 2010)
• Veränderungsnormen: durch

A

Vergleich von Therapie- & Wartegruppe

56
Q

Direkte Veränderungsmessung: Vorteile

A
  1. Pro: keine Regressionseffekte & Reliabilitäts-Validitäts-Probleme
  2. Pro: ökonomischer (1-Punkt-Messung) Indikator subjektiv erlebter Änderung
57
Q

Direkte Veränderungsmessung: Nachteile

A

• Konfirmationseffekt: Antwortverhalten bestätigt die vorgefasste Erwartung
• selektive Informationsgewichtung: stärkere Gewichtung von Ereignissen zu
Beginn und/oder am Ende der Intervention (Primacy & Recency-Effekt)
• Abweichungen von ursprünglicher Erwartung/ Zustand unterschätzt
(Assimilationseffekt) oder überschätzt (Kontrasteffekt)
• Response-Shift: Merkmalsrepräsentation subjektiv verändert
• Antworttendenzen (bei Krampen, 2010, kein Problem)
• Erinnerungsprobleme (bei längerem Interventionsprozess & Gedächtnisproblem)

58
Q

• Konfirmationseffekt:

A

Antwortverhalten bestätigt die vorgefasste Erwartung

59
Q

• selektive Informationsgewichtung:

A

stärkere Gewichtung von Ereignissen zu

Beginn und/oder am Ende der Intervention (Primacy & Recency-Effekt)

60
Q

• Abweichungen von ursprünglicher Erwartung/ Zustand unterschätzt

A

(Assimilationseffekt) oder überschätzt (Kontrasteffekt)

61
Q

• Response-Shift:

A

Merkmalsrepräsentation subjektiv verändert

62
Q

• Antworttendenzen

A

(bei Krampen, 2010, kein Problem)

63
Q

• Erinnerungsprobleme

A

(bei längerem Interventionsprozess & Gedächtnisproblem)

64
Q

• direkte & indirekte Veränderungsmessung haben

A

z.T. unterschiedliche Vor- und Nachteile

65
Q

• direkte Veränderungsmessung keine

A

Alternative zur indirekten Messung

66
Q

• direkte & indirekte Veränderungsmessung sind

A

komplementäre (d.h. einander ergänzende) Methoden der Veränderungsmessung

67
Q

• gut abgesichertes Interventionsergebnis:

A

nach Prinzip multimethodaler und multimodaler Messung direkte und indirekte Methode kombinieren

68
Q

• positiv für Einzelfall:

A

indirekte und direkte Messung sind konsistent

69
Q

• Inkonsistenz direkt & indirekt:

A

Abwägen der Bedeutsamkeit der Fehlerquellen beider Strategien für den jeweiligen Einzelfall→in Urteil einbeziehen (z.B. Vergesslichkeit & VEV-K bei großen Intervallen)