Evaluation Flashcards
Evaluationsgegenstand und -kriterium
S21
Evaluationsgegenstand: Objekt, das bewertet werden soll (Programm, Training, Therapie …)
Evaluationskriterium: drückt aus, auf welcher Basis der Gegenstand bewertet werden soll. (Wirksamkeit, Transfererfolg, Kosten-Nutzen, Bedarf, Akzeptanz, Nachhaltigkeit, State of the Art)
Rahmenbedingungen, unter denen Evaluation stattfindet.
S 23 ff
Evaluation im Feld vs. Labor
parteiliche Evaluation vs. objektive (überparteiliche)
geschlossene vs. offene Evaluation
vertrauliche vs. öffentliche Evaluation
parteiliche vs. objektive Evaluation
S 27
Begriffe beziehen sich auf die Rolle des Evaluators.
Parteilich -> bestimmtes erwünschtes Ergebnis wahrscheinlicher (indiskutabel).
Objektiv ist eine Evaluation, wenn keine Begünstigung gegeben ist.
geschlossene vs. offene Evaluation
S 27
bezieht sich auf die Konkretheit des Auftrags.
Geschlossen: die Fragestellung der Evaluation ist im Vorfeld genau definiert
Offen: Bestimmung der Fragestellung, Methoden, Hypothesen sind selbst Gegenstand des Evaluationsprozesses.
Achtung 2. Interpretation:
offen und geschlossen hinsichtlich der Öffentlichkeit von Ergebnissen
Auch vertrauliche vs. öffentliche Evaluation
Evaluationsmodelle (Welche Zielsetzungen stehen im Vordergrund?)
S 28
Praxisorientierte Evaluation
Entwicklungsorientierte Evaluation
Theorieorientierte Evaluation
Praxisorientierte Evaluation
S 28
Ein gegebenes Projekt wird danach beurteilt, wie es sich in der Praxis bewährt und welche Effekte es hervorgebracht hat.
Entwicklungsorientierte Evaluation
S 28
Die Ergebnisse einer bereits stattgefundenen Evaluation dienen der Verbesserung ähnlicher Maßnahmen in der Zukunft. Ein Lerneffekt für nachfolgende Maßnahmen wird erzielt.
Theorieorientierte Evaluation
S 28
Ziel ist die Optimierung und Testung der zugrundeliegenden Theorie einer Maßnahme. ZB. unterschiedliche theoretische Modelle über Genese von Migräne ableiten und auf Basis erhobener Daten testen.
Ausrichtung der Evaluation (Woran orientiert sich die Evaluation - global oder differenziert? Geht es um die Frage was eingesetzt werden muss oder was rauskommt?)
S 28 ff
Makroevaluation Mikroevaluation Programmevaluation Inputevaluation Complianceevaluation Outputevaluation
Makroevaluation
S 28
Es geht um die Gesamtbewertung des Evaluationsgegenstands
Mikroevaluation
S 29
Einzelne Aspekte des Evaluationsobjekts werden beurteilt.
Programmevaluation
S 29
Die Evaluatoren haben die Aufgabe, Programmsteuerung und Planung zu unterstützen,
die Wirkungen des vorab definierten Programms analysieren
Erfolgsfaktoren und Hindernisse für die Etablierung oder Fortsetzung des Programms identifizieren
Inputevaluation
S 29
Rahmenbedingungen stellen den Evaluationsgegenstand dar.
Unter welchen Randbedingungen wird eine Evaluation begonnen?
Welche Ressourcen stehen zur Verfügung?
Welche Qualität besitzen die verwendeten Materialien?
Welche Zeitspanne steht zur Verfügung?
Complianceevaluation
S 29
Das Verhalten von Betroffenen im Kontext einer Intervention wird evaluiert.
Ist besonders in der Medizin und Psychotherapier von Bedeutung (Mitarbeit des Klienten) - Fidelity of Clients.
Die Compliance ist eine zentrale Randbedingung einer Intervention und gleichzeitig zentral für ihre Wirkwahrscheinlichkeit.
Outputevaluation
S 29
Es wird bewertet was die Maßnahme letztendlich gebracht hat –> summative Evaluation
Kategorisierung von Evaluation nach Zeitpunkten der Evaluation
S 29
Vor Beginn der Maßnahme:
prospektive und prognostische Evaluation
während der Maßnahme
Prozessevaluation (Ziel der Optimierung einer Maßnahme während der Maßnahme - Zwischenevaluationen)
nach Abschluss der Maßnahme
Ergebnisevaluation (=entspricht Outputevaluation)
Unterscheidung prognostische vs. prospektive Evaluation
S 29
prognostisch: Im Vorfeld einer Maßnahme wird evaluiert um Prognose zu stellen (oft geringe Validität!)
prospektiv: Auch auf Zukunft gerichtet, jedoch:
Prüfung und Schaffung von Voraussetzungen und Rahmenbedingungen, welche die Wirksamkeit einer geplanten Maßnahme positiv zu beeinflussen bzw. zu sichern.
Maßnahme wird unter den gegebenen Bedingungen bewertet, bevor sie implementiert wird.
Hawthorne-Effekt
S 68
Messwerte werden allein dadurch beeinflusst, dass eine Messung stattgefunden hat. (Probanden wissen, dass Messung stattfindet)
Rosenthal- oder Pygmalioneffekt
S 68
Versuchsleiter sendet unbew. Signale, und beeinflusst so die Antwort des Teilnehmers
(Quelle Validitätseinschränkung durch systematische äußere Einflüsse)
Unabsichtliche (unmotivierte) Verzerrungen und Verfälschungen
S 69
Primacy Effekt (1. Eindruck am stärksten)
Recency Effekt (letzte am besten im Gedächtnis)
Halo-Effekt
Bestätigungsfehler (confirmation bias)
Assimilationsfehler
Kontrasteffekt
Gefahren für die Konstruktvalidität psychologischer Messungen
S 67
Selbstdarstellungstendenz Soziale Erwünschtheitsneigung Aufforderungscharakter der Befragungssituation Hawthorne-Effekt Rosenthal-Effekt
