Evaluationsforschung

Question 1

Was sind “Stakeholder” im Kontext von Evaluationsforschung?

Answer 1

Stakeholder sind Anspruchsgruppen, die von der Evaluation betroffen oder daran beteiligt sind. Dazu gehören:

Zielgruppen (z.B. Patienten, Kunden),
Beteiligte (z.B. Produktentwickler, Verantwortliche, Entscheidungsträger),
Evaluationsklienten (die die Evaluation in Auftrag geben),
Evaluationsrespondenten (direkt an der Datenerhebung Teilnehmende, z.B. durch Interviews oder Fragebögen)

Question 2

Was sind Unterschiede zwischen formativer und summativer Evaluation?

Answer 2

Formative Evaluation: Begleitende, prozessbezogene Evaluation während einer Maßnahme. Ziel ist es, laufende Maßnahmen zu optimieren.
Summative Evaluation: Zusammenfassende Bewertung nach Abschluss der Maßnahme. Sie konzentriert sich auf die Beurteilung der Wirksamkeit und Effizienz

Question 3

Welche Methoden werden in der Evaluationsforschung eingesetzt?

Answer 3

In der Evaluationsforschung werden sowohl quantitative als auch qualitative Methoden verwendet. Oftmals kommen Mixed-Methods-Ansätze zum Einsatz, bei denen beide Arten von Daten kombiniert werden​

Question 4

Welche Evaluationskriterien gibt es?

Answer 4

Evaluationskriterien umfassen:

Vor der Durchführung: Umsetzbarkeit, Kosten, Zielgruppenbedarf.
Während der Durchführung: Prozessbewertung, Zielgruppenzufriedenheit, Anpassungsbedarf.
Nach der Durchführung: Wirksamkeit, Effizienz, Akzeptanz, Nachhaltigkeit, unerwünschte Wirkungen

Question 5

Welche verschiedenen Funktionen von Evaluationen gibt es?

Answer 5

Evaluationen können verschiedene Funktionen erfüllen:

Erkenntnisfunktion: Erweiterung des Wissens der Beteiligten.
Lern- und Dialogfunktion: Förderung des Dialogs zwischen verschiedenen Stakeholdern.
Optimierungsfunktion: Verbesserung des Evaluationsgegenstandes.
Entscheidungsfunktion: Bereitstellung von Entscheidungsgrundlagen.
Legitimationsfunktion: Rechtfertigung und Kontrolle von Maßnahmen​

Question 6

Anhand welcher Dimensionen und Aspekte kann man Evaluationsstudien unterscheiden?

Answer 6

Evaluationsstudien können unterschieden werden anhand von:

Rollenverteilung: Fremd- und Selbstevaluation.
Institutionelle Zugehörigkeit: Interne und externe Fremdevaluation.
Evaluationsfunktion: Formative und summative Evaluation.
Zeitpunkt: Konzept-, Prozess- und Ergebnisevaluation.
Methoden: Quantitative, qualitative oder Mixed-Methods​

Question 7

Welche experimentellen Evaluationsdesigns gibt es, wodurch unterscheiden sie sich und was sind ihre jeweiligen Vor- und Nachteile?

Answer 7

Eingruppen-Prä-Posttest-Design: Vergleich vor und nach der Intervention in einer Gruppe. Vorteil: Einfach durchzuführen; Nachteil: Keine Kontrollgruppe.
Prä-Post-Kontrollgruppen-Design: Vergleich zwischen Experimental- und Kontrollgruppe vor und nach der Intervention. Vorteil: Höhere interne Validität durch Vergleich; Nachteil: Aufwendiger.
Solomon-4-Gruppen-Design: Kombination von Prätest- und Posttest-Designs mit und ohne Kontrollgruppen, um die Wirkung des Vortests zu kontrollieren. Vorteil: Differenzierte Überprüfung der Maßnahmen; Nachteil: Sehr aufwendig​

Question 8

Welche Formen (und Unterformen) der ergebnisorientierten Evaluation gibt es?

Answer 8

Die ergebnisorientierte Evaluation kann sich auf die Wirksamkeit und/oder die Effizienz einer Maßnahme konzentrieren. Effizienzbewertung erfolgt durch:

Kosten-Effektivitäts-Analyse (CEA),
Kosten-Nutzwert-Analyse (CUA),
Kosten-Nutzen-Analyse (CBA)​

Question 9

Was unterscheidet i) Kosten-Effektivitäts-Analyse, ii) Kosten-Nutzwert-Analyse und iii) Kosten-Nutzen-Analyse?

Answer 9

Kosten-Effektivitäts-Analyse (CEA): Bewertet Kosten im Verhältnis zu einem natürlichen Wirkungsparameter (z.B. Euro pro kg Gewichtsverlust).
Kosten-Nutzwert-Analyse (CUA): Bewertet Kosten im Verhältnis zu einem subjektiven Nutzwert (z.B. Lebensqualität).
Kosten-Nutzen-Analyse (CBA): Monetarisiert sowohl die Kosten als auch den Nutzen einer Maßnahme (z.B. Zahlungsbereitschaft)​

Question 10

Was ist ein QALY und wofür wird es in welchem Evaluationsansatz verwendet?

Answer 10

QALY (Quality-Adjusted Life Year/Qualitätskorrigiertes Lebensjahr) ist ein Maß, das die Lebensdauer (T) und Lebensqualität (Q) kombiniert. Es wird in der Kosten-Nutzwert-Analyse (CUA) verwendet, um die Effizienz medizinischer Interventionen zu bewerten. Ein QALY von 1 bedeutet ein Jahr in voller Gesundheit, während ein QALY von 0 den Tod darstellt

Question 11

Was ist die Erkenntnisfunktion einer Evaluation?

Answer 11

Die Erkenntnisfunktion zielt darauf ab, wissenschaftliche Erkenntnisse über die Eigenschaften und Wirkungen des Evaluationsgegenstandes zu gewinnen. Diese Erkenntnisse sollen das Wissen der beteiligten Stakeholder erweitern​

Question 12

Was ist die Lern- und Dialogfunktion einer Evaluation?

Answer 12

Die Lern- und Dialogfunktion fördert den Austausch zwischen verschiedenen Stakeholdern, die während der Evaluation in Kontakt treten. Dies erfordert, dass Stakeholder aktiv in den Evaluationsprozess eingebunden werden​

Question 13

Was ist die Optimierungsfunktion einer Evaluation?

Answer 13

Die Optimierungsfunktion dient der zielgerichteten Verbesserung einer Maßnahme. Evaluationen können genutzt werden, um Schwachstellen zu identifizieren und konkrete Verbesserungsvorschläge zu erarbeiten​

Question 14

Was ist die Entscheidungsfunktion einer Evaluation?

Answer 14

Evaluationsergebnisse dienen oft als Grundlage für wichtige Entscheidungen, z.B. darüber, welche Maßnahmen weitergeführt, verändert oder beendet werden sollten. Dabei liefert die Evaluation Entscheidungshilfen, die die Maßnahmen bewerten

Question 15

Was ist die Legitimationsfunktion einer Evaluation?

Answer 15

Die Legitimationsfunktion sorgt dafür, dass durchgeführte Maßnahmen gerechtfertigt und kontrolliert werden. Dies ist besonders bei der Verwendung öffentlicher Mittel oder sensibler Maßnahmen wichtig, um Transparenz und Überparteilichkeit zu gewährleisten

Question 16

Was versteht man unter “Fremd-“ und “Selbstevaluation”?

Answer 16

Fremdevaluation: Die Evaluation wird von Personen durchgeführt, die nicht direkt an der Maßnahme beteiligt sind.
Selbstevaluation: Die Evaluation wird von denjenigen durchgeführt, die an der Maßnahme beteiligt sind und selbst über Ziele und Ergebnisse entscheiden​

Question 17

Was ist der Unterschied zwischen interner und externer Fremdevaluation?

Answer 17

Interne Fremdevaluation: Die Evaluation wird von Personen innerhalb derselben Institution durchgeführt (z.B. von einer Abteilung derselben Organisation).
Externe Fremdevaluation: Die Evaluation wird von Personen außerhalb der Institution durchgeführt, um Objektivität zu gewährleisten​

Question 18

Was ist ein Prä-Post-Kontrollgruppen-Design?

Answer 18

Beim Prä-Post-Kontrollgruppen-Design werden eine Experimental- und eine Kontrollgruppe vor und nach der Intervention verglichen. Dies ermöglicht es, die Wirkung der Maßnahme zu bewerten, indem Veränderungen in beiden Gruppen beobachtet werden

Question 19

Was sind Scheininterventionen in der Evaluation?

Answer 19

Scheininterventionen (sham interventions) sind Kontrollmaßnahmen, bei denen die Kontrollgruppe ähnlich behandelt wird wie die Experimentalgruppe, jedoch ohne die eigentliche Intervention. Dies dient dazu, den Wirkmechanismus der Intervention zu isolieren, z.B. durch Placebo-Effekte​

Question 20

Was ist das Solomon-4-Gruppen-Design?

Answer 20

Das Solomon-4-Gruppen-Design besteht aus vier Gruppen:

Gruppe 1: Prätest, Intervention, Posttest
Gruppe 2: Intervention, Posttest
Gruppe 3: Prätest, kein Intervention, Posttest
Gruppe 4: Kein Prätest, keine Intervention, Posttest Dieses Design kontrolliert für mögliche Vortesteffekte und erlaubt eine genauere Analyse der Intervention

Question 21

Welche alternativen Kontrolltechniken gibt es in der Evaluation?

Answer 21

Zu den Alternativen gehören:

Vergleich mehrerer Maßnahmen.
Mehrfache Anwendung derselben Maßnahme.
Gezielte oder natürliche Variation der Intensität einer Maßnahme.
Vergleiche mit Normen oder Durchschnittswerten

Question 22

Was ist eine Kosten-Nutzen-Analyse?

Answer 22

Die Kosten-Nutzen-Analyse (CBA) vergleicht die Kosten einer Maßnahme mit dem monetären Nutzen, der durch die Maßnahme erzielt wird. Der monetäre Wert kann durch Umfragen zur Zahlungsbereitschaft (willingness to pay) oder zur Akzeptanz negativer Effekte (willingness to accept) bestimmt werden​

Question 23

Wie wird der monetäre Wert eines QALY in der Evaluation verwendet?

Answer 23

Der Wert eines QALY (Quality-Adjusted Life Year) wird in der gesundheitsökonomischen Evaluation verwendet, um die Effizienz von Gesundheitsmaßnahmen zu bewerten. QALYs kombinieren die Lebensdauer (T) mit der Lebensqualität (Q), wobei 1 für ein Jahr in voller Gesundheit und 0 für den Tod steht

Question 24

Was ist eine formative Evaluation?

Answer 24

Eine formative Evaluation wird während der Durchführung einer Maßnahme durchgeführt, um Prozesse zu bewerten und gegebenenfalls Anpassungen vorzunehmen. Ziel ist es, die laufende Maßnahme zu verbessern, indem Zwischenergebnisse analysiert und optimiert werden​

Question 25

Was ist eine summative Evaluation?

Answer 25

Eine summative Evaluation findet nach dem Abschluss einer Maßnahme statt und bewertet deren Gesamtergebnisse. Sie umfasst Aspekte wie die Wirksamkeit, Effizienz und Akzeptanz der Maßnahme

Question 26

Was versteht man unter einer Prozess- oder Implementierungsevaluation?

Answer 26

Eine Prozess- oder Implementierungsevaluation bewertet, wie eine Maßnahme durchgeführt wird. Sie untersucht Aspekte wie die Intensität der Nutzung, die Zielgruppenbeteiligung und die Zufriedenheit der Beteiligten. Diese Evaluationsform erfolgt während der Durchführung der Maßnahme​

Question 27

Was versteht man unter ergebnisorientierter Evaluation?

Answer 27

Eine ergebnisorientierte Evaluation konzentriert sich auf die Bewertung der Resultate einer Maßnahme, wie z.B. die Wirksamkeit und Effizienz. Sie untersucht, ob die gesetzten Ziele erreicht wurden und welche Wirkungen die Maßnahme hatte

Question 28

Was sind die Vorteile der Kombination von quantitativen und qualitativen Methoden (Mixed Methods) in der Evaluationsforschung?

Answer 28

Die Kombination von quantitativen und qualitativen Methoden ermöglicht es, sowohl messbare Daten als auch detaillierte, kontextbezogene Informationen zu erfassen. Quantitative Daten liefern statistisch fundierte Ergebnisse, während qualitative Daten tiefere Einblicke in individuelle Erfahrungen und Meinungen bieten

Question 29

Was ist eine Kosten-Effektivitäts-Analyse (CEA)?

Answer 29

Eine Kosten-Effektivitäts-Analyse bewertet die Kosten einer Maßnahme im Verhältnis zu einem natürlichen Wirkungsparameter (z.B. Kosten pro Kilogramm Gewichtsreduktion). Sie vergleicht den finanziellen Aufwand für verschiedene Maßnahmen und deren Effektivität

Question 30

Was ist eine Kosten-Nutzwert-Analyse (CUA)?

Answer 30

Eine Kosten-Nutzwert-Analyse verwendet konstruierte Nutzwerte als Mess- und Vergleichseinheit. Sie bewertet die Effizienz einer Maßnahme, indem verschiedene Effekte, wie z.B. Gewichtsreduktion und subjektives Wohlbefinden, auf einer Skala verglichen werden

Question 31

Was sind nicht-intendierte Wirkungen in der Evaluationsforschung?

Answer 31

Nicht-intendierte Wirkungen sind unerwartete positive oder negative Effekte einer Maßnahme, die nicht Teil der ursprünglichen Zielsetzung waren. Eine umfassende Evaluation sollte diese Effekte ebenfalls erfassen und bewerten​

Question 32

Was bedeutet “Willingness to Pay” (Zahlungsbereitschaft) in der Kosten-Nutzen-Analyse?

Answer 32

“Willingness to Pay” bezieht sich auf die subjektive Zahlungsbereitschaft von Stakeholdern für die positiven Effekte einer Maßnahme. Stakeholder geben an, wie viel sie bereit wären, für bestimmte Vorteile oder Verbesserungen zu zahlen, z.B. für die Verbesserung der Wasserqualität oder die Reduktion von gesundheitlichen Beschwerden​

Question 33

Was versteht man unter einem QALY?

Answer 33

QALY steht für “Quality-Adjusted Life Year” und ist ein Maß in der gesundheitsökonomischen Evaluation. Es kombiniert Lebensdauer (in Jahren) und Lebensqualität (auf einer Skala von 0 bis 1). Ein QALY von 1 entspricht einem Lebensjahr in voller Gesundheit, ein QALY von 0 steht für den Tod​

Question 34

Was ist der Unterschied zwischen der “Willingness to Pay” und der “Willingness to Accept”?

Answer 34

Willingness to Pay (Zahlungsbereitschaft): Wie viel Stakeholder bereit wären zu zahlen, um positive Effekte zu erhalten.
Willingness to Accept (Akzeptanzbereitschaft): Wie viel Stakeholder akzeptieren würden, um negative Effekte in Kauf zu nehmen​

Question 35

Was ist der Unterschied zwischen interner und externer Validität in Evaluationsstudien?

Answer 35

Interne Validität: Bezieht sich darauf, wie gut eine Studie kausale Zusammenhänge zwischen der Maßnahme und den beobachteten Effekten herstellt.
Externe Validität: Bezieht sich darauf, wie gut die Ergebnisse der Studie auf andere Kontexte oder Populationen verallgemeinert werden können​

Question 36

Welche Rolle spielt die Randomisierung in experimentellen Designs?

Answer 36

Die Randomisierung in experimentellen Designs stellt sicher, dass Teilnehmer zufällig den Experimental- oder Kontrollgruppen zugewiesen werden. Dies erhöht die interne Validität, da Störfaktoren gleichmäßig auf die Gruppen verteilt werden und somit Verzerrungen minimiert werden​

Question 37

Welche Faktoren beeinflussen die Auswahl der Evaluationskriterien?

Answer 37

Evaluationskriterien können auf verschiedenen Grundlagen festgelegt werden:

Ziele der Maßnahme
Anforderungen und Erwartungen der Stakeholder
Festgelegte Qualitätsstandards
Expertenurteile

Question 38

Was sind SMART-Ziele in der Evaluationsforschung?

Answer 38

SMART-Ziele sind spezifische, messbare, ansprechende, realistische und terminierte Ziele. Diese Kriterien helfen dabei, klare und erreichbare Evaluationsziele zu setzen

Question 39

Was ist ein Eingruppen-Posttest-Design und welches Problem besteht dabei?

Answer 39

Beim Eingruppen-Posttest-Design wird nur eine Gruppe nach einer Maßnahme evaluiert. Es fehlt jedoch eine Vergleichsgruppe, wodurch die Ergebnisse anfällig für externe Einflüsse sind und nicht klar ist, ob die Maßnahme die Veränderungen verursacht hat

Question 40

Was ist ein Prä-Post-Kontrollgruppen-Design?

Answer 40

Dieses Design vergleicht die Ergebnisse einer Experimentalgruppe und einer Kontrollgruppe sowohl vor als auch nach der Intervention. Dies ermöglicht es, die Wirksamkeit der Maßnahme besser zu bewerten, indem Veränderungen in beiden Gruppen verglichen werden

Question 41

Was versteht man unter einer Placebo-Kontrollgruppe?

Answer 41

Eine Placebo-Kontrollgruppe erhält eine scheinbare Intervention, die der eigentlichen Maßnahme ähnlich ist, aber keinen Wirkstoff oder wirkliche Effekte enthält. Dies dient dazu, den Placebo-Effekt auszuschließen und die eigentliche Wirkung der Intervention zu isolieren

Question 42

Grundlagenforschung, Interventionsforschung, Evaluationsforschung

Answer 42

Grundlagenforschung: Entwicklung von Theorien und deren Überprüfung mit dem Ziel zu beschreiben, erklären und
vorherzusagen (z.B. Formen und Ursachen von Depression)

Interventionsforschung: Entwicklung und Überprüfung von Theorien, die auf zielgerichtete Veränderungen
(Interventionen) abzielen (z.B. Therapieansätze und –techniken für Depression)

Evaluationsforschung: Wissenschaftlich fundierte Bewertung von anwendungsorientierten Sachverhalten und
Interventionen hinsichtlich verschiedener Kriterien wie Effektivität, Effizienz, Nachhaltigkeit
oder Akzeptanz (z.B. Beurteilung der Wirksamkeit oder Effizienz von verschiedenen
Depressionstherapien).

Question 43

Allgemeine Merkmale der Evaluationsforschung

Answer 43

▪ Evaluation bedeutet “Bewerten”, dient als Planungs- und Entscheidungshilfe
und hat somit etwas mit der Bewertung von Handlungsalternativen zu tun.
▪ Evaluation ist ziel- und zweckorientiert. Sie hat primär das Ziel, praktische
Maßnahmen zu überprüfen, zu verbessern oder über sie zu entscheiden.
▪ Evaluationsforschung soll dem aktuellen Stand wissenschaftlicher Techniken
und Forschungsmethoden angepasst sein.
▪ Als typisch wissenschaftliche Auftragsforschung im Praxisfeld hängen oft
weitreichende Entscheidungen von ihr ab (z.B. Weiterführung einer
Bildungsmaßnahme, Schließung einer sozialen Einrichtung, Änderung eines
Gesetzes)

Question 44

Evaluation und Evaluationsforschung

Answer 44

▪ Evaluation (Bewertung): Prozess der Beurteilung des Wertes eines Produktes,
Prozesses oder eines Programmes, was nicht notwendigerweise systematische
Verfahren oder datengestützte Beweise zur Untermauerung einer Beurteilung
erfordert
▪ Evaluationsforschung: explizite Verwendung wissenschaftlicher
Forschungsmethoden und –techniken (primär psychologische und
sozialwissenschaftliche) für den Zweck der Durchführung einer Bewertung.
Evaluationsforschung betont die Systematik und Wissenschaftlichkeit der
Herangehensweise anstelle der reinen Behauptung bzgl. des Wertes und
Nutzens einer bestimmten Aktivität.

Question 45

Zusammenfassung Evaluationsforschung

Answer 45

• Ziel der Evaluationsforschung ist die Bewertung anwendungsorientierter Maßnahmen und
  Handlungsalternativen anhand verschiedener Kriterien wie z.B. Effektivität und Effizienz
• Evaluation können Vielzahl praktischer Konsequenzen haben, deshalb ist die Einbeziehung
  verschiedener Anspruchsgruppen (stakeholder) wichtig
• Evaluationsstudien können verschiedene Ziele und Kriterien haben und unterscheiden sich
  auch bzgl. des Zeitpunkts (formative vs. summative Evaluation)
• Ergebnisorientierte Evaluation fokussiert auf die Effektivität und Effizienz von
  Maßnahmen, mit unterschiedlichen Ansätzen zur Beurteilung ihrer Effizienz
• Unterschiedliche experimentelle und nicht-experimentelle Design, die in der
  Evaluationsforschung eingesetzt werden. Häufig Kombination von quantitativen und
  qualitativen Methoden (Mixed-Methods-Designs).