Evaluationen und Monitoring Flashcards
Wie wird die Kausalität nach Bradford Hill definiert/gesichert?
- Stärke der Assoziation
- Konsistenz der Ergebnisse in verschiedenen Studien
- Spezifität (spezifische Ursache führt zu spezifischem Effekt)
- Zeitliche Sequenz (Ursache geht der Wirkung voraus)
- Biologischer Gradient (Dosis-Wirkungs-Beziehung)
- Plausibilität (biologische Erklärung)
- Kohärenz mit bestehenden Wissen
- Experimentelle Evidenz
- Analogie (ähnliche Zusammenhänge in anderen Bereichen).
Die Faktoren Zeit, biologischer Gradient, Konsistenz, Spezifität, Plausibilität, Berücksichtigung aller Erklärungen,
Kohärenz (Zusammenhang) und Experimente spielen dabei eine große Rolle. Nutzen kann man diese Faktoren durch
Literaturanalysen, Teststudien und Kontrollversuche.
Welche Study Designs gibt es und was sind ihre Vor- und Nachteile?
a. Querschnittstudie:
Einmalige Datenerfassung.
Vorteile: Günstig, zeigt Zusammenhänge.
Nachteile: Keine Kausalität, größeres Sample nötig.
b. Längsschnittstudien (Langzeitdatenerfassung):
Vorteile: Bessere Kausalitätsaussagen.
Nachteile: Teurer, zeitaufwändig, schwer Teilnehmer langfristig zu halten.
i. Panelstudie: Immer dieselben Personen werden befragt.
ii. Kohortenstudie: Personen mit gleichem Ereignis werden beobachtet.
iii. Wiederholte Querschnittsstudie: Verschiedene Leute zu unterschiedlichen Zeitpunkten befragt.
iv. Fall-Kontroll-Studie: Vergleich von Gruppen mit und ohne bestimmtes Merkmal.
v. Retrospektive Studie: Teilnehmer erinnern sich an vergangene Ereignisse.
c. Experiment:
Gruppen erhalten einen Eingriff oder nicht.
i. Randomisiertes Kontroll-Experiment: Zufällige Zuteilung, bester Kausalitätsnachweis.
ii. Quasi-Experiment: Ohne Zufallszuteilung, weniger Kontrolle.
d. Je sicherer die Ergebnisse sein sollen, desto aufwändiger wird die Datenerfassung, besonders bei kontroversen oder riskanten Themen.
Was sind Prozess- und Wirkungsevaluationen?
Prozessevaluation (Formative Evaluation): Bewertet Planungsprozesse während des Projektverlaufs, um die Umsetzung zu optimieren.
Wirkungsevaluation (Summative Evaluation): Bewertet die Effekte und Ergebnisse von Maßnahmen und Konzepten, um deren Erfolg zu messen.
Was sind Ex-Ante und Ex-Post-Evaluationen?
Ex-Ante-Evaluation: Bewertung, bevor ein Projekt oder eine Maßnahme beginnt. Ziel ist es, mögliche Auswirkungen, Risiken und Erfolgsaussichten im Voraus einzuschätzen.
Ex-Post-Evaluation: Bewertung, nachdem ein Projekt oder eine Maßnahme abgeschlossen ist. Sie dient dazu, die tatsächlichen Ergebnisse, Wirkungen und Effizienz zu beurteilen.
Was ist das Ziel von Evaluationen und Monitoring?
Man will gucken, ob alles nach Plan läuft und ob die Maßnahmen gut funktionieren. Dadurch kann man aus Fehlern lernen und bei zukünftigen Projekten besser arbeiten. Außerdem entdeckt man dabei neue Methoden, um Dinge besser zu machen. Monitoring hilft dabei, schon während des Projekts zu checken, ob alles richtig läuft, damit man notfalls noch was ändern kann.
Was ist Monitoring?
Beim Monitoring wird kontinuierlich (längerfristig) ein Ablauf beobachtet und überwacht, diese Informationen
können als Datengrundlage für eine Evaluation dienen
Was sind die 3 Formen des Monitorings?
a. Allgemeines Monitoring: Überwachung des gesamten Projektfortschritts und der allgemeinen Rahmenbedingungen.
b. Monitoring des Vollzugs: Kontrolle, ob die geplanten Aktivitäten und Prozesse korrekt und gemäß den Vorgaben durchgeführt werden.
c. Monitoring der Wirksamkeit: Bewertung, ob die Maßnahmen die gewünschten Ergebnisse und Ziele tatsächlich erreichen.
Was sind die Planungs- und Umsetzungsschritte von Ex-Ante und Ex-Post Evaluationen?
Ex-Ante-Evaluation (vor Beginn eines Projekts):
a. Übergeordnete und methodenspezifische Ziele identifizieren
b. Reale Zielgrößen/-kriterien definieren
c. Ursache-Wirkungs-Beziehungen untersuchen
d. Indikatoren festlegen
e. Evaluationsdesign und Methoden der Datenerhebung auswählen
h. Ableitung der erwarteten Wirkung
Ex-Post-Evaluation (nach Abschluss eines Projekts):
f. Vorher-Messung
k. Nachher-Messungen
g. Auswertung und Datendiskussion
l. Auswertung, Datendiskussion und Vergleich mit Vorher-Messung
i. Interpretation der Ergebnisse
j. Konkretisierung der Maßnahmen und des Untersuchungsdesigns
m. Interpretation der Ergebnisse
Welche Methoden kann man bei Evaluationen anwenden?
a. Vorher-Nachher-Analyse: Vergleicht die Situation vor und nach einer Intervention, um deren Auswirkungen zu messen.
b. Vergleich von Gruppen:
Zielgruppe mit Intervention: Gruppe, die die Maßnahme erhält.
Kontrollgruppe mit Bildung per Zufallsverteilung: Gruppe, die zufällig ausgewählt wird und keine Intervention erhält.
Vergleichsgruppe ohne Zufallsverteilung: Gruppe, die keine Intervention erhält, aber nicht zufällig ausgewählt wurde.
