3. Evaluation Flashcards
abgeschlossen und formatiert
Evaluationsforschung
Besonderheiten? (4)
Anwendungen?
Besonderheiten:
Auftragsforschung (Auftraggeber auch Geldgeber)
andere Regeln der Ergebnisdarstellung (Laien)
Schlussfolgerungen und Entscheidungen, evtl. deutliche Position beziehen, reine Grundlagenforschung nicht frei von Urteilen
Bewertende Begleitforschung von Programmen, Maßnahmen oder Interventionen, Strategien ihrer ERfolgs- und Wirkungskontrolle (gesonderte Anwendung empirischer Forschungsmethoden)
Evaluierbar: Personen /Einrichrungen, Institutionen, Umweltfaktoren, Produkte, Techniken/Methoden, Zielvorgaben/Zielvereinbarungen, Projekte/Programme, Systeme/Strukturen oder auch Forschungsvorhaben/Forschungsanträge/Forschungsgebiete
Forschungsziele
Ziel und Verfahren? (3)
Probleme? (2)
Anforderungen?
Erkenntnisinteresse/Evaluationsfrage: Erfolg/Misserfolg einer Maßnahme
Maßnahme wird begleitet (Begleitforschung)
Verantwortliche legen Vorschläge vor, wie die Maßnahme bewertet werden soll
Problem:
Frage der Wertfreiheit, parteilichkeit, ist Grundlagenforschung davon befreit?
Entscheidung aufgrund einer Untersuchung gefällt, keine Metaanalyse
hohe interne Validität
Technologische Theorien vs. wissenschaftliche Theorien
1 Definition?
Anforderungen? (4)
2 Definition?
wissenschaftliche Theorien (eher Grundlagenforschung): stringentes Gefüge von Annahmen über Ursache und Wirkung
- widerspruchsfrei 2. präzise 3. sparsam 4. große Tragweite
technologische Theorien (eher Evaluationsforschung): Aussagen zur Gewinnung von praktisch anwendbaren, handlungsleitenden Regeln, die unter Verwendung von Resultaten wissenschaftliche Theorien entstehen
Begleit- oder Interventionsforschung
Definitionen?(2)
Grenzen?
Evaluationsforschung: Form von Begleitforschung - Wirkung und Folgen einer Maßnahme oder Intervention werden überprüft
Vorgeschaltet: Interventionsforschung - Entwicklung der Maßnahme
Grenzen können verschwimmen, sollten durch Spezialisierung auf verschiedene Aufgaben klar differenziert bleiben
**Voraussetzungen - **Studienarten **(4)
Die mit einer Maßnahme zu erreichenden Ziele sollen exakt beschrieben werden
Die beauftragten Personen müssen über angemessenens methodisches Wissen und Instrumentarium verfügen
Eine Maßnahme rechtfertigt dann eine Evaluation, wenn die Konsequenzen von entsprechender gesellschaftlicher Tragweite sind (entspricht wissenschaftlicher Tragweite bei wissenschaftlichen Studien)
Ethische Kriterien gleich für Evaluationsstudien
Unabhängige Variable
AV und UV in Experiment?
Vorraussetzungen für UV? (2)
Operationalisierung analog zu einem Experiment: AV (Wirkungsmessung) und UV (Maßnahme selber)
UV:
- ausschließlich aus der zu evaluierenden Maßnahme stammen, Kausalität sondern auch Kontroll- oder Vergleichsbedingung
- Manipulation-Check: Ist UV in der dafür vorgesehenen Stichprobe realisiert. Greift Intervention nicht, kann Evaluation nichts prüfen
Abhängige Variable
AV:
- Operationalisierung legt fest, welche Wirkungsart erfasst werden soll - Maßnahmewirkung muss auch in Kontrollgruppe sinnvoll üerprüfbar sein
- In Planungsphase muss final festgelegt werden über elche Indikatoren die Maßnahmewirkung erfast werden soll
Interventionsstichprobe - Stichprobenwahl
Wichtig? (3)
Wichtig: Exakte Definition de rZielpopulation und die kotrollierte Ziehung einer Interventionsstichprobe daraus
Praktikabilität der Zielgruppendefinition: Machbarkeitsstudie (feasability study)
Stichprobe muss alle betroffenen Personen erfassen, Ausschöpfungsqualität (coverage efficiency)
Evaluationsstichprobe - Stichprobenwahl
Stichprobe?
Versuchspersonen?
Gruppen?
Problem?
summative Evaluation basiert auf repräsentativen Stichprobe, Wenn klein auch Vollerhebung
umfasst alle Personen oder Objekte der Maßnahme, die sowohl an Intervention als auch an Evaluation teilnehmen. Wenn Kontrollgruppe, ist diese zwar Teil der Zielpopulation aber nicht der Interventionsstichprobe
natürliche Gruppen durch Teilnahme am Pre- Posttest aber nicht an der eigentlichen Intervention
Wenn Intervention über längeren Zeitraum, systematischen Drop Out (Panelmortalität) ind der Posttestphase konstrollieren (Bias in Resultaten)
Probleme im Projektmanagement
planerische Vorgaben einhalten wenn…? (5)
Datengüte? (2)
Erfolg Abhängig davon ob die Umsetzung den planerischen Vorgaben folgt, wenn…
…Interventionsziele verändert werden
…die Maßnahme findet in der Zielpopulation keine Akzeptanz oder unbefriedigende Verbreitung
…Teile der Zielpopulation erneuert sich oder wird ausgetauscht
…es stellen sich finanzielle Enpässe ein
…hohe Ausfallraten
Auswirkungen auf Datengüte, wenn:
…Umgebungsbedingungen entstehen, die zu verfälschten Daten führen
…Reaktanz stellt sich ein
…
Durchführung und Auswertung (4)
Expose (Fragestellung, Untersuchungsart, Design, Wikrkriterien bzw. Indikatoren, Operationalisierung, stichprobentechnik, Angaben zur Effektgröße, statistische Verfahren, relevante Literatur)
Personalplan (Aufgabenverteilung)
Arbeitsablauf bzw. Zeitplan (Arbeitsschritte und Teilabschnitte)
Finanzplan (Sach- und Personalkosten)
Wirkhypothesen - Studienarten
summative Evaluation: nachdem die Maßnahme abgeschlossen ist, Wirksamkeit
formative Evaluation: Abwicklung und Wirkung der Maßnahme wird begleitend kontrolliert, Zwischenmessungen, ggf. laufende Maßnahme wird angepasst bzw. optimiert
können auch Einzelfälle sein
1. formative Evaluationen - Studienarten
zu Wirkhypothesen
Stichproben?
Interpretation? (2)
Ziel?
auf Stichproben basierende Populationsbeschreibungen - können notwendig sein
Prävalenz - in welchem Ausmaß ein Sachverhalt verbreitet ist
Inzidenz - wie sich Prävalenzen im zeitl. und örtl. begrenzten Raum verändern
Ziel: Verbreitung eines Phänomens abschätzen, Definition der Zielpopulation erleichtern
2. summative Evaluationen - Studienarten
zu Wirkhypothesen
Art der Untersuchung? (3)
Wichtig?
Regeln der hypotheseprüfende Untersuchungen
zufällige oder natürliche Unterteilung in Experimental und Kontrollgruppe (Bei Merkmalen mit hoher Prävalenz kann dies faktisch unmöglich sein
typischerweise: quasiexperimentelle Feldstudien
Themen müssen ausreichend elaboriert sein um spezifische Hypothesen mit Effektgrößen angeben zu können
3. explorative Methoden - Studienarten
zu Wirkhypothesen
Verfahren? (2)
Ziel?
vorbereitend für Evaluationsstudie
Maßnahme kann in ihrer Wirkung eingeschätzt werden
Ziel: Wirkhypothesen formulieren, relevante Variablen identifizieren und operationalisieren
