Evaluationsforschung/Statistische Kontrolle Flashcards
Was ist der typische Ablauf in Evaluationsstudien?
- Ziele
- Kriterien/AVs bestimmen
- Design erstellen
- Auswertung/Interpretation
- Empfehlung
Welche Phasen gibt es in der Evaluationsforschung?
- Auftragsphase
- Planunsgsphase
- Planungs- und Durchführungsphase
- Ergebnisphase
Welche Arten der Evaluationsforschung gibt es?
formativ
summativ
Was sind die 11 Standards der Evaluationsforschung nach Rost?
- Konzeptualisierung
- Fragestellung & Hypothesen
- Implementationskontrolle
- Übertragbarkeit von Ergebnissen
- Kausalinterpretation
- Kontrollgruppen
- Statistische Kontrolle
- Effektgrößen
- Soziale Sensibilität
- Transparenz
- Ethik
Was ist Evaluation?
ziel- und zweckorientierte Planungs- und Entscheidungshilfen (Bewertung von Maßnahmen/Interventionen/Handlungsalternativen)
generelles Ziel: praktische Maßnahmen überprüfen, verbessern oder über sie entscheiden
generelle Forderung: Maßnahmen sollten dem aktuellen wissenschaftlichen Standard entsprechen
Was sind die Unterschiede zwischen Grundlagen- und Evaluationsforschung?
- Theoretischer Hintergrund: wissenschaftliche vs. technologische Theorien
- Forschungsziele: eher offen vs. gebunden
- Nutzenaspekt: nicht zentral vs. sehr wichtig
- Entscheidung/Empfehlung: selten vs. fast immer
- Methoden: keine Kompromisse vs. manchmal Kompromisse zwischen Stringenz und Machbarkeit
Was ist formative Evaluationsforschung?
- primäre Zielgruppe: Programmentwickler, -anwender
- primäre Rolle des Evaluators: interaktiv
- Methodologie: oft qualitative (ad hoc) Verfahren
- Datensammlung: fortlaufend
- Art der Berichte: Diskussion/Treffen, informelle Interaktion
- Häufigkeit von Berichten: während der ganzen Zeit
Was ist summative Evaluationsforschung?
- Primäre Zielgruppe: Politiker, Interessierte, Öffentlichkeit, Geldgeber
- primäre Rolle des Evaluators: unabhängig
- Methodologie: meist quantitative Verfahren
- Datensammlung: begrenzt
- Art der Berichte: formale Berichte
- Häufigkeit von Berichten: zum Schluss
Was sind die Vorteile eines externen Evaluators?
- Image des Wissenschaftlers
- Glaubwürdigkeit
- Konfliktmanagement
- Nonkonformität mit informellen Gruppennormen
- Vermeidung negativer Gruppeneffekte
- Unabhängigkeit von hierarchischen Strukturen
- Objektivität bei der Berichterstattung
Was sind die Erfordernisse an einen Evaluator?
- Soziale Kompetenz
- Methodische Kompetenz!
- Fachliche (Grund-)Kompetenz
Was sind mögliche Ethische Probleme?
- Verletzung der Intimsphäre Betroffener
- Kopplung von Teilnahmeverweigerung mit Sanktionen
- mögliche psychische und körperliche Beeinträchtigungen für Betroffene
- Ausgrenzung von Teilgruppen
- Evaluation der Wirksamkeit von Manipulationstechniken
Was sind häufige Praktische Fragen in der Auftragsphase?
- Ziele vorgegeben oder Zielvereinbarung mit allen Betroffenen?
- vorgegebene Untersuchungsbedingungen <> experimentelle Kontrolle
- weniger Fragen genau oder viele Fragen allgemein?
- soll Maßnahme sowohl gestaltet als auch bewertet werden?
- Evaluator als methodischer und inhaltlicher Experte?
Was sind Fragen in der Planungsphase?
- für relevant erachtete Kriterien von Beteiligten akzeptiert?
- eher deduktive oder induktive Vorgehensweise?
- Operationalisierbarkeit und Messbarkeit der Kriterien?
Was sind Fragen in der Planungs- und Durchführungsphase?
- Wie kontextabhängig sind Variablen?
- Ist Zuordnung der Teilnehmer randomisiert?
- Inwieweit ist Treatment standardisiert?
- Inwieweit sind Teilnehmer an Evaluationsprozess beteiligt?
Was sind Fragen in der Ergebnisphase?
- Wie komplex dürfen Auswertungsverfahren und Ergebnisdarstellung sein, um für Auftraggeber nachvollziehbar zu sein?
- Wie prägnant müssen Aussagen sein, um rezipiert zu werden?
- Generalisierbarkeit der Ergebnisse?
Was sind 3 Phasen der Evaluationsforschung?
- Konzeptualisierung
- Implementation
- Wirkungsforschung
Was versteht man unter Standard 1: Konzeptualisierung?
Klärung der folgenden Aspekte hinsichtlich zu evaluierender Maßnahmen/Produkte:
* Wovon geht Wirkung aus?
* Worin besteht postulierter Prozess, in dem sich Wirkung entfaltet?
* In welchen Bereichen finden Wirkungen statt?
Was versteht man unter Standard 2: Fragestellungen und Hypothesen?
Verknüpfung der konzeptuellen Grundlagen mit der Evaluierungsmaßnahme in Form von Fragestellungen und Hypothesen
–> emp. Prüfung mithilfe eines realisierbaren Evaluationsdesigns –> Bestimmung geeigneter Kriterien
Problematik bei der Kriterienauswahl:
* Vielfalt
* Ergebnisse können je nach Zielkriterien sehr unterschiedlich ausfallen
* Art der Erhebung kann Bewertung beeinflussen
Was versteht man unter Standard 3: Implementationskontrolle?
= Kontrolle, wie gut Maßnahmen implementiert wurde
- Max-Kon-Min-Prinzip = Wird experimentelle Varianz maximiert, Störvarianz kontrolliert und Fehlervarianz minimiert?
- Entspricht die Realisierung der Maßnahme ihrer Konzeption?
- Wie intensiv sind zu untersuchende Einflüsse?
- Gibt es andere Einflüsse, die die Maßnahme begünstigen oder behindern?
Was versteht man unter Standard 4: Übertragbarkeit von Ergebnissen?
Wenn die Ziehung einer Zufalls SP nicht möglich ist, sollte die untersuchte SP möglichst detailliert beschrieben werden
In Grundlagenforschung ist Übertragbarkeit = externe Validität = Zufalls SP
Was versteht man unter Standard 5: Kausalinterpretation?
= interne Validität
interne V. im Experiment: Kausalschluss möglich, weil man durch Randomisierung Zufallsaufteilung der VP auf die Bedingungen erreicht und dadurch alle SVs aufs gleiche Niveau bringt
–> bei EF schwer herzustellen , wichtigster Nachteil!
Was tut man, wenn man SVs nicht durchs Design kontrollieren kann?
- Erhebung potenzieller SVs (evtl. Subgruppen erheben)
- getrennte Analyse von Subgruppen, die sich hinsichtlich SV/Moderatoren unterscheiden
- Einbeziehung von SV in die Analyse
Was versteht man unter Standard 6: Kontrollgruppen?
Für einen sinnvollen Vergleichsmaßstab muss die zu evaluierende Maßnahme (UV) variiert werden (i.d.R. durch Unterteilung in Gruppen)
- Variation der Dosis
- Vergleich verschiedener Kombinationen von Komponenten
- Vergleich mit Gruppe, die sich theoretisch beschreibbaren Merkmalen unterscheidet
Was ist Standard 7: Statistische Kontrolle?
Berücksichtigung von Moderatorvariablen bei der Datenanalyse, die bei der Durchführung der Studie nicht kontrolliert werden konnten.
Welche Methoden der Statistischen Kontrolle gibt es?
Differenzfragestellung:
* Kovarianzanalyse
Zusammenhangsfragestellungen:
* Partialkorrelation (bei Korrelationsfragestellung)
* Multiple Regression (bei Vorhersagefragestellungen)
* Pfadanalysen und SGM (bei komplexeren Modellen mit indirekten Effekten/Berücksichtigung von latenten Variablen)
Was macht man bei der Partialkorrelation?
Voraussetzung: linearer Zusammenhang, 3 metrische Variablen
Korrelation zwischen X und Y nachdem der lineare Einfluss von Z entfernt wurde
oder
Korrelation zwischen den Residualwerten von X und Y aus der linearen Vorhersage von Z
- Vorhergesagter Wert wird vom tatsächlichen Wert abgezogen = Residuen
- Korrelation zwischen Residuen berechnen
Was macht man bei der Kovarianzanalyse?
= Mischung aus ANOVA und linearer Regression
* Kontrolle des Effekts eines oder mehrerer (intervallskalierter) Kovariate
* bei Unterschiedsfragestellungen: Unterschied zwischen Gruppen (between) oder Maßen (within) ohne Einfluss von Drittvariablen
Anwendungsvoraussetzungen:
linearer Zsmh. zwischen Kovarianzanalyse und AV
konstante Stärke des ZH über alle Ausprägungen der UV
Unterschied Partialkorrelation:
3V
AV: intervall
UV: nominal
SV: intervall
Zunächst wird mit Hilfe der Regressionsrechnung der Einfluss der SVs aus der AV herausgerechnet. Die anschließend ermittelten Ergebnisse zum Einfluss der UVs auf die AV können weitgehend ebenso interpretiert werden wie in der gewöhnlichen Varianzanalyse.
Was versteht man unter Standard 8: Effektgrößen?
Zum Nachweisen der Wirkung einer Maßnahme ist es notwendig, neben evtl. Aussagen zur statistischen Signifikanz, solche über die Größe des Effektes machen zu können
* Standardisierung als Grundlage für den Vergleich
* Äquivalenz von Abstands- und Zusammenhangsmaßen
* Korrelationsmaße auch für den Vergleich von mehr als 2 Gruppen
Was versteht man unter Standard 9: Soziale Sensibilität?
- Berücksichtigung der Bedürfnisse der Betroffenen
- Antizipation der beteiligten Positionen und Interessensgruppen
- Einholen der Verpflichtung offiziell beteiligter Parteien zur Unterstützung der Durchführung
- offenes und ehrliches Angehen von Interessenskonflikten
- Rückmeldung für alle beteiligten Parteien
Was versteht man unter Standard 10: Transparenz?
Begründung und Dokumentation aller Phasen und Schritte
Was versteht man unter Standard 11: Ethik?
Evaluationsprojekte sollten unter Wahrung ethischer Standards durchgeführt werden
* keiner Verletzung der Rechte anderer Personen
* Reduzierung von Beeinträchtigungen auf ein Minimum
* Vermeidung von Ressourcenvergeudung
* Verhinderung des Missbrauchs wissenschaftlicher Ergebnisse
