Evaluationsforschung/Statistische Kontrolle

Question 1

Was ist der typische Ablauf in Evaluationsstudien?

Answer 1

1. Ziele
2. Kriterien/AVs bestimmen
3. Design erstellen
4. Auswertung/Interpretation
5. Empfehlung

Question 2

Welche Phasen gibt es in der Evaluationsforschung?

Answer 2

1. Auftragsphase
2. Planunsgsphase
3. Planungs- und Durchführungsphase
4. Ergebnisphase

Question 3

Welche Arten der Evaluationsforschung gibt es?

Answer 3

formativ
summativ

Question 4

Was sind die 11 Standards der Evaluationsforschung nach Rost?

Answer 4

1. Konzeptualisierung
2. Fragestellung & Hypothesen
3. Implementationskontrolle
4. Übertragbarkeit von Ergebnissen
5. Kausalinterpretation
6. Kontrollgruppen
7. Statistische Kontrolle
8. Effektgrößen
9. Soziale Sensibilität
10. Transparenz
11. Ethik

Question 5

Was ist Evaluation?

Answer 5

ziel- und zweckorientierte Planungs- und Entscheidungshilfen (Bewertung von Maßnahmen/Interventionen/Handlungsalternativen)

generelles Ziel: praktische Maßnahmen überprüfen, verbessern oder über sie entscheiden

generelle Forderung: Maßnahmen sollten dem aktuellen wissenschaftlichen Standard entsprechen

Question 6

Was sind die Unterschiede zwischen Grundlagen- und Evaluationsforschung?

Answer 6

• Theoretischer Hintergrund: wissenschaftliche vs. technologische Theorien
• Forschungsziele: eher offen vs. gebunden
• Nutzenaspekt: nicht zentral vs. sehr wichtig
• Entscheidung/Empfehlung: selten vs. fast immer
• Methoden: keine Kompromisse vs. manchmal Kompromisse zwischen Stringenz und Machbarkeit

Question 7

Was ist formative Evaluationsforschung?

Answer 7

• primäre Zielgruppe: Programmentwickler, -anwender
• primäre Rolle des Evaluators: interaktiv
• Methodologie: oft qualitative (ad hoc) Verfahren
• Datensammlung: fortlaufend
• Art der Berichte: Diskussion/Treffen, informelle Interaktion
• Häufigkeit von Berichten: während der ganzen Zeit

Question 8

Was ist summative Evaluationsforschung?

Answer 8

• Primäre Zielgruppe: Politiker, Interessierte, Öffentlichkeit, Geldgeber
• primäre Rolle des Evaluators: unabhängig
• Methodologie: meist quantitative Verfahren
• Datensammlung: begrenzt
• Art der Berichte: formale Berichte
• Häufigkeit von Berichten: zum Schluss

Question 9

Was sind die Vorteile eines externen Evaluators?

Answer 9

• Image des Wissenschaftlers
• Glaubwürdigkeit
• Konfliktmanagement
• Nonkonformität mit informellen Gruppennormen
• Vermeidung negativer Gruppeneffekte
• Unabhängigkeit von hierarchischen Strukturen
• Objektivität bei der Berichterstattung

Question 10

Was sind die Erfordernisse an einen Evaluator?

Answer 10

• Soziale Kompetenz
• Methodische Kompetenz!
• Fachliche (Grund-)Kompetenz

Question 11

Was sind mögliche Ethische Probleme?

Answer 11

• Verletzung der Intimsphäre Betroffener
• Kopplung von Teilnahmeverweigerung mit Sanktionen
• mögliche psychische und körperliche Beeinträchtigungen für Betroffene
• Ausgrenzung von Teilgruppen
• Evaluation der Wirksamkeit von Manipulationstechniken

Question 12

Was sind häufige Praktische Fragen in der Auftragsphase?

Answer 12

• Ziele vorgegeben oder Zielvereinbarung mit allen Betroffenen?
• vorgegebene Untersuchungsbedingungen <> experimentelle Kontrolle
• weniger Fragen genau oder viele Fragen allgemein?
• soll Maßnahme sowohl gestaltet als auch bewertet werden?
• Evaluator als methodischer und inhaltlicher Experte?

Question 13

Was sind Fragen in der Planungsphase?

Answer 13

• für relevant erachtete Kriterien von Beteiligten akzeptiert?
• eher deduktive oder induktive Vorgehensweise?
• Operationalisierbarkeit und Messbarkeit der Kriterien?

Question 14

Was sind Fragen in der Planungs- und Durchführungsphase?

Answer 14

• Wie kontextabhängig sind Variablen?
• Ist Zuordnung der Teilnehmer randomisiert?
• Inwieweit ist Treatment standardisiert?
• Inwieweit sind Teilnehmer an Evaluationsprozess beteiligt?

Question 15

Was sind Fragen in der Ergebnisphase?

Answer 15

• Wie komplex dürfen Auswertungsverfahren und Ergebnisdarstellung sein, um für Auftraggeber nachvollziehbar zu sein?
• Wie prägnant müssen Aussagen sein, um rezipiert zu werden?
• Generalisierbarkeit der Ergebnisse?

Question 16

Was sind 3 Phasen der Evaluationsforschung?

Answer 16

1. Konzeptualisierung
2. Implementation
3. Wirkungsforschung

Question 17

Was versteht man unter Standard 1: Konzeptualisierung?

Answer 17

Klärung der folgenden Aspekte hinsichtlich zu evaluierender Maßnahmen/Produkte:
* Wovon geht Wirkung aus?
* Worin besteht postulierter Prozess, in dem sich Wirkung entfaltet?
* In welchen Bereichen finden Wirkungen statt?

Question 18

Was versteht man unter Standard 2: Fragestellungen und Hypothesen?

Answer 18

Verknüpfung der konzeptuellen Grundlagen mit der Evaluierungsmaßnahme in Form von Fragestellungen und Hypothesen
–> emp. Prüfung mithilfe eines realisierbaren Evaluationsdesigns –> Bestimmung geeigneter Kriterien

Problematik bei der Kriterienauswahl:
* Vielfalt
* Ergebnisse können je nach Zielkriterien sehr unterschiedlich ausfallen
* Art der Erhebung kann Bewertung beeinflussen

Question 19

Was versteht man unter Standard 3: Implementationskontrolle?

Answer 19

= Kontrolle, wie gut Maßnahmen implementiert wurde

• Max-Kon-Min-Prinzip = Wird experimentelle Varianz maximiert, Störvarianz kontrolliert und Fehlervarianz minimiert?
• Entspricht die Realisierung der Maßnahme ihrer Konzeption?
• Wie intensiv sind zu untersuchende Einflüsse?
• Gibt es andere Einflüsse, die die Maßnahme begünstigen oder behindern?

Question 20

Was versteht man unter Standard 4: Übertragbarkeit von Ergebnissen?

Answer 20

Wenn die Ziehung einer Zufalls SP nicht möglich ist, sollte die untersuchte SP möglichst detailliert beschrieben werden

In Grundlagenforschung ist Übertragbarkeit = externe Validität = Zufalls SP

Question 21

Was versteht man unter Standard 5: Kausalinterpretation?

Answer 21

= interne Validität
interne V. im Experiment: Kausalschluss möglich, weil man durch Randomisierung Zufallsaufteilung der VP auf die Bedingungen erreicht und dadurch alle SVs aufs gleiche Niveau bringt

–> bei EF schwer herzustellen , wichtigster Nachteil!

Question 22

Was tut man, wenn man SVs nicht durchs Design kontrollieren kann?

Answer 22

• Erhebung potenzieller SVs (evtl. Subgruppen erheben)
• getrennte Analyse von Subgruppen, die sich hinsichtlich SV/Moderatoren unterscheiden
• Einbeziehung von SV in die Analyse

Question 23

Was versteht man unter Standard 6: Kontrollgruppen?

Answer 23

Für einen sinnvollen Vergleichsmaßstab muss die zu evaluierende Maßnahme (UV) variiert werden (i.d.R. durch Unterteilung in Gruppen)

• Variation der Dosis
• Vergleich verschiedener Kombinationen von Komponenten
• Vergleich mit Gruppe, die sich theoretisch beschreibbaren Merkmalen unterscheidet

Question 24

Was ist Standard 7: Statistische Kontrolle?

Answer 24

Berücksichtigung von Moderatorvariablen bei der Datenanalyse, die bei der Durchführung der Studie nicht kontrolliert werden konnten.

Question 25

Welche Methoden der Statistischen Kontrolle gibt es?

Answer 25

Differenzfragestellung:
* Kovarianzanalyse
Zusammenhangsfragestellungen:
* Partialkorrelation (bei Korrelationsfragestellung)
* Multiple Regression (bei Vorhersagefragestellungen)
* Pfadanalysen und SGM (bei komplexeren Modellen mit indirekten Effekten/Berücksichtigung von latenten Variablen)

Question 26

Was macht man bei der Partialkorrelation?

Answer 26

Voraussetzung: linearer Zusammenhang, 3 metrische Variablen

Korrelation zwischen X und Y nachdem der lineare Einfluss von Z entfernt wurde
oder
Korrelation zwischen den Residualwerten von X und Y aus der linearen Vorhersage von Z

1. Vorhergesagter Wert wird vom tatsächlichen Wert abgezogen = Residuen
2. Korrelation zwischen Residuen berechnen

Question 27

Was macht man bei der Kovarianzanalyse?

Answer 27

= Mischung aus ANOVA und linearer Regression
* Kontrolle des Effekts eines oder mehrerer (intervallskalierter) Kovariate
* bei Unterschiedsfragestellungen: Unterschied zwischen Gruppen (between) oder Maßen (within) ohne Einfluss von Drittvariablen

Anwendungsvoraussetzungen:
linearer Zsmh. zwischen Kovarianzanalyse und AV
konstante Stärke des ZH über alle Ausprägungen der UV

Unterschied Partialkorrelation:
3V
AV: intervall
UV: nominal
SV: intervall

Zunächst wird mit Hilfe der Regressionsrechnung der Einfluss der SVs aus der AV herausgerechnet. Die anschließend ermittelten Ergebnisse zum Einfluss der UVs auf die AV können weitgehend ebenso interpretiert werden wie in der gewöhnlichen Varianzanalyse.

Question 28

Was versteht man unter Standard 8: Effektgrößen?

Answer 28

Zum Nachweisen der Wirkung einer Maßnahme ist es notwendig, neben evtl. Aussagen zur statistischen Signifikanz, solche über die Größe des Effektes machen zu können
* Standardisierung als Grundlage für den Vergleich
* Äquivalenz von Abstands- und Zusammenhangsmaßen
* Korrelationsmaße auch für den Vergleich von mehr als 2 Gruppen

Question 29

Was versteht man unter Standard 9: Soziale Sensibilität?

Answer 29

• Berücksichtigung der Bedürfnisse der Betroffenen
• Antizipation der beteiligten Positionen und Interessensgruppen
• Einholen der Verpflichtung offiziell beteiligter Parteien zur Unterstützung der Durchführung
• offenes und ehrliches Angehen von Interessenskonflikten
• Rückmeldung für alle beteiligten Parteien

Question 30

Was versteht man unter Standard 10: Transparenz?

Answer 30

Begründung und Dokumentation aller Phasen und Schritte

Question 31

Was versteht man unter Standard 11: Ethik?

Answer 31

Evaluationsprojekte sollten unter Wahrung ethischer Standards durchgeführt werden
* keiner Verletzung der Rechte anderer Personen
* Reduzierung von Beeinträchtigungen auf ein Minimum
* Vermeidung von Ressourcenvergeudung
* Verhinderung des Missbrauchs wissenschaftlicher Ergebnisse