Evaluationsforschung Flashcards
Was ist eine gute Eva?
- schlechte Fragestellung = schlechte Eva
- Fragestellung muss präzise sein
- Evabedarf muss bestehen
- allg. Gütekriterien beachten
- Evastandards einbeziehen
Allg. Gütekriterien nach Jäger
- Komplexität d Evagegenstandes
- Gültigkeitsbereich d Fragestellung
- Objektivierbarkeit (Dokumentierbarkeit, Erkennbarkeit, Bestimmbarkeit)
- Transparenz
Evastandards
- nach amerikanischem Vorbild
- DeGEval
1. Nützlichkeit
2. Fairness
3. Durchführbarkeit
4. Genauigkeit
Evastandard: Nützlichkeit
- Identifizierung der Beteiligten
- Auswahl& Umfang der Infos
- Rechtzeitigkeit der Eva
Evastandard: Durchführbarkeit
- angemessene Verfahren
- diplomatisches Vorgehen
- Effizienz v Eva
Evastandard: Fairness
- Schutz der indiv. Rechte
- unparteiliche Durchführung
- Offenlegung v Ergebnissen
Evastandard: Genauigkeit
- Beschreibung d Zwecke/Vorgehens
- sys. Fehlerprüfung
- begründete Bewertung/Schlussfolgerungen
3 Zielsetzungen v Evastudien
- Zustandseva
- Veränderungseva
- Wirksamkeitseva
Zustandseva
- Wie zufrieden sind Mitarbeiter*innen?
- Fühlen sich Bewohner*innen sicher?
- Welches Wissensniveau hat die Klasse?
Ziel= Optimierungen ermitteln
Veränderungseva
- wie hat sich Gewalt an dt. Schulen verändert?
- Wie hat sich das „wir-Gefühl“ verändert?
Ziel=Veränderung/Entwicklung beschreiben& bewerten
Wirksamkeitseva
- War die Therapie erfolgreich?
- War die Weiterbildung erfolgreich?
- Konnte Konflikt beigelegt werden?
(Transfererolg, Nachhaltigkeit, Nebenwirkung?)
Ziel=Kausalität prüfen
Unterscheidung Wirksamkeit & Wirkung
Wirksamkeit = Output
- erreicht Maßnahme ihre Ziele?
Wirkung= Wirkmodell
- wie/wieso sollte Maßnahme wirken?
Welche 4 Evaansätze gibt es?
- ergebnisorientiert
- theorieorientierter
- akteurorientiert
- systemischer
Ergebnisorientierter Evaansatz
- konkrete kriteriumsbezogene Fragestellung (Akzeptanz Maßnahme/tech. Gerät)
- konzentriert sich auf wenige ergebnisbez. Merkmale
- Unterscheidung nach Evakriterium:
1. wirksamkeitsorientiere Evamodelle
2. effizienzorientiere Evamodelle
wirksamkeitsorientiere Evamodelle
Kriterium: Effektivität
- im Feld& Labor
- Nachweis, dass Maßnahme Wirkung entfaltet & Effekt erzielt
Bsp.: Unterrichtsmethoden
effizienzorientiere Evamodelle
Kriterium: Effizienz
- Kosten& Nutzen ermitteln
Bsp.: AIDS-Präventonskampagne
- Evamodelle: Kosten-Nutzen-Analyse, Kosten-Effektivitäts-Analyse
systemischer Evaansatz
- ganzheitliche Betrachtung d Maßnahme
- Evagegenstand untersuchen auf Prozesse und Umfeldbedingungen
- Evamodelle: Multi-Facetten-Modell, CIPP-Evamodell
systematischer Evaansatz: CIPP-Evamodell
- Context-Eva (Was soll getan werden?)
- Input-Eva (Wie sollte es)
- Process-Eva (Wurde es)
- Product-Eva (War es erfolgreich?)
Theorieorientierter Evaansatz
- Wirkmechanismen d Maßnahme untersuchen & modellieren
Akteurorientierter Evaansatz
- Interessen der Beteiligten im Mittelpunkt
- Evamodelle: klientenorientiertes & stakeholderorientiertes Modell
Unterschied zw. klientenorientiertes & stakeholderorientiertes Modell
klientenorientiert:
- auf spez. Gr zugeschnitten
stakeholderorientiert:
- möglichst alle gleich einbeziehen
Phasen der Evaforschung
- INITIIERUNG (Ziele festlegen, Ausschreibung)
- KONZEPTION (Evabedigungen, Konzept, Standards, Vertrag)
- PLANUNG (Fragen& Hypos, Untersuchungs-& Projektplanung)
- REALISIERUNG (Datenerhebung, Analyse, Interpretation)
- ABSCHLUSS (Berichte, Metaeva, Publikation d Studie)
Phasen der Evaforschung: Problem der verdeckten Ziele
- Überprüfung ohne detailliertes Ziel
- Verantwortungsdelegation
- Durchsetzungshilfe (Erwartungen bestätigen, unerwünschtes verhindern)
Evaluation vs. Evaforschung
Eva= Bewertung
- unabhängig v methodischen Regeln
- auch Einzelurteile
Evaforschung= Bewertung eines Evagegenstandes anhand v begründeten Kriterien &zuvor gestgel. Zielen
- Verwendung wiss. Forschmethoden &-techniken
- anwednungsbez. Teil d. Sozialforsch
Abgrenzung Evaforsch zu Grundlagenforschung
Grundlagenforschung= Entwicklung & Überprüfung wiss. Theorien Evaforsch= operiert meist stärker theorieanwendend als theorieentwickelnd
Zeitpunkte der Eva
- vorher:
Diagnose1 (Wie ist es?) - Retrognose (Wie war es?) - Intervention
- nachher:
Prognose(Wie wird es sein?) - Diagnose 2 (Wie ist es?)
Eva-Kriterien
- Wirksamkeit
- Transfererfolg
- Kosten-Nutzen-Bilanz(Effizienz)
- Bedarf
- Nachhaltigkeit
- Akzeptanz
Arten von Eva-forsch: Rahmenbedingungen
Eva im Feld vs. im Labor
parteilich vs. objektiv
geschlossen vs. offen
vertraulich vs. öffentlich
Arten von Eva-forsch: Ausrichtungen
- Makro-Eva
- Mikro-Eva
- Programmeva
- Input-Eva
- Complience-Eva
- Output-Eva
Arten von Eva-forsch: Zeitpunkte
- vor Maßnahme
- währenddessen
- nach Maßnahme
Arten von Eva-forsch: Durchführungsmodi
intrinsisch vs. extrinsisch
intern vs extern
formativ vs summativ
vergleichend vs nicht-vgl
Metaevaluation =
Eva der Evastudie durch Metaanalyse
Warum sollen Fragebögen eingesetzt werden?
Vorteile gg-über Interview:
- Vermeidung v. Interviewereffekten
- überlegtere Antworten
- höhere Motivation, wenn Zeitpunkt frei wählbar
- Kosten-& Zeitersparnis
Welche Aufgabe haben die Befragten und durch welche Maßnahmen kann ich sie unterstützen?
Aufgaben:
- Frage verstehen
- relevante Infos abrufen
- auf Infobasis Urteil bilden
- Urteil gg-falls in Antwort einpassen
- privates Urteil gg-falls editieren vor Weitergabe
Maßnahmen:
- temporal landmarks
- vorweg Frage stellen, die Erinnerung fördert
- Itemformulierung (neg. Formulierungen)
- Tempo-Instruktion
- Anonymität
- soziale Erwünschheit bedenken
Operationalisierung von Merkmalen: latent vs manifest
latent: - theor. Konstrukt - nicht direkt beobachtbar - theor. Bedeutung ist erklärbedürftig (Intelligenz, Emotionen) manifest: - unmittelbar beobachtbar - leicht feststellbar - theor. Bedeutung eindeutig/bekannt (Körpergröße, Alter)
psychometrische Skala =
Satz von Item, die als Indikatoren dazu dienen, gemeinsam ein latentes Merkmal zu messen
Vor- und Nachteile von Einzelitems & psychometrische Skalen
Einzelitems
- Vorteil: max. Ökonomie
- Nachteil: weniger messgenau
psychom. Skalen - Vorteil: mehrere ähnliche Items messen 1 Merkmal/reliablere&validere Daten
- Nachteil: aufwändiger
Grobkonzept des Fragebogens
- FB-titel
- FB-instruktion
- inhaltliche Fragenblöcke
- stat. Angaben
- FB-Feedback
- Verabschiedung
Fragetypen
- offen vs geschlossen
- Selbstauskunft vs Testen von Leistungen
- Aussage, Frage oder Bewertung