Evalutation Flashcards
Definition und Arten von Evalutation
Rossi, Freemann und Lipsey 1999:
Evalutation ist die systematische Anwendung sozialwissenschaftlicher Forschungsmethoden (von der Planungsphase bis hin zur Entwicklung und Umsetzung eones Programms) zur Beurteilung des Konzeots, des Design, der Umsetzung und des Notzens sozialer Interventionsprogramme
Allgemein: Evaluation hat etwas mit dem systematischen Bewerten von Handlungsalternativen zu tun.
- Arten von Evaluation:
> Mikroevaluation vs. Makroevaluation: einzelne Aspekte vs. Globalergebnis
> Interne Evaluation vs. Externe Evaluation (nach Stockmann 1994): Leiter der Evaluation ist Teil der Institution, z.B. Schulleiter etc. Vs. Ist Außenstehender: Testinstitute, Eltern etc.
> Summative Evalutation vs. Formative Evaluation (nach Scriven 1991): Überpürfun der Resultate nach Abschluss vs. Fortlaufender Kontrolle;
merke: formativ ist, wenn der Koch die Suppe probiert, summativ ist, wenn der Gast dies tut
> Isolierte vs. Vergleichende Evaluation (Hager 2008): Untersuchung nur eines Programmes bzw. Zweier Programme
Unterscheidung Evaluation nach Wulf (1975)
- Praxisorientierte Evaluation: konkrete Bewertung des aktuelle Standes eines Programmes
Entwicklungsorientierte Evaluation: Ergebnisse werden zur Verbesserung der Entwicklung zukünftiger Programme genutzt
- Theorieorientierte Evaluation: Bewertung der zugruunde liegenden wissenschaftlichen theoretischen Modelle
Stufflebeam (1972): KIPP-Modell für Typen (bzw. Elemente) der Evaluation
- Kontext (Rahmenbedingungen eines Projekts)
- Input (Budget- und Ablaufpläne, Strategien eines Programmes)
- Prozess (fortlaufende Kontrolle neu eingeführter Maßnahmen)
- Produkt (Bewertung der Alternativen nach der Erprobungsphase)
Evaluation ist nur dann sinnvoll, wenn die Zielperson aus den Erkenntnissen der Evaluation einen Mutzen ziehen können und wenn Konsequenze abgeleitet werden!
Funktion von Evaluation (Stockmann 2000)
Programm / Objekt / Gegenstand
- Erkenntnisfunktion: Bsp.: Selsbtevaluation über eigene Unterrichtsführung
- Kontrollfunktion: Wikrung/Wirksamkeit einer Intervention wird gezielt geprüft
- Dialogfunktion: Erkenntnisse werden als Grundlage für einen Austausch genutzt
- Legitimitätsfunktion: Eine druchgeführte Maßnahme vor anderen vertreten
Ablauf einer Evaluation
Planung:
> Bestimmung und Begrenzung des Vorhabens
> Entwicklung der Konzeption und Ablaufplan
Durchführung:
> Instrumentenentwicklung
> Datenerhebung, Strukturierung, Auswertung
Verwertung:
> Präsentation und Berichterstellung
> Nutzung der Ergebnisse und Empfehlungen
Planungsphase Evaluation
- Definition des Inhalts und des Zwecks der Evaluation
- Zunächst: Festlegung auf interne oder externe Evaluation
- Grundlegende Arten der Planung
> In formalisierten erfahren: Auftraggeber setzt Maßstäbe etc. Fest
> Beim partizipatorischen Vorgehen: Beteiligte des zu evaluierenden Programmes nehmen aktiv an der Gestaltung der Evaluation teil - Bestimmung der Zielgruppe (der Personen, denen das Programm zugutekommt)
- Auswahl einer geeigneten Zahl von Fragestellungen
- Festlegung der zur Verfügung stehenden Ressourcen
- Probleme, die eine Evaluation unangemessen machen
> Erwartung von nutzlosen Ergebnissen
> Fehlende Ressourcen (Zeit, Geld)
> Evaluation nicht gemäß Standards durchführbar (z.B. politischer Druck, Wirkungen des Programms können nicht mehr festgestellt werden) - Genaue Konzeption der Evaluation
> Schriftliche Fixierung der oben besprochenen Merkmale
> Zeit-, Personal- und Budgetplan erstellen
> Herausforderungen; Gleichgewicht zwischen engem Spielraum des Auftraggebers und Notwendigkeit von Spielräumen
Durchführung von Evaluation
- Festlegung, wie und von wem Daten erhoben werden sollen
- Definiton und Indikatoren, falls bestimmte Dinge nicht direkte erfasst werden können
- Auswahl einer Stichprobe (z.B. Auswahl durch Zufall vs. Nach Kriterien)
- Datensammlung!
- Auswertung, Interpretation und Bewertung nach vorher festgelegten Kriterien
Probleme und Herausforderungen von Evaluation
- Kritk an der Evaluation selbst (z.B. Vorwurf falscher Methoden, wenig neuer Erkenntnisse etc.)
—> bei der Planung auf wissenschaftlich genaue Methodik achten; Involvierung der Beteiligten in Planung - Leugnung von Ergebnissen
—> Konzentration auf Fakten, nicht Eindrücke des Evaluators; Achtung einer logischen Argumentationskette
Nutzung von Evaluationsergebnissen
- Arten von Nutzen
> Direkter Nutzen: Ergebnisse aus der Evaluation (z.B. bezüglich der Kommunikation in einem Programm) können unmittelbar genutzt werden
> Konzeptueller Nutzen: Ergebnisse beeinflussen Denken über Problemstellungen (z.B. Notwendigkeit von regelmäßigen Evaluationen)
> Überzeugungs-Nutzen: Legitimation eines Projekts; Untermauerung oder Widerlegung oftmals politischer Positionen - Faktoren, die zu einer höheren Nutzung von Ergebnissen führen (Rossi/Freemann 2004)
> Relevanz für Entscheidungsträger
> Einbeziehung der Programmgestalter in die Entscheidungen
> Qualität der Kommunikation (Zeitnähe, Methodik)
Qualität von Evaluationen (Standards der Dt. Gesellschaft für Evaluationen)
- Nützlichkeit: Ausrichtung der Evaluation an Zweck und am Informationsbedarf
- Durchführbarkeit: realisitsche und sorgfältige Planung mit Rücksicht auf Kosten für Auftraggeber
- Fairness: respektvoller und fairer Umgang mit betroffenden Personen
- Genauigkeit: gültige Informationen und relevante Ergebnisse
Methoden schulbezogener Evaluation
Tests bzw. Fragebögen, Beobachtung und Interviewtechniken
- Funktionen von Unterrichtsevaluation
> eigenen Erkenntnisgewinnung und Selbstvergewisserung beitragen
> die Steuerung bei Unterrichts-/Schulentwicklungsprozessen unterstützen
> der Rechenschaftslegung dienen - Möglichkeiten der Erfassung, insbesondere von Unterrichtsqualität
> Frei vs. Gebunden (z.B. Interviews mit Leitfragen MC)
> Schriftlich vs. Mündlich (z.B. Fragebogen Interview)
> Breitbanddiagnose vs. Ausschnittbeleuchtung
> Aktuell vs. Kumulativ (soeben erfahrener Unterricht retrospektiv über einen längeren Zeitraum)
> Niedrig-Inferent vs. Hoch-Inferent (Beurteilungs- und Erfahrungsspielraum sehr gering mit Portion Ermessen und Subjektivität)
> Medium der Beurteilung (Papier, Bleistift, Audio, Video etc.) - Beispiele: Videoanalysen, Hospitationen, Fragebögen
Offene Befragung
- Kurzbefragung zur Einschätzung des Unterrichts durch die Schüler
- Befragung zur Selbstbewertung des eigenen Arbeitsprozesses in der Freiarbeit
- Befragung zur Projektevaluation
- Klassen-Soziogramm
- Fachlehrer-Befragung zu Klassenauffälligkeiten
- Sonstige Methoden
- Beobachtungsbogen zur Methodenkompetenz / Sozialkompetenz / Sachkompetenz
- Tagebuch für Grundschüler
Können Schüler Unterricht beurteilen?
PRO:
> Perspektive der Betroffenen (Zielgruppe)
> Bildung eines Klassenmittelwerts möglich
> Langzeitperspektive (Schuljahr)
> Lernklima
CONTRA
> Mögliche Überforderung der Schüler
—> können didaktische Kompetenz und fachliche Expertise schwer beurteilen
> Differentielle Angaben zu einzelnen Facetten der Unterrichtsqualität werden überlagert z.B. durch die allg. Beliebtheit einer Lehrkraft
Fazit: Schülerangaben repräsentieren eine sehr wichtige Perspektive. Da sie jedoch auch Schwächen haben, dürfen sie nicht verabsolutiert werden. Sehr gut eignen sie sich für formative Evaluationen
Probleme bei der Evaluation
Methodische Probleme
> Ausschalten von „Störfaktoren“
> Prinzipien der wissenschaftlichen Versuchsdurchführung (z.B. ist das übliche Festhalten an erstellten Untersuchungsplänen bei der Evaluation oft nicht möglich)
> Auswahl geeigneter Indikatoren für Evaluationsfragen oftmals schwierig
Interpretationsprobleme
> Bewertung der Indikatoren (z.B. „Ist es gut oder schlecht, dass ein Kind täglich zwei Stunden Hausaufgaben macht?“
> Wahrheit über die Studie kann abschrecken —> Dissonanztoleranz
Stichprobenprobleme
> Klumpenstichproben (nicht Einzelpersonen, sondern ganze Klasse): sind kein repräsentativer Durchschnitt
> Finden einer repräsentativen Stichprobe
> Freiwillige Teilnehmende sind motivierter
> Übliche statistische Auswertung nicht geeignet, da Ergebnisse nicht auf eine gesamte Population ausgeweitet werden können
> Stichprobenmortalität: Teilnehmer des Programms sind nicht mehr in der Stichprobe enthalten (etwa weil sie durchgefallen sind)
Zeitabhängigkeit der Ergebnisse
Einmaligkeit
(Evaluationen können aufgrund der veränderlichen Bedingungen nicht wiederholt werden)
Nicht finanzielle Kosten
> Zweifel an der Richtigkeit des bisherigen Handelns
> Unruhe bei allen Beteiligten (z.B. bei Einführung neuer Maßnahmen)
> Beeinträchtigung der Lebenssituation der Beteiligten (Selbstwertgefühl)
> Zeitverzögerung
> Schädigung der Betroffenen durch probeweise durchgesetzte Maßnahmen
