DE: Evaluation & Bildungsmonitoring Flashcards
Def Evaluation
Mit Evaluation bzw. Evaluierung werden Vorgehensweisen bezeichnet, um die Wirkungen sozialer Aktivitäten zu analysieren und deren Wirksamkeit für bestimmte Zielsetzungen zu beurteilen.
Pädagogischer Kontext: pädagogische Maßnahmen oder Prozesse, Einrichtungen oder Systeme im Bildungswesen bewerten
Ziel: evidenzbasierte Entscheidungen treffen, um die Qualität im Bildungswesen zu sichern und zu verbessern
Formen von Evaluation
- Summative Evaluation: wird am Ende nach Abschluss eines Trainingsprogramms oder einer Lehreinheit durchgeführt
- Formative Evaluation: wird während einer Maßnahme erhoben; die Ergebnisse werden fortlaufend an die Gestalter der Maßnahme rückgemeldet
- Interne Evaluation: wird von Beteiligten selbst durchgeführt
- Externe Evaluation: wird von außen stehenden, unabhängigen Fachleuten durchgeführt
Elemente einer Evaluation
KIPP-Modell
- Kontext (Rahmenbedingungen eines Projekts)
- Input (Budget- und Ablaufpläne, Strategien eines Programmes)
- Prozess (fortlaufende Kontrolle neu eingeführter Maßnahmen)
- Produkt (Bewertung der Alternativen nach der Erprobungsphase)
Außerdem:
- Umwelt (politsche Strukturen, soziale Normen, …)
- Feedback
Inputorientierte Evaluation
- Lehrpläne
- Ausbildungsbestimmungen für Lehrpersonen
- Prüfungsregelung
- Größe von Schulklassen
- Anzahl qualifizierter Lehrpersonen
Output-orientierte Evaluation
- Erträge von Bildungsprozesse sind wichtig
- Fachspezifische und fächerübergreifende Kompetenzen
- Motivationale Orientierungen
- Werthaltungen
- Persönliche Eigenschaften
Funktionen von Evaluationen
- Erkenntnisfunktion: z.B. Selbstevaluation über eigenen Unterricht
- Kontrollfunktion: Wirkung/ Wirksamkeit einer Intervention wird gezielt geprüft
- Dialogfunktion: Erkenntnisse werden als Grundlage für einen Austausch genutzt
- Legitimitätsfunktion: eine durchgeführte Maßnahme vor anderen vertreten
Ablauf einer Evaluation
Planung
* Bestimmung und Begrenzung des Vorhabens
* Entwicklung der Konzeption und Ablaufplanung
Durchführung
* Instrumentenentwicklung
* Datenerhebung, Strukturierung, Auswertung
Verwertung
* Präsentation und Berichterstellung
* Nutzung der Ergebnisse und Empfehlung
Strategien zum Bildungsmonitoring
- Internationale Schulleistungsstudien (PISA, TIMSS, IGLU): Erfassung der Bildungsqualität sowie Trendanalyse
- Flächendeckende Vergleichsarbeiten (VERA) zur Überprüfung der Leistungsfähigkeit aller Klassen und Schulen in der 3. und 8. Jahrgangsstufe (basierend auf Kompetenzstufenmodell)
- Gemeinsame Bildungsberichterstattung von Bund und Ländern
Qualitätsstandards für Evaluationen
- Nützlichkeit: Evaluation richtet sich an vorab definierte Ziele und Fragestellungen
- Genauigkeit: Auswahl geeigneter Messinstrumente, um die Ergebnisse reliabel und valide zu machen
- Durchführung: Belastung, die durch Datensammlung entsteht, soll im Verhältnis zum Nutzen der Evaluation stehen
- Fairness: Respektvoller und fairer Umgang mit Akteuren der Evaluation
Evaluationen: Möglichkeiten der Erfassung, insbesondere von Unterrichtsqualität
- FREI vs. GEBUNDEN (z.B. Interviews mit Leitfragen↔ multiple choice)
- SCHRIFTLICH vs. MÜNDLICH (z.B. Fragebogen ↔ Interview)
- AKTUELL vs. KUMULATIV (soeben erfahrener Unterricht ↔ retrospektiv über einen längeren Zeitraum)
- NIEDRIG-INFERENT vs. HOCH-INFERENT (Beurteilungs- und Erfahrungsspielraum sehr gering ↔ mit Portion Ermessen und Subjektivität)
- MEDIUM der Beurteilung (Papier, Bleistift, Audio, Video etc.)
Arten der Evaluation multimedialer Lernumgebungen
- Usability-Forschung => Fokus: Bewertung der Benutzerfreundlichkeit (Usability) multimedialer Lerntechnologien
- Pädagogische Evaluationen => Fokus: Analyse von Lernergebnissen und des gesamten Wissenserwerbsprozesses
- Mediendidaktische Evaluationen => Fokus: Bewertung der didaktischen Potenziale von Medien
Beispiele für internationale Vergleichsuntersuchungen mit Large-Scale-Assessment-Verfahren
- IGLU (Internationale Grundschul-Lese-Untersuchung): Testet international vergleichend das Leseverständnis von Schülern der 4. Jahrgangsstufe
- PISA (Programme for International Student Assessment): von OECD initiiert, Ziel: in den beteiligten Ländern die Kompetenzen im Lesen, Mathe & Naturwissenschaften von 15-jährigen Jugendlichen zu erfassen
- TIMMS (Third International Mathematics and Science Study): gleichzeitige Untersuchung Mathematik- und Naturwissenschaftsleistungen von Schlüsseljahrgängen in der Grundschule (TIMSS/Population I), in der Sekundarstufe I (TIMSS/Population II) und Sekundarstufe II (TIMSS/Population III)
