Monitoring & Evaluation Flashcards
Welche Vorteile bringt Beobachtung/”Überwachung” von Bildung?
+ Erfassung
- bestimmter Indikatoren -> Aspekte der Bildungsqualität
- grundlegende Aspekte von Bildung -> als Voraussetzung für weiterführende Bildungsprozesse
+ Bereitstellung von Basisdaten für empirische Forschung
+ Information für Entscheidungstragende & Öffentlichkeit über Zustände, Problemlagen & Herausforderungen im Bildungsbereich = Evidenzbasierte Politik
+ Nutzen = abhängig von wissenschaftlicher Qualität & Lernbereitschaft
Wie wird Bildungsmonitoring definiert?
= systematische & regelmäßige Erfassung von Indikatoren für Qualität eines Bildungssystems oder dessen Teilsysteme
- mittels empirischer Verfahren -> gezielt Indikatoren für Ergebnisqualität erhoben
- weitere Merkmale von Bildungssystemen erfasst (Kontext-, Input- oder Prozessfaktoren) -> Daten angemessen beurteilt & interpretiert
- Rückmeldungen über Zustände in System - Hilfe bei Steuerung
Was macht die Organisation für wirtschaftliche Zusammenarbeit & Entwicklung (OECD)
- systematische & regelmäßige Beobachtung von Bildungssystemen -> Mitgliedsstaaten steuerungsrelevante Infos zur Verfügung zu stellen
- jährliche Bildungsberichte: “Education at a Glance”
- basierend auf PISA
Welche Charakteristika haben Bildungsmonitorings?
- Testkomponente -> Output von Bildungssystemen erfasst
- auf grundlegende Kompetenzen konzentriert -> für nachfolgende Bildungsprozesse bedeutsam & zugleich empirisch zuverlässig erfasst
- Stichprobenziehung -> Aussagen über Population
- Datenbasis für Bildungsberichte
- eingeengte Fragestellungen =/ umfassende & flächendeckende Beobachtung
Welche 3 Bezugspunkte gibt es für die Beurteilung von Bildungssystemen?
- Kriteriumsorientierte Betrachtung
- > bestimmte inhaltliche Zielansprüche - Vergleiche (mit anderen Staaten, Teilgruppen, Schulen)
zB: internationale Mittelwerte -> relative Stärken & Schwächen
-> Vergleiche im Sinne eines “Benchmarking” - Veränderung
- > regelmäßiges Bildungsmonitoring über mehrere Erhebungswellen
- > Rückmeldungen über Veränderungen in relevanten Qualitätsindikatoren
Welche Untersuchungsformen für Bildungsmonitoring gibt es?
- zunächst deskriptive Untersuchungszugänge: Überblickstudie “Survey”
- Relationen ZWISCHEN Merkmalen
- > fließender Übergang zur Korrelationsstudie
- Steuerungswissen & politische Entscheidungen -> Evaluationsforschung
(Bildungscontrolling = betriebswirtschaftliches Instrument der Personalentwicklung =/ Forschungszugang)
Large Scale Assessments (LSA)
= groß angelegt
= standardisierte Einschätzung, Bewertung Situation/Ergebnis
- über Einzelinstitutionen & Einzelgruppen hinaus
- fokussieren auf Lernergebnisse
- Unterliegen zentraler Steuerung (Behörde, Forschungsgruppen)
Wie hat sich das Interesse an Bildungsmonitoring im deutschsprachigen Raum verändert?
- Veränderte Einschätzung der Relevanz von Bildung
- Ö & D: Jahrzehntelanger Verzicht auf internationale Leistungsvergleiche: Bewusstwerdung des Abstands zur internationalen Spitze & Wissensdefizits über Bildungssystem = PISA Schock
- Qualität eines Bildungssystems -> empirisch fundierte Erkenntnisse: Schwächen erklären & auf Weiterentwicklung hinweisen
Paradigmenwechsel in Steuerung des Bildungssystems
- Resultate schulischer Ausbildung als Gradmesser von Schulqualität
- internationale Vergleichsuntersuchungen -> Messung von Bildungsresultaten an Schnittstellen der Schullaufbahn: Orientierungspunkte bzw benchmarks
- evidence based education = outputorientiert
Welche 2 Hauptfunktionen hat der nationale Bildungsbericht?
Wie sieht die Inhaltliche Zweiteilung aus?
Funktionen
- aus Daten & Fakten basierendes Systemwissen & Systemverständnis erweitern
- > moderne Bildungspolitik (evidence-based policy) unterstützen - Rechenschaft hinsichtlich Zustand & Probleme des Schulwesens
- > bildungspolitische Reformpläne
Inhalt
Teil 1: Beschreibung des Ö Schulsystems durch Daten & Indikatoren -> Bildungsstatistik & Bildungsmonitoring
Teil 2: wesentliche Entwicklungsfelder -> Analyse anhand von Daten & Forschungsergebnissen -> qualitätsorientierte Weiterentwicklung
Welche Bildungsdisparitäten zeigen sich im nationalen Bildungsbericht am BSP der 17-jährigen in der AHS?
17-jährige in AHS
- ca 61% Eltern Hochschulabschluss
- 10% Eltern Pflichtschulabschluss
Unterschiede nur zum Teil durch Schulleistungen erklärbar:
Eintritt in AHS Unterstufe
- 1/3 durch Leistungsunterschiede erklärbar
- 2/3 durch Wahlentscheidungen der Eltern
Frühere Bildungsentscheidungen bedingen spätere:
Übertritt in Sek II (maturaführende schule)
- AHS Sek I Schülerinnen 95% (64% AHS, 31% BHS)
- Hauptschülerinnen 44% (9% AHS, 35% BHS)
Wie sehen internationale Studien zu Bildungsmonitoring & Evaluation aus?
National Assessment of Educational Progress (NAEP)
USA: seit 1969 -> kontinuierliches Bildungsmonitoring
- Zufallsstichproben Klassenstufe 4, 8 & 12
- Lesen, Schreiben, Mathematik & NAWI & Berichtung von Trends
International Association for the Evaluation of Educational Achievement (IEA)
- Organisation, die internationale Vergleichsstudien durchführte
- internationale Large Scale Assessments mit Videostudien kombiniert
- > Prozessqualität
OECD: Programme for International Student Assessment (PISA)
Trends in International Mathematics & Science Study (TIMSS)
Progress in International Reading Literacy Study (PIRLS)
Teaching and Learning International Survey (TALIS)
In welche 6 Strukturierungsdimensionen werden Bildungsmonitoring-Studien unterteilt?
- Domänen
zB Lesen, Mathematik, NAWI - Zielgruppen
zB Alter, Klassenstufe oder Einrichtungen - Reichweite
regional über national zu international -> Vergleichsmöglichkeiten - Erhebungs- & Messzeitpunkte
längs- oder querschnittlich - Kontextfaktoren
zB Info über Elternhäuser - Inputfaktoren
zB Ausstattung der Schulen
Wie läuft die PISA Studie ab? Ergebnisse, Funktionen
= internationales Large Scale Assessment
- Kompetenz in Lesen, Mathematik & NAWI
- Zielgruppe: 15-jährige Jugendliche in OECD-Staaten & fast 30 weitere
- Erhebungen seit 2000 in dreijährigem Abstand
Internationale Vergleichsstudien berichten den teilnehmenden Staaten:
- Kennwerte über Niveau & Streuung der Kompetenzen
- Verteilungen auf Kompetenzstufen
- Leistungen bestimmter Teilgruppen (Geschlecht, soziale Herkunft, Migrationsstatus)
Neben Testverfahren -> Fragebögen an: Schüler*innen, Schulleitung, Lehrkräfte & Eltern (Info über Lernumgebung in Elternhaus, Unterricht & Schule)
Funktionen:
- Stärken & Schwächen von Bildungssystemen
- umfassende Rechenschaftslegung leistungsbezogener Zielvorgaben
- Grundlage für Qualitätsentwicklung
-> politiknahe kulturvergleichende Bildungsforschung
Welche Theoretischen Modelle gibt es beim Bildungsmonitoring?
umfassende Rahmenkonzeption -> untersuchende Bereiche strukturiert & aufeinander bezogen
Internationale Vergleichsstudien: Strukturierung anhand von Mehrebenen-Modelle
Differenzierung zwischen den Ebenen
- Erziehungssystem
- pädagogische Einrichtung zB Schule
- Lehr-Lernumgebung zB Klassenzimmer
- Individuum -> Lernvoraussetzungen & Ergebnisse
Unterscheidung von Randbedingungen, Prozessen & Ergebnisse
PISA Studie: Kontext, Kritik
PISA -> Verständigung über Kompetenzen, die in modernen Gesellschaften für befriedigende Lebensführung & aktive Teilnahme am gesellschaftlichen Leben
- Funktionalitätsgedanke schulischer Ausbildung
- Bewährung von Kompetenzen in authentischen Anwendungssituationen
- Lesekompetenz: Texte des alltäglichen Lebens lesen, verstehen & reflektieren können
- Mathematische Basiskompetenzen: auf alltagsrelevante Probleme anwenden
Zusätzlich untersuchte Kontextmerkmale orientiert sich am jeweiligen thematischen Schwerpunkt
- PISA 2000: LESEN
Erfassung von Einstellungen, Haltungen, Interessen & Strategien zum Lesen & Lernen allgemein anhand von Selbstberichten
- PISA 2003: MATHEMATISCHE KOMPETENZEN
Erfassung von auf Mathematik bezogene Einstellungen, Haltungen, Interessen & Problemlösefähigkeiten
- PISA 2006: NAWI
Erfassung der auf NAWI bezogenen Einstellungen, Haltungen, Interessen
- PISA 2009: LESEN; 2012: MATHE; 2015: NAWI
- zahlreiche Merkmale schulischer Lehr- & Lernbedingungen
- Bsp: Ausstattung Schule, sozioökonomischer & soziokultureller Hintergrund
- deskriptive Komponenten: Prozessmerkmale, Lern- & Unterrichtsgeschehen, Verbindungen zu Leistungsindikatoren
Kompetenzen müssen prinzipiell messbar % vergleichbar sein
- > objektiv, reliabel & valide
- > methodischer Aufwand
KRITIK
- Vernachlässigung anderer Domänen -> nur schulische Kernbereiche
- keine Berücksichtigung von Lehrplänen
- keine Klassenstufen -> Alterstufen
- in vielen Ländern erheblicher Teil der 15jährigen nicht mehr in Schule
- viele MC nicht gewöhnt andere schon
- seit 2015 Computertestungen =/ mit Vorstudien vergleichbar
Welche Herausforderungen könnten bei der Stichprobenziehung auftreten?
Definition der Zielpopulation
zB Alterjahrgang 15-jährige
Ausschöpfung der Stichprobe
- wie viele der zufällig ausgewählten Schulen tatsächlich teilgenommen haben
- Vor Studie: Festlegung von Kriterien
- wenn leistungsschwächere Schüler*innen nicht teilnehmen -> Ergebnisse verzerrt
Gewichtung der Stichprobe = Stratifizierung
1. zufällige Ziehung von Schulen
2. zufällige Ziehung von Schüler*innen
-> durch Gewichtung repräsentative Darstellung
Aussagekraft hängt von aktuellen Stand der Stichprobentheorie ab
- ausführliche Dokumentation in Technical Reports
