12.) Befunde der empirischen Bildungsforschung: John Hattie Flashcards
❔🔄 Wiederholungsfragen 🔄❔
❔🔄 Klassenführung
- ) Was wird unter der Erhöhung der Lernzeit verstanden?
- ) Wie sollte ins neue Schuljahr gestartet werden?
- ) Welche Lehr-Handlungen führen zur Reduktion von Störungen?
❔🔄 Unterrichten
- ) Welche theoretischen Ansätze gibt es für das „Instructional Design“?
- ) Welche Kriterien schlägt Heinz Mandl für die Qualität von Lehre vor (situiertes Lernen)?
.
Time on Task
- Die Zeit, in der sich die Lernenden mit dem Lernstoff beschäftigen, ist ein wichtiger Prädiktor für Lernerfolge für der Schülerinnen und Schüler
- Aber: Große Unterschiede zwischen Klassen und Lehrkräften, wie hoch der Anteil der Time on Task ist
—> Abb.
.
Der richtige Anfang
Gute Classroom-Manager sind gut vorbereitet – schon bevor sie auf die Schülerinnen und Schüler treffen!
- Klassenzimmer und Materialien vorbereiten!
- ersten Tage, nachdem eine Lehrkraft eine neue Klasse übernimmt, sind entscheidend fürs ganze Schuljahr!
- gleich zu Beginn Regeln + Prozeduren mit den Schülerinnen und Schüler durchsprechen!
- speziell am Anfang mit großer Konsequenz vorgehen
- Emotionsregulation vorbereitet
- offene Geisteshaltung
.
Klassenführung: Einige empirische Befunde (1)
Lehr-Handlungen, die zur Reduzierung von Störungen führen
- klare Regeln
- Kommunikation von Erwartungen und Feedback
- systematische Beobachtung des Verhaltens von SchülerInnen
- souveränes Handeln
(u.a. Wild + Möller, 2009, S. 83ff)
.
Instructional-Design-Modelle
- behavioristisch orientierte Modelle
- Modell von Carroll (1963) , Modell von Bloom (1971)
- kognitionspsychologisch fundierte Modelle
- Modell von Ausubel (1974), Modell von Bruner (1961)
- konstruktivistisch orientierte Modelle
- Anchored Instruction (Cognition and Technology Group at Vanderbilt, 1997)
- Cognitive apprenticeship (Collins, Brown & Newman, 1989)
.
Situiertes Lernen (gemäßigter Konstruktivismus)
—> Abb.: Qualität der Lehre - Kriterien nach Mandl
.
Befunde der empirischen Bildungsforschung: John Hattie
❔
.
📋 Advanced Organizer
Befunde der empirischen Bildungsforschung: John Hattie
📋 Meta-Meta-Analyse von John Hattie
📋 Methodik der Meta-Meta-Analyse
📋 Befunde
📋 Kritikpunkte
📋 Anhang
.
🎯 Lernziele
Befunde der empirischen Bildungsforschung: John Hattie
🎯 Wie fktn (Meta-)Meta-Analysen
🎯 Welche Faktoren sind nach John Hattie für die Schulleistung pos + welche nicht?
🎯 Welche grundlegende Kritik kann an der Studie von John Hattie geübt werden?
.
- BEFUNDE DER META-META-ANALYSE VISIBLE LEARNING VON JOHN HATTIE (2008)
📺 https://bit.ly/JoHattie
3 min Ausschnitt
.
VISIBLE LEARNING FOR TEACHERS MAXIMIZING IMPACT ON LEARNING JOHN HATTIE (2012)
- man kann für jeden einzelnen Faktor schauen wie sinnvoll er für Schulerfolg ist
📝 ORDNEN SIE DIESE 12 FAKTOREN!
- sitzen bleiben
- Hausaufgaben
- Schulwechsel
- Überspringen (um ein Jahr)
- Lehrer-Schüler-Verhältnis
- Vermittlung von Lernstrategien
- kooperatives Lernen
- offener Unterricht
- Lesetraining (zweite Chance)
- individualisierte Instruktion
- Feedback
- Fähigkeitsgruppierung
💡 ANTWORTEN
- 1 Überspringen (um ein Jahr) .88
- 2 Feedback .73
- 3 Lehrer-Schüler-Verhältnis .72
- 4 Vermittlung von Lernstrategien .59
- Lesetraining (zweite Chance) .50
- kooperatives Lernen .41
- Hausaufgaben .29
- individualisierte Instruktion .22
- Fähigkeitsgruppierung .12 (ist in Ordnung, bringt aber nicht wirklich viel)
- offener Unterricht .01
- sitzen bleiben -.16 (sehr schlecht)
- Schulwechsel -.34 (sehr schlecht)
Systematik der Pädagogischen Psychologie
—> Abb.
SOLL-IST ➡️ individuelles Lernen (im Lernumfeld) ➡️ Outcome -> SOLL-IST
( alles eingebettet in Institution )
⭐️ Institution = Reduzierung der Klassengröße .21
- > Effekte, die sich auf die Institution beziehen bringen kaum etw
- > liegt daran, dass man i weiter weg ist vom individuellen Lernen
⭐️ Outcome -> SOLL-IST
▫️ = Feedback .73
⭐️ Lernumfeld
▫️ = alleinerziehende Eltern -.17
▫️ = kollaboratives Lernen .41
▫️ = reziprokes Unterrichten .74 (sehr effektiv)
⭐️ individuelles Lernen
▫️ = Vermittlung von Lernstrategien .59
-> umso näher man da dran ist, umso höher werden die Effektstärken
.
EINFÜHRUNG
What works? Hatties Zusammenfassung von 800 Meta-Analysen mit über 50.000 empirischen Studien, in denen 83 Mio. Schülerinnen und Schüler untersucht wurden
.
WAS IST EINE META-ANALYSE?
= eine Mitteilung von effektstärken von Studien
-> also, wenn man die gleiche AV (hier bei J.H. I = Schulerfolg) hat + die gleiche UV
-> wenn man dann ähnl UV zsmfasst
=> dann kommt man auf so ein mittleres Effektstärkenmaß
- bspw guckt man sich 10 Studien zu Feedback an
- wenn sie alle die gleiche Stichprobengröße haben
- u. auch sonst die Qualitätsmerkmale vglb sind
=> dann kann man diese 10 Effektstärken addieren + durch 10 teilen
( aber das geht nur, wenn sie alle auf dem gleichen Qualitätsmaßstab gemessen worden sind, ansonsten muss man das eben anpassen )
- Zsmfassung vieler Studien zu erfolgreichem Lernen
- Hattie et al. haben die Ergebnisse aus ü 50.000 Studien aufgearbeitet (83. Mio. Schülerinnen und Schüler)
- Mittelung der Effektstärken: Wie stark wirkt (im Mittel) Einflussgröße A auf das Ergebnis B?
- Berechnung der Effektstärke d als Maß für praktische Bedeutsamkeit von Maßnahmen
- d = M_treatmentgruppe – M_kontrollgruppe/SD_gepoolt
*_ bedeutet nur, dass das Wort unten steht, NICHT, dass dort ein Unterstrich ist !
INTERPRETATION DER EFFEKTSTÄRKE D VON MAßNAHMEN
- d zwischen -0,2 und 0 senkt Lernerfolg
- d zwischen 0 und 0,2 (fast) kein Effekt
- d zwischen 0,2 und 0,4 moderater Effekt
- d zwischen 0,4 und 0,6 großer Effekt
- d größer als 0,6 sehr großer Effekt
VERTEILUNG DER EFFEKTSTÄRKEN
- Effektstärken zeigen Normalverteilung
- beinahe alles hat Effekt
• d = 0.0 nicht als Referenzpunkt
(„nearly any innovation is better than its absence“)
• Standard zur Beurteilung von Effekten sollte hier .4 sein.
- entspr typischem Effekt irgendeiner Maßnahme
- .2 - .4 ist mittlerer Lernzuwachs per Jahr (das, was man sowieso lernt***)
- .0 -.15 Lernzuwachs ohne Beschulung
- ** - deshalb nicht 0 als Refferenzpkt nehmen, sondern diese .4
- ** -> man sollte laut J.H. nur Effekte berücksichtigen, die mehr bringen als das normale Schuljahr
.
VERTEILUNG DER EFFEKTSTÄRKEN
—> Abb.
- linke Seite keine genügend große Effektstärke laut JH
- > sondern erst, rechter Teil d > .4 (diese würde man dann entspr berücksichtigen)
.
Befunde: VORBEMERKUNG
• die Meta-Meta-Analye kann nicht …
❌ Erleben im Klassenzimmer abbilden
❌ Dinge berücksichtigen, auf die Schule wenig Einfluss hat
❌ qualitative Studien berücksichtigen
❌ die einzelnen Studien kritisch diskutieren
• die Meta-Meta-Analyse…
✅ ist eine Zsmfassung vieler Meta-Analysen
✅ hat eine Botschaft!!
.
Welches Lehr-Lernsituation möchten Sie gerne verbessern
(als durchgehendes Beispiel)?
📲 Flinga
.
UNTERRICHT UND SCHULISCHE LEISTUNGSENTWICKLUNG
BEFUNDE VON HATTIE, 2009
—> Abb.
- schulische Struklturmerkmale haben nicht so großen Einfluss
- Unterricht (ca. .4) + Lehrkraft haben Einfluss
- Schul- u. Familienstruktur haben nicht so großen Einfluss auf SchülerInnen
.
WAS SCHADET? ☹️
- Mobilität (Umzüge) d=-.34
- Krankheit d=-.20
- Fernsehen d=-.18
- alleinerziehende Eltern d=-.17
- Sitzenbleiben d=-.16
- Sommerferien d=-.09
FERNSEHEN
d = -0,18
.
WAS HILFT NICHT UND SCHADET NICHT? 😐
- offener Unterricht d=.01
- Jahrgangs-übergreifender Unterricht d=.04
- Leistungsgruppierung d=.12
- Problem-basiertes autonomes Lernen d=.15
- interne Differenzierung d=.16
- Web-basiertes Lernen d=.18
- Team Teaching d=.19
OFFENER UNTERRICHT
d = 0,01
.
WAS HILFT EIN WENIG? 🙂
- Reduzierung der Klassengröße d=.21
- individualisiertes Lernen d=.22
- Teaching to the test d=.22
- Konfessionelle Schulen d=.23
- Finanzielle Ausstattung d=.23
- Summer Schools d=.23
- Integration/Inklusion d=.28
- Hausaufgaben d=.29
KLASSENGRÖßE
d = 0,21
.
Warum funktionieren kleine Klassen nicht (immer)?
📲 Mindmap
.
WAS HILFT EIN WENIG MEHR? 😎
- entdeckendes Lernen d=.31
- induktives Unterrichten d=.33
- rglm Tests/Leistungskontrollen d=.34
- Reduzierung von Unterrichtsstörungen d=.34
- Schulleitung d=.36
- Computergestütztes Unterrichten d=.37
- Lehrerfortbildung d=.37
- Time on task d=.38
- Zusatzangebote für Leistungsstarke d=.39
Reduzierung von Unterrichtsstörungen
d = 0,34
.
WAS HILFT SCHON MEHR? ☺️
- kooperatives Lernen d=.41
- hohes Selbstvertrauen (Schüler) d=.43
- vorschulische Fördermaßnahmen d=.45
- frühkindliche Interventionen d=.47
• Classroom Management d=.52
-> als Ganzes bringt’s was, ansonsten nur Reduktion von Klassenstörung bringt nicht so viel)
- Peer Tutoring d=.55
- herausfordernde Ziele setzen d=.56
- Concept Mapping d=.57
- Arbeit mit Lösungsbeispielen d=.57
• direkte Instruktion d=.59
-> = Frontalunterricht
DIRECT INSTRUCTION
- Lernziele der Stunde festlegen, Erfolgskriterien für Schüler transparent machen + selbst als Modell demonstrieren
- überprüfen, ob die Schüler das zu vermittelnde Konzept verstehen
- am Ende der Stunde die zentralen Punkte zusammenfassen und in Bezug zueinander setzen
- gleiche Effekte für durchschnittlich begabte Schüler (d = 0.99) wie für Unterdurchschn.begabte + Sonderschüler (d = 0.86)
- gleiche Effekte für elementary + high school students
d = 0,59
.
WAS HILFT RICHTIG? 🤩🤩
• Leseförderung d=.67
• Metakognitive Strategien d=.69
- kann man bspw mit Lerntagebüchern steigern
- Verteiltes vs. massives Lernen d=.71
- Lehrkraft-Schüler-Verhältnis d=.72
- Feedback d=.73
- reziprokes Unterrichten d=.74
- Klarheit der Instruktion d=.75
- Akzelerationsprogramme d=.88
- formative Evaluation d=.90
FEEDBACK
✅ Elemente gelungenen Feedbacks
✔️ Welches Ziel hat der Schüler zu erreichen?
✔️ Wie sieht die Leistung bisher aus?
✔️ Was ist als nächstes zu tun?
d = 0,73
.
Warum ist Feedback so wichtig?
📲 Mindmap
.
FEEDBACK
✅ effektivste Formen des Feedbacks
↪️ direkte Gabe von Hinweisen
↪️ Verstärken richtiger Verhaltensweisen
↪️ Feedback mit direkter Verbindung zu Lernzielen
❌ am wenigsten effektive Formen des Feedbacks
↪️ Lob
↪️ Bestrafung + Belohnungen
↪️ keine Kombi beider Varianten!
( man sollte die beiden Formen nicht mitein kombinieren )
.
ZUSAMMENFASSUNG: WHAT WORKS?
AKTIVIEREN VS. LERNEN BEGLEITEN?
—> Abb.: Tabelle
.
WHAT WORKS?
UNTERRICHT VS. ARBEITSBEDINGUNGEN
—> Abb.: Tabelle
.
🧐 Kritik von Prof. Claus G. Buhren
🧐 Effektstärke sagt nichts über Qualität d. untersuchten Maßnahmen aus
🧐 Effektstärke mittelt Ergebnisse d. Metastudien, manche sind sehr disparat
🧐 angelsächsisch geprägte Unterrichts- u. Schulkultur untersch sich von deutscher
🧐 akademischer Lernerfolg ist nur ein Teil d. Bildungsauftrags
🧐 erst Zsmspiel von Variablen macht Schul- u. Unterrichtsqualität aus
- man kann sich nicht nur eine Variable wie “Feedback” raussuchen, was man dann i macht
- sondern man sollte alles mitein kombinieren (?)
⚪️ Beispiel: Jahrgangsübergreifendes Lernen
🙅♀️ Effektstärke .04 = keinen Effekt!
⁉️ Frage: warum wirkt es nicht?
💡 Antwort: weil es fast nur Ergebnisse aus Studien gibt, in denen der Unterricht nicht an die besondere Lernsituation angepasst ist!!
„.. it is likely that teachers teach in a similar way regardless of the distribution of age range in the class, and the multi-grade classes are often split by age for grouping”! (Hattie Studie, S. 93)
Werden kooperative Lernsituationen genutzt, steigt die Effektstärke um mehr als das 10-fache!!
⚪️ Beispiel: Offener Unterricht
🙅♀️ Effektstärke .01 = keinen Effekt!
⁉️ Frage: warum wirkt es nicht?
💡 Antworten
💡 weil die Datenlage zu klein ist (vier Metastudien) weil die Studien veraltet sind (1980 bzw. 1982) weil es ein Definitionsproblem gibt.
💡 Methoden des offenen Unterrichts erzielen viel höhere Effektstärken:
reziprokes Unterrichten (pupils as teachers) .74
Selbstbefragungen (self-questioning) .64
Lerntechniken (study skills) .59
⚪️ Beispiel: Direkte Instruktion
✅ Effektstärke .59 = sehr großer Effekt!
⁉️ Frage: warum wirkt es?
💡 Antwort: weil es sich um anspruchsvollen integrierten Frontalunterricht (Gudjons) handelt!
„.. the teacher decides the learning intentions and success criteria, makes them transparent to the students, demonstrates them by modeling, evaluates if they understand what they have been told by checking the understanding, and re-telling them what they have told by tying it all together with closure”! (Hattie Studie, S. 206)
.
❌ Fehler in John Hatties „sichtbarem Lernen“ Rolf Schulmeister und Jörn Loviscach 🧐
💬
▫️„Die viel zitierte Meta-Meta-Analyse „Visible Learning“ weist
↪️ beträchtliche inhaltliche
↪️ + methodische Schwächen auf
▫️ das zeigen unsere exemplarischen Proben der Quellen + Rechnungen
☝️ das Werk bedarf einer grundlegenden Überprüfung“
- Rolf Schulmeister
Quelle: https://docs.google.com/document/d/1hUbe8GYPFToduveTVD1laNXn-
2lwlxsWRNkc62l5LYg/edit?pli=1#
📖 Literatur
📖 Hattie, J. (2014). Lernen sichtbar machen. 2. korr. Aufl. Hohengehren: Schneider. Schulmeister, R., & Loviscach, J. (2014). Kritische Anmerkungen zur Studie “Lernen sichtbar machen” (Visible Learning) von John Hattie. SEMINAR 2/2014, S. 121-130
🤔 zweifelhafte Studien
▫️empirische Einzelstudien wurden nicht auf ihre inhaltl/methodische Qualität überprüft
↪️ sondern die Stichproben (die Meta-Analysen ja darstellen) guten Glaubens ünommen
☝️ außerdem hat Hattie viele „unpublished dissertations“ einbezogen ‒ oftmals wenig belastbar
🤷♀️ fragwürdige Zuordnungen
▪️ unabhängigen Variablen (UV) nicht kompatibel
▫️ so finden sich Studien
↪️ die den Effekt d. Beurteilung von Lehrern durch Schüler erfassen
↪️ unter Studien, die die Rückmeldung auf Schüler messen sollen
➡️ weil beide nominell unter „Feedback“ verzeichnet werden
🍎 Äpfel und Birnen 🍐
Im selben Effektkomplex „Feedback“ wird zum Beispiel eine Meta-Analyse, die Musik mit dem Ziel der Verhaltensverstärkung (reinforcement) einsetzt, mit anderen Studien verrechnet, die Unterrichtsinterventionen als kognitives Feedback nutzen.
☝️ mangelnde Sorgfalt 🤯
▫️ augenscheinlich hat Hattie nicht alle Meta-Analysen, die er zitiert, wirklich gelesen
↪️ denn bspw findet sich im Effektkomplex „Konzentration, Ausdauer u. Engagement“ eine Studie
↪️ deren Thema die Konzentration industrieller Macht ist
❌ nicht aber die Konzentration beim Lernen
▫️ außerdem konnten wir einige von Hattie angg Zahlenwerte
❌ nicht so in den verwendeten Meta-Analysen wiederfinden
🤯 irreführende Statistik 📊
▫️ die pro Phänomen angg Effektstärken sind Mittelwerte von sehr breiten Verteilungen
⚪️ zum Beispiel beim Effektkomplex „Induktives Vorgehen”
↪️ zieht Hattie zwei Meta-Studien mit Effektstärken von d = 0,06 u. d = 0,59
↪️ zur mittleren Effektstärke von d = 0,33
↪️ u. einem Standardfehler von 0,035 zsm
🤷♀️ unsinnige Rangliste 🏆
➡️ korrigiert man Themenkomplexe, in denen falsche Zuordnungen/Berechnungsfehler vorkommen
↪️ springen Themenkomplexe in Rangliste hin u. her
☝️ v.a. jedoch gaukelt diese Rangliste eine absurde Präzision vor
↪️ weil sie nur den jeweiligen Mittelwert abbildet
❌ nicht die ‒ teilweise heftigen ‒ Schwankungen pro Themenkomplex
❌ + pro verwendeter Meta-Studie
🧐 Fazit von Schulmeister + Loviscach
▫️ dass sich Didaktik als eine simple Rangfolge von Effektstärken abbilden ließe
➡️ ist eine gefährliche Illusion
▫️ wie eine best Intervention wirkt
↪️ hängt extrem von den Umständen ab
▫️ mit den kleingerechneten Streuungsbreiten
▫️ + scheinbar exakten Rangfolge
↪️ streut Hattie seinem Publikum Sand in die Augen
▫️ im Hintergrund lauert ein noch schwerwiegenderer Denkfehler:
➡️ Schule wird hier auf das reduziert, was in einer abschließenden Leistungsprüfung “messbar” ist
➡️ schon, weil der meiste Schulstoff schnell wieder vergessen ist
↪️ scheint uns dieser Ansatz mind. kurzsichtig
↪️ wenn nicht sogar gefährlich
❌ weil er die langfristigen Effekte der Schule ausblendet
.
Reflexionsfragen
Befunde der empirischen Bildungsforschung: John Hattie
⁉️ Wie funktioniert eine (Meta-)Meta-Analyse?
⁉️ Was ist bei der Aggregation von Studien zu beachten?
⁉️ Welche Aussagekraft haben (Meta-)Meta-Analyse?
⁉️ Warum ist es nicht zulässig einzelne Parameter für die Beschreibung von Unterricht isoliert zu betrachten?
.
🤷♀️ fragwürdige Zuordnungen
▪️ unabhängigen Variablen (UV) nicht kompatibel
▫️ so finden sich Studien
↪️ die den Effekt d. Beurteilung von Lehrern durch Schüler erfassen
↪️ unter Studien, die die Rückmeldung auf Schüler messen sollen
➡️ weil beide nominell unter „Feedback“ verzeichnet werden
🍎 Äpfel und Birnen 🍐
Im selben Effektkomplex „Feedback“ wird zum Beispiel eine Meta-Analyse, die Musik mit dem Ziel der Verhaltensverstärkung (reinforcement) einsetzt, mit anderen Studien verrechnet, die Unterrichtsinterventionen als kognitives Feedback nutzen.
.
🍎 Äpfel und Birnen 🍐
Im selben Effektkomplex „Feedback“ wird zum Beispiel eine Meta-Analyse, die Musik mit dem Ziel der Verhaltensverstärkung (reinforcement) einsetzt, mit anderen Studien verrechnet, die Unterrichtsinterventionen als kognitives Feedback nutzen.
🎯 Wie fktn (Meta-)Meta-Analysen
(?)
—> beim Lernen ergänzen !!
.
🎯 Welche Faktoren sind nach John Hattie für die Schulleistung pos + welche nicht?
(?)
—> beim Lernen ergänzen !!
.
🎯 Welche grundlegende Kritik kann an der Studie von John Hattie geübt werden?
(?)
—> beim Lernen ergänzen !!
.
⁉️ Welches ist der Vergleichsmaßstab, den John Hattie für seine Meta-Metaanalyse anlegt? Welche Effektstärke sollte eine Intervention für den Schulerfolg aus Sicht von Hattie mindestens haben?
d=0,0
d=0,1
d=0,2
d=0,3
d=0,4
✅ d=0,4
.
⁉️ Bitte begründen Sie die Auswahl von John Hattie aus der vorherigen Frage kurz.
✅ Der durchschnittliche Lernzuwachs in einem Jahr liegt zwischen d=0,2 und d=0,4. Deswegen sollte dies aus Sicht von Hattie der Vergleichsmaßstab sein.
.
⁉️ Welche Form des Feedbacks ist nach John Hattie nicht besonders effektiv?
direkte Gabe von Hinweisen
Verstärken richtiger Verhaltensweisen
Feedback mit direkter Verbind zu Lernzielen
Lob
✅ Lob
.
⁉️ Bitte begründen Sie kurz, warum “Teaching to the test” (böse Zungen nennen es Bulimie-Lernen) nach Hattie nur eine Effektstärke von d = 0,22 aufweist. Versuchen Sie Theorien, die Sie bereits gelernt haben, anzuwenden
(-> Wenn Sie diese Antwort bis zum 20. Dezember 2020 per Mail an thomas.martens@medicalschool-hamburg.de senden, gebe ich Ihnen gerne Feedback.)
(?)
—> beim Lernen ausarbeiten !!
.
⁉️ Bitte erklären Sie kurz die nachfolgende Kritik von Claus G. Buhren an John Hattie: “Erst das Zusammenspiel von Variablen macht Schul- und Unterrichtsqualität aus”. Illustrieren Sie Iher Argumentation möglichst mit einem praktischen Beispiel.
✅ Hattie greift immer nur EInzelfaktoren heraus, etwa die Klassengröße. Alleine eine kleine Klassengröße mag nichts bringen, kann aber die zeitliche Voraussetzung für ein gutes qualitatives Feedback an die Schüler:innen sein.
.
