Brainscape's Knowledge GenomeTM

Browse over 1 million classes created by top students, professors, publishers, and experts.


See full index

Klausur L4 > Vorlesung 11 > Flashcards

Vorlesung 11 Flashcards

1
Q

Begriffsbestimmung

Methodologie

A

Begriffsbestimmung

  • Methodologie
    • Lehre von den wissenschaftlichen Methoden (Methodenlehre)
    • Metawissenschaft als Teildisziplin der Wissenschaftstheorie
    • Wissenschaftstheoretische Grundlage der Erkenntnisgewinnung
  • Systematik
    • Rationalismus (Induktion & Deduktion)
    • Empirismus
    • Synthetizismus (Dialektik, kritischer Rationalismus)
    • Konstruktivismus
  • Fachspezifische Unterschiede des wissenschaftstheoretischen Ansatzes
  • Nutzung unterschiedlicher Methoden innerhalb wissenschaftstheoretischer Ansätze
  • Ziel ist Ableitung von repräsentativen Schlüssen
    • Über welche mathematische Kompetenz verfügen 15‐jährige Schülerinnen und Schüler in Deutschland?
    • Wie hoch ist der Zusammenhang zwischen dem sozio‐ökonomischen Hintergrund des Elternhauses und Lesekompetenz in den USA im Vergleich zu Indonesien?
    • Wie verändert sich die naturwissenschaftliche Kompetenz weltweit über die Zeit?
  • Beantwortung durch Testung und Befragung
  • Quantitativ‐empirischer Zugang
How well did you know this?
1
Not at all
2
3
4
5
Perfectly
2
Q

Groß angelegte Schulleistungsstudien

A
  • Groß angelegte Schulleistungsstudien werden auf nationaler und internationaler Ebene durchgeführt
  • Zentrale Aspekte
    • Basierend auf theoretischer Rahmenkonzeption
    • Standardisierte Testinstrumente und Prozeduren
    • Empirische Untersuchung großer Stichproben
    • Statistische Analyse mit State of the Art‐Methoden
    • Rückmeldung i.d.R. auf Gruppenebene, nicht für einzelne Individuen
    • Keine Ableitung kausaler Schlüsse
    • Vielmehr Generierung von Steuerungswissen für Entscheidungsträger
How well did you know this?
1
Not at all
2
3
4
5
Perfectly
3
Q

Zwischenfazit

A
  • Ergebnisse von PISA 2000 haben zu intensiven Diskussionen in Deutschland geführt.
  • Nach zunächst ernüchternden Ergebnissen nun Kompetenzen der
  • Schülerinnen und Schüler in Deutschland über OECD‐Durchschnitt
  • Zusammenhang zwischen Schülerkompetenzen und sozio‐ökonomischem Hintergrund gesunken aber noch recht hoch
  • In anderen Industrienationen deutlich schlechtere Entwicklung

Aber:

  • Sind die angestellten Vergleiche valide interpretierbar?
  • Mit welchen Methoden wird dies angestrebt und ggf. sichergestellt?
How well did you know this?
1
Not at all
2
3
4
5
Perfectly
4
Q

Grundlegende Veränderungen im Bildungsbereich (Thüringen)

A
  • Wende zur ‚Outputsteuerung‘
    (z. B. PISA & co, Bildungsstandards…)
  • Mehr Eigenverantwortlichkeit von Schule

Neue Modewelle oder langfristiger und nachhaltiger Paradigmenwechsel?

How well did you know this?
1
Not at all
2
3
4
5
Perfectly
5
Q

Orientierung: Der Thüringer Qualitätsrahmen

A

Siehe Vorlesung 1 oder 2

How well did you know this?
1
Not at all
2
3
4
5
Perfectly
6
Q

Instrumente und ihre Verortung im Qualitätsrahmen

A
  • EVAS
  • ThüNIS
  • SEfU
  • K-Tests
  • Prüfungsstatistiken
  • Sonstige
How well did you know this?
1
Not at all
2
3
4
5
Perfectly
7
Q

Die Thüringer Kompetenztests

A
  • Landesweit einheitliche Tests in den Fächern Deutsch, Mathematik (und Englisch‐Hörverstehen)
  • Messen im wesentlichen Sachkompetenz
  • Durchführung in Klassenstufen 3, 6, 8
  • Basis: KMK‐Beschluss, seit 2003 durchgeführt
  • Auswertung und Ergebnisrückmeldung durch Universität Jena
How well did you know this?
1
Not at all
2
3
4
5
Perfectly
8
Q

K-tests

Ziele auf mehreren Ebenen:

A
  • Schülerebene: Lernstandsdiagnose, Förderbedarf, Beratungssicherheit
  • Klassen‐ und Unterrichtsebene: Evaluation des eigenen Unterrichts, veränderte Aufgabenkultur
  • Schulebene: Anstoß von Maßnahmen zu Schul‐ und Unterrichtsentwicklung
  • Landes‐ und Schulamtsebene: Monitoring und Steuerungswissen
How well did you know this?
1
Not at all
2
3
4
5
Perfectly
9
Q

K-Tests

Testentwicklung

A
  • Aufgabenkommission:
    multidisziplinäres Team (Fachlehrer, ‐berater, ‐didaktiker, Vertreter des ThILLM und der Uni)
  • Lehrplanorientierung
  • Kompetenzorientierung/Bildungsstandards
  • Wissenschaftlichkeit
  • Begleiterhebungen
How well did you know this?
1
Not at all
2
3
4
5
Perfectly
10
Q

Ablauf der Thüringer Kompetenztests

A

ab Dez

Vorab‐ Information der Schulen durch TKM. Anmeldung

März/Jun

Durchführung der Thüringer Kompetenz‐ tests

Jun/Jul/Aug

Auswertung, Besprechung in Klassen, Dateneingabe

Aug

Zusendung der
Ergebnisse durch kompetenztest.de

  • Dateneingabe über das Internet …durch Lehrkräfte
How well did you know this?
1
Not at all
2
3
4
5
Perfectly
11
Q

Interpretation

A
  • Vergleichsdaten liefern Hinweise auch auf Schul‐ und Unterrichtsqualität
  • Vergleiche nicht fair
  • Kein Schulranking möglich
  • Analyse der Ursachen von Leistungsunterschieden durch Experten vor Ort (Lehrer, Schulleiter)

Unterschiede innerhalb von Klassen

‐ Förderungsbedarf
‐ Differenzierungsbedarf

How well did you know this?
1
Not at all
2
3
4
5
Perfectly
12
Q

Möglichkeiten und Grenzen der Tests

A
  • Tests sind hilfreich für differenzierte Lernstandsdiagnostik
  • Analyse der Testergebnisse ist hilfreicher Anstoß für Maßnahmen der Qualitätsentwicklung
  • Beurteilung von Schul‐ und Unterrichtsqualität aufgrund der Testergebnisse derzeit nicht möglich
  • Gefahr der Fehlinterpretation der Ergebnisse: ‚Wissen vor Ort‘ wird benötigt
How well did you know this?
1
Not at all
2
3
4
5
Perfectly
13
Q

Fazit

A
  • Instrumente bergen großes Potenzial im Hinblick auf Unterrichts‐ und Schulentwicklung :)
  • Potenzial noch nicht annähernd ausgeschöpft :(
  • Angemessene Interpretation braucht Wissen vor Ort…
  • …und Unterstützung/Nachfrage von Außen!
How well did you know this?
1
Not at all
2
3
4
5
Perfectly
14
Q

Ausgangslage SMS

A
  • Idee:

– Lernstandserhebungen / Vergleichsarbeiten als Versuch evidenzbasierte Unterrichtsentwicklung zu befördern

  • Problematik:

– Anforderungsüberfrachtung dieser System

– Besonders individualpädagogische Sicht der Lehrkräfte kann oft nur randständig bedient werden, wegen der mangelnden Genauigkeit der Testergebnisse auf Klassen‐ insbesondere aber auf Schülerebene

  • Alternative: Schüler‐Monitoring‐System (SMS)?
How well did you know this?
1
Not at all
2
3
4
5
Perfectly
15
Q

Schulen im Team SMS

A
  • Netzwerkbasiertes Schulentwicklungsprojekt
  • Projektträger: Stiftung Mercator, Projektdurchführung und wissenschaftliche Begleitung: Institut für Schulentwicklungsforschung (IFS) in Kooperation mit dem MSW des Landes NRW
  • Förderzeitraum: 3,5 Jahre (02/2007 – 07/2010) + 1 Jahr Verlängerung
  • 40 Schulen in Netzwerken à 3‐5 Schulen (10 Netzwerke insgesamt)
  • Arbeit an selbst gewählten Entwicklungsbedarfen
  • Vorgabe: Fachbezogene Unterrichtsentwicklung
  • fachliche & organisatorische Unterstützung durch das IFS
How well did you know this?
1
Not at all
2
3
4
5
Perfectly
16
Q

Einbettung des SMS

A
  • Kooperation zwischen Cito und dem IFS (Schulen im Team)
  • Zwei Netzwerke arbeiten im Rahmen der Netzwerkarbeit gemeinsam mit Cito an der Entwicklung des SMS
  • 14 Projektschulen sind an der Testentwicklung des SMS für die 5. und 6. Jahrgangsstufe beteiligt
  • Domänen: Mathematik und Leseverständnis
  • Ziel: objektiviertes Instrument zur systematischen Kontrolle der Lernentwicklung auf Individualebene
17
Q

Das SMS konkret

A
  • Längsschnittlich auf 2 Jahre angelegt – formatives Instrument
  • 4 MZP jeweils am Anfang und am Ende eines Schuljahres

– Vom Beginn des 5. bis Ende des 6. Jahrgangs

– Also zu Beginn eines neuen Bildungsabschnittes (Sekundarstufe)

  • Rückmeldungen erfolgen auf Schul‐, Klassen‐ und Individualebene
18
Q

Instrumente SMS

A
  • Mathematiktest

– Subdomänen: Zahlen und Operationen, Messen, Zeit und Geld, Proportionalitäten und Bruchzahlen

– Durch Cito und die Beteiligten Lehrkräfte erstellt oder aus dem Niederländischen übernommen und durch die Lehrkräfte geprüft, um curriculare Validität sicherzustellen

– Rotiertes Testdesign (Multimatrix)

• Adäquate Testdauer für die Schüler, trotz insgesamt vieler Aufgaben

  • Leseverständnistest

– Domäne Lesekompetenz Instrumente

– Größtenteils Texte aus IGLU, die sich demnach am Literacy‐ Konzept orientieren

– Multiple‐Choice und offene Antworten

– Literarische‐ und Sachtexte

• Sachtexte überrepräsentiert

– Auch hier aus testtheoretischen und zeitökonomischen Gründen Multimatrix‐Design

19
Q

Rückmeldung SMS

A
  • In Anlehnung an Large‐Scale‐Assessments Transformation des Mittelwerts auf 500, da Lehrkräfte diese Darstellungsweise bereits kennen
  • Nur Schüler die mindestens 50% der Aufgaben bearbeitet haben werden für Berichterstattung berücksichtigt
  • Darstellung der Ergebnisse auf empirisch ermittelten Fähigkeitsniveaus

– Unterschieden nach zwei Normgruppen (Gym/GS), um Häufungen der Schulformen in bestimmten Niveaus zu vermeiden

Rückmeldungen auf…

  • Schulebene:
  • Vergleich an der Gesamtstichprobe anhand der Fähigkeitsniveaus und Normgruppen
  • Klassenebene:

– Punktwerte, Konfidenzintervalle, Prozent korrekt, Verteilung auf die Fähigkeitsniveaus

• Individualebene:

– Individuelle Leistungsentwicklungen über bis zu vier MZP (im Rahmen von SiT 2 MZP)

20
Q

Problem der Individualrückmeldungen

A
  • Ergebnisse auf Individualebene zu berichten ist äußerst voraussetzungsvoll

– Hinreichende Anzahl von Testaufgaben durch Multimatrixdesign

– Trotzdem erhebliche Messfehler (vgl.Bos&Voss2008)

– Zusätzliche Absicherung durch längsschnittliche Betrachtung
• Messungenauigkeiten können so leichter identifiziert werden

21
Q

Befunde aus der Erprobungsphase

A
  1. Ergebnisse zur Qualität des Instrument
  2. Explorative Ergebnisse zu Erfahrungen mit den Ergebnisrückmeldungen

quantitativ: Befragung zu den
Leistungsrückmeldungen (Koordinatoren und Fachlehrer)

qualitativ: 6 Experteninterviews zum Umgang mit den Rückmeldungen

22
Q

Skalierung

A

• Skalierung erfolgte anhand von zwei unterschiedlichen Verfahren parallel

– Cito: One‐Parameter‐Logistic‐Model (OPLM)

• Verbindet die Vorteile des Raschmodells mit der Möglichkeit für die Item Parameter unterschiedliche Trennschärfeparameter zu bestimmen

– Schulen im Team: Raschmodell

• Setzt voraus: Item Homogenität, lokale stochastische Unabhängigkeit, gleiche Trennschärfeparameter

23
Q

Technische Details

A

– Abgleich der Verfahren: Rangfolgenkorrelation der Itemschwierigkeitsparameter nach Spearman‐Rho

• Koeffizienten:
– Mathematik: 0.946 (Abweichung: 1,25 Rangplätze)
– Leseverständnis: 0.906 (Abweichung: 1,64 Rangplätze)

– Testreliabilitäten:
– Mathematik: 0.906

– Leseverständnis: 0.742

– Gute Passung zwischen Aufgabenschwierigkeiten und Personenfähigkeiten

– Probleme: Differenzierung im oberen Fähigkeitsbereich (insbesondere Mathematiktest)

• Beim zweiten MZP wurden die Tests um Aufgaben im oberen Fähigkeitsbereich ergänzt

– Aber: Insgesamt entsprechen die Tests den Standards internationaler Schulleistungsforschung

24
Q

Erste Explorationen zu den Rückmeldungen

A
  • Befragung fand im Rahmen einer Rückmeldeveranstaltung im Anschluss an die 1. Erhebungswelle statt
  • Maximal zwei Netzwerkkoordinatoren pro Schule

– die nachher auch als Multiplikatoren fungierten

– konnten an der Veranstaltung teilnehmen

• Daher ist der Rücklauf, obwohl von allen beteiligten Schulen Daten vorhanden sind, lediglich N=17

• Themen der Befragung:
1. Verständlichkeit der Rückmeldungen

  1. Bedeutung für die eigene Arbeit (Nützlichkeit, Konsequenzen, Kooperation)

• Ergänzt werden die Angaben der Koordinatoren durch Ergebnisse der Fachlehrer als Hauptadressaten der Rückmeldungen (N=37)

25
Q

Bewertung der Verständlichkeit

A

Sind die Ergebnisrückmeldungen für Sie verständlich und übersichtlich dargestellt?

3,3 0,47

Finden sie die vorgelegten Beispielgrafiken verständlich?

3,4 0,51

War die schriftliche Erklärung zu den Ergebnisrückmeldungen verständlich?

3,2 0,56

First MW Second SD

26
Q

Bedeutung für die eigene Arbeit

A

Bedeutung der Ergebnisrückmeldung für die unterrichtspraktische Arbeit

3,0 0,66

Nützlichkeit der Rückmeldungen hinsichtlich der Diagnose des Lernstandes der Schülerinnen und Schüler

3,4 0,61

Nützlichkeit hinsichtlich der Verbesserung und Weiterentwicklung des eigenen Unterrichts

2,9 0,66

Rückmeldungen werden als Anlass zum Austausch mit einzelnen Kollegen genommen

3,4 0,61

Rückmeldungen werden zur Diskussion in der Fachkonferenz genutzt

3,5 0,72

Es besteht eine generelle Bereitschaft Konsequenzen für den Unterricht aus den Rückmeldungen zu ziehen

3,5 0,72

Aus den Rückmeldungen lassen sich konkrete Maßnahmen ableiten

2,9 0,80

Die Rückmeldungen decken Stärken und Schwächen der Schülerinnen und Schüler auf

3,0 0,93

Es wird durch die Rückmeldungen besser als zuvor deutlich wie einzelne Schülerinnen und Schüler zu fördern sind

2,6 0,99

27
Q

Ergänzende Befunde

A

• Die Ergebnisse der Fachlehrerbefragung stützen die der Koordinatorenbefragung für den Bereich Mathematik

– 73% geben an, dass die Rückmeldungen in der Fachgruppe diskutiert werden

– 65% der Lehrkräfte sehen einen hohen Nutzen für den eigenen Unterricht

• Die Aussagen aus den Interviews stützen diese Ergebnisse ebenfalls

– Zusätzlich wird die Finanzierung des SMS problematisiert
– Eignung zur Diagnostik und individuellen Förderung wird gesehen

• z.T. für diese Perspektive für gut befunden, z.T. aber auch zu wenig detailliert (nur 3 Subdomänen)

28
Q

Zusammenfassung SMS

A
  • Insgesamt deuten die Ergebnisse auf ein Potential des SMS hin

– Insbesondere, da die Befragung im Anschluss an den 1. MZP stattfand und die Aussagekraft des SMS im Zuge weiterer MZP erheblich zunimmt, da auch Entwicklungen berichtet werden können

  • Weitere Vorteile des SMS:

– Datenwerdenexternerhobenundausgewertet

– Erhebungerfolgtlängsschnittlich(4MZP)
– Individualrückmeldungen sind präzise durch Multimatrix‐Design

– Keine verpflichtende Teilnahme
– Keine Verpflichtung zur Rechenschaftslegung

29
Q

Potenziale und Grenzen: Evaluation

A
  • Das SMS bietet das Potential eines formativen Evaluationsinstruments, da es längsschnittlich am Anfang eines neuen Bildungsabschnittes eingesetzt wird und die Rückmeldungen relativ kurz nach der Datenerhebung erfolgen

– Aber:
Aufgabenformate bieten nur begrenzte Diagnosemöglichkeiten durch vorwiegend geschlossene Antwortformate

30
Q

Potenziale und Grenzen: Koordinierung

A

Das SMS ist ein marktförmiges Instrument, Angebot und Nachfrage entscheiden also über die Einführung (kann im Zuge sinkender Schülerzahlen das Portfolio der Schule stärken)

Aber:

Gemeinschaft

– Gemeinschaftliche Entscheidung für die Einführung

– Kooperative Weiterentwicklung des Unterrichts

vs.

Hierarchie

– Aufoktroyierung durch z.B. die Schulleitung

– Gefahr: Lehrkräfte sehen das SMS als Beurteilung der eigenen Arbeit

– Nicht intendierter Effekt: Widerstand

31
Q

Potentiale und Grenzen: Implementierung

A

Grenzen:

  • Anknüpfung an die Bildungsstandards besteht bisher nicht
  • Instrumente sind noch in der Entwicklung
  • Die Kosten müssen von den Schulen getragen werden
  • Bisher keine kriterialen und fairen Vergleiche möglich
  • Begleitung und Qualifizierung der Beteiligten erforderlich

Entwicklungsprozess:

  • Anpassung der Test an den oberen Leistungsbereich ist erfolgt
  • Signifikante Fort‐ und Rückschritte der einzelnen Schüler werden zusätzlich berichtet
  • Einführung von Kompetenzstufen wird vorbereitet
  • Seminare zur Implementierung werden angeboten
32
Q

Ausblick SMS

A

Erforschung der Wirksamkeit des SMS ist dringend erforderlich

Durch: quantitative und qualitative Befragungen, Beobachtung der Verarbeitungsprozesse, Ausweitung der Forschung auf alle beteiligten Akteure, Prüfung der Leistungsentwicklung

Systematische Begleitung des Rückmelde‐ und Rezeptionsprozesses durch externe Berater

Stadtweise Einführung des SMS in Kooperation mit den RBB ́s, dadurch kontinuierliche Beratung und Qualifizierung

Klausur L4 (10 decks)

Brainscape helps you reach your goals faster, through stronger study habits.
© 2024 Bold Learning Solutions. Terms and Conditions