Diagnostik Flashcards
pädagogisch-psychologische Diagnostik
die Bezeichnung für alle Methoden und deren Anwendung, welche zur Messung bzw. Beschreibung inter- und intraindividueller Unterschiede verwendet werden.
(Dorsch)
Zielsetzung der pädagogisch-psychologischen Diagnostik
Beschreibung
Erklärung
Vorhersage
Interpretation
Evaluation
Lerprozessdiagnose vs. Leistungsdiagnose
Lernprozessdiagnose:
Diagnose des Lernprozesses: Wahrnehmung individueller Fehlvorstellungen, Lernstrategien, Verständnisschwierigkeiten etc.
Leistungsdiagnose:
Diagnose der Lernergebnisse, z.B. Zensurengebung
Methoden der Diagnostik
Befragung
Verhaltensbeobachtung
Schulische Leistungsbeurteilung
Schulleistungstests
Evaluation
Evaluation umfasst alle Arten der Bewertung von Gegenstanden (z.B. ein Programm, ein Training, eine Therapie), inklusive einer Bewertung des Prozesses der Bewertung. Die Basis dieser Bewertung ist das Evaluationskriterium (z.B. Wirksamkeit, Transfererfolg, Kosten-Nutzen-Bilanz, Nachhaltigkeit, …)
Arten von Evaluation
Formative Evaluation: begleitende Bewertung, welche die Entwicklung einer bestimmten Maßnahme optimieren soll.
Summative Evaluation: abschließende Bewertung von Produkten oder Wirkungen von Maßnahmen
Objektivität
Grad, in dem die Ergebnisse unabhängig vom Untersucher sind
- Durchführungsobjektivität
- Auswertungsobjetivität
- Interpretationsobjektivität
Objektivität ist Voraussetzung dafür, dass eine Messung zuverlässig und gültig ist!
Durchführungsobjektivität
+ Herstellung Faktoren, Probleme, Verbesserung
gleiche Bedingungen für alle Prüflinge; Ergebnisse sind unabhängig von Verhaltensunterschiede des Prüfers
während der Prüfung.
Herstellung: Standardisierung
- situative Faktoren: z.B.: gleiche Hilfsmittel, gleiche Bedingungen der Situation ( Zeit, Raum), gleiche Aufgaben
- Personale Faktoren: z.B. Müdigkeit des Prüflings oder Prüfers, Ängstlichkeit
- Fragenauswahl: gleiche Aufgaben für alle Prüflinge
Überprüfung: Video-Beobachtung der Durchführung
Probleme:
− Personale Faktoren können kaum beeinflusst werden
− Mündliche Prüfungen: unterschiedlicher Zeitpunkt der Prüfung, individuelle Fragen
Maßnahmen zu Verbesserung:
− Angstabbau durch angenehme Prüfungsathmosphäre
− Überprüfung, ob Prüfungsanweisungen verstanden wurden
− Reflexion der Beurteilungsfehler
− Standardisierte Rahmenbedingung in der Interaktion
Auswertungsobjektivität
+ Herstellung, Probleme, Verbesserung
Verschiedene Untersucher gelangen bei Verhaltens- oder Leistungsmessung zu gleichem Ergebnis
Herstellung:
Beurteilung nach festgelegten Kriterien (numerische oder kategoriale Auswertungsregeln);
Geschlossene Antwortformen (Multiple- Choice)
Probleme:
- mündliche Prüfungen und Tests mit freien Antworten
- Aufsätze
Maßnahmen:
Kriterienkatalog
Interpretationsobjektivität
+ Herstellung, Probleme, Verbesserung
Auswertungsergebnisse werden gleich interpretiert, d.h. es werden die gleichen diagnostischen Schlussfolgerungen gezogen
Herstellung:
− Normierte Leistungstests, bei denen Rohwerte zu Normen zugeordnet werden
− Notengebung: Festlegung, welche Punktanzahl welche Note ergibt (Notenschlüssel)
Probleme:
− unterschiedliche, zahlreiche Informationen, komplexe Diagnosen (z.B. Übertritt nach Grundschule)viele subjektive Einflüsse
Maßnahmen:
− Gewichtung verschiedener Faktoren offenlegen
− genügend Zeit zwischen Durchführung der Prüfung und Beurteilung der Prüfungsleistung
Reliabilität
+ Herstellung, Überprüfung
Messgenauigkeit einer Messung; Ergebnis ist bei mehrmaliger Messung gleich
Standardmessfehler:
− Jede Messung ist mit Fehlern behaftet
− Bei Test erfasster Wert setzt sich aus wahren Wert und Fehlerwert zusammen
Herstellung:
− Voraussetzung: Objektivität
− mittlere Aufgabenschwierigkeit
− Trennschärfe
− ausreichende Testlänge
− viele Messungen
Überprüfung: Wiederholungsreliabilität, Paralleltestreliabilität, Split-Half-Reliabilität, Konsistenzanalyse
Wiederholungsreliabilität
gleicher Test wird nach einiger Zeit bei gleicher Person wiederholt; Testwerte werden korreliert; Berechnung des Retest- Reliabilitätskoeffizient
Voraussetzung: zeitliche Stabilität des Merkmals
Probleme: Übungseffekt; Merkmale, die nicht zeitstabil sind (Schulleistung)
Paralleltestreliabilität
Zwei gleichwertige Textformen werden zu einer Messgelegenheit gegeben; Korrelation von Testform A mit Testform B; Berechnung des Äquivalenzkoeffizienten
Schwierigkeiten:
− Erstellung gleichartiger Items
− Erstellung doppelter Itemanzahl
Split-Half-Reliabilität
Vorlage eines Tests zu einem Messzeitpunkt
Teilung des Tests in zwei gleich große Teile nach
Testdurchführung
Korrelation der Ergebnisse der beiden Testteile.
Schwierigkeit: Test muss stimmig sein
Konsistenzanalyse
Zerlegung des Tests in einzelne Items
Schätzung der Reliabilität durch Korrelation der Ergebnisse der einzelnen Aufgaben (Homogenitätskoeffizient)
Schwierigkeit: Aufgaben müssen homogen sein
Validität
+ versch. Arten
Test misst, was er messen soll
Grad der Genauigkeit, der angibt, dass der Test das misst, was er messen soll;
Einziges inhaltliches Hauptgütekriterium –> wichtigstes Gütekriterium!
- Inhaltsvalidität
- Empirische Validität (Vorhersagevalidität)
- Konstruktvalidität
Inhaltsvalidität
+ Unterteilung, Überprüfung, Herstellung
Aufgaben des Tests repräsentieren das zu erfassende Persönlichkeitsmerkmal, Verhalten oder Leistung optimal
Unterteilung in:
− Curriculare Validität (Übereinstimmung des Tests mit Lehrplan,
Bildungsstandards, Kompetenzmodellen, der Lehrzieltaxonomie)
− Lerngelegenheit (Lernstoff, der im Unterricht behandelt wurde)
Überprüfung: Expertenrating
Herstellung der Inhaltsvalidität:
− curriculare Lernziele, die in Aufgaben umgesetzt werden
− Bezug zu Kompetenzmodellen, Bildungsstandars
− Bezug zur Lehrzieltaxonomie
Empirische Validität
+ zwei Arten der Überprüfung
empirische Überprüfung der Gültigkeit eines Tests, der ein Persönlichkeits- oder Leistungsmerkmal erfassen soll
Überprüfung der empirischen Validität:
Korrelation der Messwerte eines Tests mit Werten eines anderen Verfahrens
Zwei Arten der Überprüfung der Validität:
− Vorhersagevalidität: durch Test kann auf Verhalten, das
in der Zukunft liegt geschlossen werden
z.B. Noten aus der Grundschule sollen Erfolg an einer höheren Schule vorhersagen
− Gleichzeitigkeitsvalidität: das Verhalten, auf das geschlossen wird, liegt in der Gegenwart
z.B. Übereinstimmung von Testleistung in Mathematik in der 2. Klasse mit Noten in Mathematik in der 2. Klasse
Konstruktvalidität
+ Schwierigkeiten, Überprüfung
Theoretische Diskussion, ob das Konstrukt ( z.B. Intelligenz, Prüfungsangst) gemessen wird, das man messen will; Konstrukte sind nur mithilfe beobachtbarer Indikatoren messbar
Schwierigkeit: Festlegung beobachtbarer Kennzeichen, die für ein Konstrukt typisch sind
Überprüfung:
mit Hilfe der Faktorenanalyse z.B. ob ein Intelligenztest dem Modell von Thurstone entspricht und die dort postulierten Intelligenzfaktoren enthält
Konvergente Konstruktvalidität:
− Ergebnisse einer Methode sollen mit einer anderen Methode, welche dasselbe Konstrukt erfasst, hoch korrelieren
z.B. hohe Korrelation des IQ-Ergebnisses eines Intelligenztests mit dem IQ-Wert-Ergebnis eines anderen Intelligenztests
Divergente Konstruktvalidität:
− Niedrige Korrelation der Ergebnisse zweier
Messmethoden, die unterschiedliche Konstrukte erfassen
z.B. IQ-Test-Ergebnisse korrelieren niedrig mit Angstfragebogenergebnisse
Nebengütekriterien
Normierung
Nützlichkeit und Zumutbarkeit
Ökonomie
Vergleichbarkeit
Akzeptanz
Normierung / Standardisierung - Definition
Bei der Standardisierung (Eichung) wird das Diagnoseverfahren auf alle Personen einer ausgewählten, genau beschriebenen Stichprobe in der gleichen Weise und unter vergleichbaren Bedingungen angewendet. Diese Erhebung an einer repräsentativen Stichprobe unter konstante gehaltenen Bedingungen ermöglicht die Aufstellung von Normen. Das sind statistische Vergleichsdaten, die es ermöglichen, den spezifischen individuellen Wert einer Peron mit Resultaten andere Personen einer definierten Gruppe zu vergleichen.
Normierung, Bezugsnormen
Einordnung der individuellen Testergebnisse in ein Bezugssystem ermöglicht Interpretation des Ergebnisses
Drei Bezugsnormen:
Soziale Bezugsnorm: Vergleich des Testergebnis einer Person mit dem durchschnittlichen Testergebnis einer Vergleichsgruppe z.B. bei IQ-Tests
klasseninterne Bezugsnorm
Individuelle Bezugsnorm: Vergleich des Testergebnisses einer
Person mit früheren Testergebnissen derselben Person –> fungiert als Feedback, Motivation
Sachliche Bezugsnorm: Vergleich des Testergebnisses mit gesetzten Kriterien, Bildungsstandards, Kompetenzen
–> kompetenzorientierte Schulleistungsdiagnostik
Test - Definition
Verfahren der Pädagogischen Diagnostik, mit deren Hilfe eine Verhaltensstichprobe, die Voraussetzung für oder Ergebnisse von Lernprozessen repräsentieren soll, möglichst vergleichbar, objektiv, zuverlässig und gültig gemessen und durch Lehrer oder Erzieher ausgewertet, interpretiert und für ihr pädagogisches Handeln nutzbar gemacht werden.
(Ingenkamp)
Mündliche Prüfungen
Form der Schulleistungsdiagnostik
Definition:
Mündliche Prüfungen sind eine Form zielgerichteter Kommunikation zwischen einem oder mehreren Prüfern und Prüflingen, bei der auf die Schriftform verzichtet wird.
zwei Arten: Beurteilung sprachlicher oder nicht-sprachlicher Leistungen und Fähigkeiten
Mündliche Prüfungen - Durchführungsobjektivität
- Kritik: unterschiedliche Fragestellungen, unterschiedliche innere Bedingungen der Prüflinge
- Herstellung: Fragen vorher vorbereiten, Standardisierung der äußeren Bedingungenangenehme Prüfungsatmosphäre
Mündliche Prüfungen - Auswertungsobjektivität und Interpretationsobjektivität
- Kritik: unzureichende Kriterien für richtig und falsch (A), zeitnahe Beurteilung (I), unklare Gewichtung (I)
- Herstellung: Kriterienkatalog, Zweitprüfer, Leistungsfeststellung von Leistungsbewertung trennen, festlegen der Gewichtung der Einzelantworten
.
Befunde zu Objektivität bei mündlichen Prüfungen
Objektivitätskoeffizient durchschnittl. r=.60
Studie von Birkel:
mündliche Deutschprüfungen im von zwei Abiturientinnen, Videobeurteilung von 156 Lehrern
- unterschiedliche Reihenfolge –> Kontrasteffekt
- Vorinformation –> Erwartungseffekt
Mündliche Prüfungen - Reliabilität
Wiederholungsreliabilität:
- derselbe Prüfling wird nach einiger Zeit von demselben Prüfer wiederholt geprüft
- Probleme: Erinnerung an Prüfling, Leistungen verändern sich über Zeitraum
- Möglichkeit: Einsatz von Videobeobachtung
Paralleltestreliabilität:
- Prüfen eines Prüflings durch zwei Prüfer zum gleichen Zeitpunkt zu den gleichen Prüfungsthemen
- Äquivalenzkoeffizient: zwischen .00 und .60 (Ø .45)
Befunde zu Validität bei mündlichen Prüfungen
Studie zur Inhaltsvalidität von Birkel:
Videobeurteilung einer mündlichen Geographieprüfung von 100 Lehrern.
- Einfluss der Sprechflüssigkeit (schnellere Version - bessere Note)
- Erwartungseffekt bei Vorinformation
Empirische Validität:
Korrelation Ergebnisse mündlicher Prüfungen mit schriftlichen Prüfungen r =. 30 Aber: mündliche und schriftliche Prüfungen erfassen verschiedene Leistungsaspekte
mündliche Prüfungen - Herstellung der Validität
Mündliche Prüfungen bei Sprachprüfungen,
schriftliche Prüfungen bei Erfassung nichtsprachlicher Kompetenzen vorziehen
Bewusstheit über Beurteilungsfehler
Fragen stimmen mit Lehrzielen des Lehrplans, Bildungsstandards, Kompetenzmodellen, Lehrzieltaxonomie und mit dem, was im Unterricht behandelt wurde, überein
HAWIK-R
berechnet eher unterdurchschnittliche Intelligenz → nicht für Begabtenauslese
oft in Zusammenhang mit schulischen Fragen (z.B. Überweisung an Sonderschulen)
gut: Feststellung der Allgemeinintelligenz
11 Untertests in zwei Teilen:
- Verbalteil
allgemeines Wissen und Verständnis, rechnerisches Denken, Gemeinsamkeiten finden, Zahlen nachsprechen - Handlungsteil
Zahlen-und Symbolzuordnung, Bilder ergänzen und ordnen, Mosaik Test (Zusammensetzung geometrischer Muster), Figuren legen
