DE: Grundlagen & Gütekriterien Flashcards
Ziele von Diagnostik & Evaluation
- Diagnose von Stärken und Schwächen der SuS
- Planung & Verbesserung des Unterrichts
- Evaluation von Leistung: Platzierung und Selektion
Platzierung vs Selektion
- Platzierung: für alle Bewerber:innen gibt es einen Platz
- Selektion: x freie Plätze => Suche nach den x geeignetsten Bewerber:innen
Arten von Diagnostik
- standardisiert vs. nicht-standardisiert
- norm- vs kriteriumsorientiert: Orientierung an Bezugsgruppe (Eichstichprobe) vs. Orientierung an Punktskala (Unabhängig von der Verteilung in der Bezugsgruppe)
- Individual- vs. Umweltdiagnostik: einzelne Person vs. soziale Gruppe
- Status- vs. Prozessdiagnostik
- Schulleistungsdiagnostik
Funktionen von Schulleistungsdiagnostik
- Didaktische Funktion: Überprüfung unterrichtlicher Maßnahmen, Bewertung des Unterrichtserfolge => Feedback für LK
- Evaluative Funktion: Orientierung über Schulleistung => Feedback für SuS/Eltern
- Entscheidungsfunktion: Schullaufbahnberatung => äußere/ innere Differenzierung im Schulsystem
Diagnostizieren als Prozess
1. Problem/Anlass (“Profitiert Anna von meinem Unterricht?”
2. Ziel/Fragestellung (Ziel: Messung der indiv. Schulleistung)
3. Hypothesenbildung (“Durch den Unterricht erwirbt Anna neue Kentnisse”)
4. Methodenauswahl und -anwendung (Gespräch, Beobacktung, Test)
5. Hypothesenprüfung/ Interpretation der Ergebnisse
6. Diagnostisches Urteil
7. Gutachten bzw. Intervention/Beratung
Bei Schritt 4 & 5 sind messtheortische Grundlagen einzuhalten!!
Klassische Testtheorie
Grundlage für die Konstruktion & Interpretation jedes psychologischen Tests!
1. Axiom: X = W(T) + e ; die beobachteten testwerte setzen sich immer aus dem wahren Wert des Merkmals W(T) und einem zufällig verteilten Messfehler e zusammen
2. Axiom: erwarteter Mittelwert des Messfehlers ist 0; Korrelation des Messfehlers mit dem Test ist 0
3. Axiom: Messfehler bei versch. Personen sind unkorreliert; je häufiger man misst, desto näher kommt man dem wahren Wert
Gütekriterien
-
Objektivität
=> Durchführung
=> Auswertung
=> Interpretation -
Reliabilität
=> Restestrel.
=> Split - Half - Rel.
=> Paralleltestrel.
=> Konsistenz-Analyse -
Validität
=> Inhaltsvalidität
=> Empirische Val.
=> Konstruktval.
=> Kriteriumsval.
Objektivität
= Grad, in dem Ergebnisse eines Tests unabhängig vom Untersucher sind
Objektivität ist (wie Reliabilität) ein formales Kriterium, es sagt nichts über den Inhalt aus!
Ohne Objektivität keine Relaibilität oder Validität!!
- Durchführungsobjektivität: Maß für Unanh. des Testergebnissses vom Versuchsleiter
- Auswertungsobjektivität: Unabh. des Testergebnisses von der ausführenden Person
- Interpretationsobjektivität: Unabh. des Testergebnisses von den interpretativen Schlüssen eines Diagnostikers
Durchführungsobjektivität
Herstellung von Durchführungsobjektivität:
- Vereinheitlichung der Aufgabenstellung, der Bearbeitungszeit, der Erläuterung der Aufgaben, der zulässigen Hilfsmittel („Bedingungskonstanz“)
- Gleichheit der Instruktionen für alle Prüflinge (z.B. schriftlich oder mit Tonband).
- Vergleichbare situative Faktoren
- Reduktion der sozialen Interaktion zwischen Proband und Untersucher auf Minimum
- Strikte Beachtung von Verfahrensregeln
Schwierigkeiten:
- Personale Faktoren nur schwer beeinflussbar (z.B. Prüfungsangst, Tagesform)
- Verstehensprobleme bei formelhaftem Vortragen der Anweisungen
- Bei mündlichen Prüfungen ist Durchführungsobjektivität automatisch niedriger, da keine Gleichzeitigkeit gegeben ist
Auswertungsobjektivität
Herstellung von Auswertungsobjektivität:
- Beurteilungsverfahren mit **festgelegten Kriterien **
- Kriterienkatalog → Nur Auszählung (z.B. Diktatfehler)
- Beurteilungsverfahren mit geschlossenen Antwortformen
Schwierigkeiten:
- Bei Aufsätzen o. ä. ist die Auswertungsobjektivität eher schwierig zu erreichen
Interpretationsobjektivität
Herstellung von Interpretationsobjektivität
- Existenz von festen Regeln für diagnostische Schlussfolgerungen (z.B. normierte Leistungstests, Fragebögen, Rohwerte aus Tabellen ablesen…)
- Möglichst umfassende Dokumentation von Datenerhebungen und –analysen
Schwierigkeiten:
- Je unterschiedlicher die zu verarbeitenden Informationen und je zahlreicher sie sind, desto schwieriger ist es, sie objektiv zu interpretieren (z.B. bei Übertrittsgutachten: neben Schulnoten werden auch außerleistungsmäßige Faktoren wie Lernbereitschaft, Unterstützung der Eltern etc. in die Diagnose mit einfließen)
- Affektive Beziehungen
- „Intuition“ des Diagnostikers oder Meinung, dass Diagnostik eine nicht schulmäßig erlernbare Kunst sei
Reabilität
Reliabilität ist (wie Objektivität) ein formales Kriterium, es sagt nichts über den Inhalt aus!
- Retest-Reliabilität: Zeitliche Stabilität des Messwerts
- Split-half-Reliabilität: Gleichwertigkeit von 2 Testhälften
- Paralleltest-Reliabilität: Gleichwertigkeit von 2 Paralleltests
- Konsistenz-Analyse: Homogenität von Testitems
Restestreliabilität
Nach einiger Zeit wird die gleiche Personengruppe mit dem gleichen Test erneut gemessen. Es wird mit den Ergebnissen der ersten Messung verglichen.
Wird nicht durch Veränderungen beeinflusst, die alle Probant:innen betreffen.
→ Bildung eines Reliabilitätskoeffizienten: Koeffizient der zeitlichen Stabilität
Schwierigkeiten:
- Bei Lernleistung handelt es sich nicht um ein zeitstabiles Merkmal
- Bei großen Zeitabständen zwischen den Messvorgängen können mehrere nichtvorhersagbare Veränderungen auftreten
Split-Half-Reliabilität
Die Aufgabenzusammenstellung wird halbiert und getrennt ausgewertet. Die Ergebnisse der beiden Hälften werden korreliert und es ergibt sich der Koeffizient der internen Konsistenz.
Herausforderung: Bildung von Ite-Paaren mit gleicher Schwierigkeit
Paralleltestreliabilität
Hier werden zwei oder mehrere verschiedene, aber gleichwertige (parallele) Aufgabensammlungen verwendet, die sich inhaltlich möglichst ähnlich sind. Sie werden gleichzeitig, unmittelbar nacheinander oder mit einigem zeitlichen Abstand von der gleichen Personengruppe bearbeitet.
“Königsweg zur Schätzung der Reabilitäz”, ABER in Realität ist die Gleichwertigkeit mehrerer versch. Tests ist kaum möglich
