V4: Reliabilität Flashcards
Was ist Reliabilität?
Wie zuverlässige ein Merkmal gemessen werden kann (egal was man misst).
- Grad der Übereinstimmung der Messergebnisse (beim wiederholen)
Reliabilitätskoeffizient r:
- zwischen 0 und 1
- 1 = messfehlerfrei
- 0 = nur Messfehler
Formel:
- Wahrer Anteil (z.B. Fähigkeit) / (Wahrer Anteil (z.B. Fähigkeit) + Fehleranteil (z.B. Tagesform, Messfehler etc.))
Was ist Korrelation?
Zusammenhang zwischen zwei Variablen
- r = 1 - positiver Zusammenhang (wenn x hoch, dann y hoch)
- r = 0 - kein Zusammenhang
- r = -1 - negative Zusammenhang (wenn x hoch, dann y niedrig)
-> Keine Kausalität
-> Achtung Scheinkorrleation
Was für eine Rolle spielen Messfehler?
Wiederholte Messungen -> selbe Ergebnisse
- Inkonsistente Ergebnisse -> Messfehler
Regel:
- Je geringer die Abweichungen der Messwerte sind, desto weniger Messung durch Messfehler beeinflusst.
Was sind Quellen für Messfehler?
Systematische Messfehlerquellen:
- Abweichung immer gleiche Richtung
- Also Messfehler nicht wahrer Wert, aber immer gleich
- Lösung: Standardisierung (Objektivität)
Unsystematische Messfehlerquellen:
- Ursache unbekannt (nicht kontrollierbar
- Abweichungen immer anders
- Bsp.
- Psychische Dispositionen (Emotionen, Motivation)
- Merkmale des Untersuchers (freundlich, Alter, Geschlecht)
- Durchführungsbedingung (Testinkstruktion nicht verstehen, Test raum stark beleuchtet…)
Was ist die Klassiche Testtheorie (KTT)?
Schätzt Reliabilität bei mehrfache Messung eines Merkmals der selben Gruppe
Annahme 1:
- Beobachteter Messerwert (Y) = Wahrer Wert (T) + Fehlerwert (E)
- T konstant, unbekannt
Annahme 2:
- Erwartungswert von E = Erwartungswert von Y-T = 0
- Erwartungswert von Y = T
- Mittelwert der Messfehler (unendliche viele Messung) ist 0
-> Reliabilität von Y = Korrelation von 2 Messreihen (Y, Y’)
Was ist die Test-Retest Reliabiltät?
Verfahren zur Reliabilitätsbestimmung?
Testwiederholungen:
- gleicher Test, gleiche Vpn andere Zeiten
Abhängig von:
- Zeitintervall (Je mehr Zeit, desto ungenauer)
- Relative Stabitilität eines Merkmals
Relativ Stabil:
- Relative Ausprägung konstant
- 80 und 90 -> 90 und 100
Absolut Stabil:
- Absolute Ausprägung konstant
- 90 und 100 -> 90 und 100
Was ist die Interrate-Reliabilität und Paralleltestung?
Verfahren zur Reliabilitätsbestimmung?
Interrater-Reliabilität:
- Mehrer Rater bewerten das selbe Merkmal / Objekt
- Überprüft Vergleichbarkeit mehrer Rater
Paralleltestung:
- Mehrere Vergleichbare Test
- Mittelwerte sollen sehr ähnlich sein
- Reliabilität = Korrelation zwsichen Tests
Was ist die Splitt-Half-Reliabilität?
Ein Test wird in zwei Hälften geteilt (Paralleltest)
- Mittelwert soll ähnlich sein
- Reliabilität = Korrelation der beiden
- Teilung z.B. ungerade - gerade
Formel für tatsächliche Reliabilität
- Folie 35
This shit is in General weird man. Why would you do this?
Was ist die Interne Konsistenz?
Weiterführung der Splitt-Half-Reliabilität.
Wie Items einer Skala Zusammenhängen
- Formel und Bsp. Folie 36/37
-> actually verständlich
Welche Rolle spielt die Objektivität bei der Reliabilität?
Die Objektivität des Tests ist eine notwendige, aber keine hinreichende Voraussetzung für eine hohe Reliabilität!
Beurteilung:
- r > 90 -> hoch
- 80 < r <90 -> mittel
- r < 80 -> niedrig
-> Intelligenz und Leistung hoch
-> Persönlichkeits eher neidrig
Wie ist die Reliabilität von Schulnoten?
Studie von Eells:
- Lehrer selbe Fragen benotet nach 11 Wochen (Geschichte und Geo)
- Korrelation sehr niedrig
Generell:
- Reliabilität einzelner Arbeiten schlecht
-
Zeugnisnoten: Über die Schulzeit hinweg -> hohe Stabilität
- Grundschule r = 80
- Sekundarschule r = 70
Was ist der Standardmessfehler?
Standardmessfehler: standardisierter Maß für, wie ungenau der Test misst
- Formel auf Folie 50
- Abhängig von Standardabweichung und Reliabilität des Tests
Standardabweichung: Streuung der Y um T
Nutzen:
- Um das Konfindenzintervall (Vertrauensberiech) zu bestimmen
Was ist das Konfidenzintervall?
Bereich um den beobachteten Wert, in dem sich mit einer bestimmten Wahrscheinlichkeit (95%) der wahrer Wert einer Person liegt
- Intervall (95%) = Beobachteter Testwert (X) +- 1,96 * Standardmessfehler (SM)
- Bsp. Aufgabe Folie 53
Praktische Anwendung des Konfidenzintervalls
Schüler in Rechtest 79 Punkte -> Förderungsprogramm gemacht und dann 86
- Hat er sich verbessert oder Test nur ungenau?
- Konfidenzintervall aufgestellt (95%)
- Liegt Messwert außerhalb dieses Beriechs hat er sich wirklich verbessert (nicht durch Ungenauigkeit)
- Dann macht man die Rechnung (Folie 56) (Reliabilität und Standardabweichung wird gegeben sien)
- Wert ist außerhalb -> hat sich verbessert mit einer 5% Irrtumswahrscheinlichkeit
