5. Reliabilität Flashcards
Definiere “Reliabilität”
Genauigkeit/Zuverlässigkeit,
mit der ein Test ein bestimmtes Merkmal misst
(unabhängig davon,
ob der Test das gemessene Merkmal messen sollte)
Reliabilität = Freiheit von ____________
Messfehlern
Reliabilität ist lediglich eine _____________
SCHÄTZUNG
Worauf basiert die Schätzung der Reliabilität?
auf verschiedene Methoden
meist Korrelationen zwischen Tests
Reliabilität beschreibt Anteil der Varianz der ___________________ an der Varianz der ______________________
(1) wahren Werte
(2) beobachteten Testwerte
Nenne verschiedene VORAUSSETZUNGEN der Reliabilitätsschätzung.
- wiederholte Messungen unter vergleichbaren Bedingungen
- Unkorreliertheit der (unsystematischen) Messfehler
- Übereinstimmung wahrer Werte
- Gleichheit der Fehlervarianzen wiederholter Messungen
Definiere “Äquivalenz”
Gleichwertigkeit von Messungen
Wofür ist ÄQUIVALENZ wichtig?
für eine PRÄZISE SCHÄTZUNG der Reliabilität
Nenne verschiedene Arten der Äquivalenz von messungen
- STRENG PARALLEL
- IM WESENTLICHEN PARALLEL
- TAU-ÄQUIVALENT
- IM WESENTLICHEN TAU-ÄQUIVALENT
- TAU-KONGENERISCH
Erfasse die STRENG Parallele Äquivalenz
Alle Items:
- – gleiche wahre Werte (τ )
- – gleiche Fehlervarianzen
Erfasse die IM WESENTLICHEN (essenziell) Parallele Äquivalenz
Alle Items:
- – gleiche Fehlervarianzen
- – wahren Werte um eine additive KONSTANTE verschoben
Wie unterscheidet sich die streng parallele Messungen von den essenziell parallelen Messungen?
STRENG: gleiche wahre Werte
ESSENZIELL: wahre Werte um eine additive Konstante verschoben
(beide gleiche Fehlervarianzen)
Was wird bei der streng parallelen Äquivalenz angenommen bzgl. Reliabilität?
Höhe der Reliabilität und Validität für beide Messungen GLEICH
Im wesentlichen parallele Äquivalenz: wie überprüfbar?
konfirmatorische Faktorenanalyse
tau-äquivalente messungen
Alle Items:
- – gleichen wahren Werte
- – unterschiedliche Fehlervarianzen
im wesentlichen tau-äquivalente messungen
Alle Items:
- – wahren Werte um eine additive Konstante verschoben
- – unterschiedliche Fehlervarianzen
tau-kongenerische messungen
- – unterschiedliche Maßeinheiten, Mittelwerte und Fehlervarianzen
- – wahren Werte sollen perfekt miteinander korrelieren
Items sind kongenerisch, wenn sie ____________ sind
eindimensional
bei FA: Alle Items laden nur auf einem Faktor hoch
Nenne vier Methoden der Reliabilitätsschätzung
1) Testhalbierung
2) interne Konsistenz
3) paralleltestmethode
4) retestmethode
Methoden zur Reliabilitätsschätzung:
— Erfasse die Methode der TESTHALBIERUNG
1 Test 1mal an 1 Stichprobe
- Test wird nach bestimmten Methoden in zwei Testhälften unterteilt
- beide Testhälften sind PARALLEL
Testhalbierung: nenne die Methoden zur Halbierung
- Odd-Even
- Zufällige Aufteilung
- Itemzwillinge
- Aufteilung nach Testzeit
Wann wird die Odd-Even-Methode angewandt?
bei Schnelligkeitstests
weil Übungseffekte gleichmäßig verteilt sind
Odd-Even-Methode ist nur dann angewandt, wenn…
beide Testhälften das selbe Merkmal messen
sonst nicht sehr aussagekräftig
Methoden zur Reliabilitätsschätzung:
— Erfasse die Methode der INTERNEN KONSISTENZ
1 Test 1mal an 1 SP
- Überprüfung des inneren Zusammenhangs der Items unter Berücksichtigung der Testlänge
- so viele “Einzeltests” wie Items
Interne Konsistenz:
Voraussetzungen?
Äquivalenz mind. im Wesentlichen tau-äquivalent (sonst Unterschätzung der R)
Interne Konsistenz:
Berechnung?
Itemvarianzen
Itemkovarianzen
Interne Konsistenz:
Anwendung?
– homogene Merkmalsbereiche
– Messung nur einmal durchführbar
(nicht bei Schnelligkeitstests)
Methoden zur Reliabilitätsschätzung:
— Erfasse die Methode der PARALLELTESTMETHODE
- Darbietung zweier Parallelformen
nicht immer möglich
Welcher anderen Methode ähnelt die PARALLELTESTMETHODE?
esthalbierungsmethode
Paralleltestmethode: Berechnung?
Korrelation der Rohwertpaare aus beiden Testformen
Paralleltestmethode: Nachteile?
Übungs- und Transfereffekte wahrscheinlich
Kontrolle mittels „cross-over designs“
Methoden zur Reliabilitätsschätzung:
— Erfasse die Methode der RETESTMETHODE
- Wiederholte Darbietung des gleichen Tests (gleiche Bedingungen)
- fester Zeitabstand- sorgfältig wählen!
RETESTMETHODE: Berechnung?
Korrelation der Rohwertpaare zwischen der ersten und zweiten Testung
RETESTMETHODE: Anwendung?
- Speedtests (Lösung zur Reliabilitätsüberschätzung)
- Persönlichkeitstests
- Tests wo Übungseffekte keine große Rolle spielen
Wieso sind Persönlichkeitstests gut für die Anwendung der Restest-Methode geeignet?
zeitlich stabile Merkmale
RETESTMETHODE:
— VORSICHT!!!!!
Übungs-/ Erinnerungseffekte
Korrelationskoeffizient wird mit größerem Zeitabstand Kleiner
Testhalbierungskoeffizienten & Konsistenzkoeffizienten:
bei sehr homogenen Konstrukten:
— gute Schätzer der Reliabilität
Retestkoeffizient/Paralleltestkoeffizient:
Nachteile
- anfällig für Über- / Unterschätzung der Reliabilität
- Übungseffekte, lange Zeitintervalle
- Schwierigkeit, parallele Tests zu konstruieren…
____________ ist unerlässlich bei Testung psychologischer Attribute
Retestkoeffizient
Wie wird die Reliabilitätsschätzung präzisiert?
formale Modellierung
TESTHALBIERUNGSKOEFFIZIENT:
Wie heißen die Korrekturformeln bei parallelen Messungen?
- Spearman-Brown-Formel
- Formel von Kristof
Spearman-Brown-Formel & Formel von Kristof:
wann werden diese Korrekturformeln eingesetzt?
bei parallelen Messungen
Ermittlung des Testhalbierungskoeffizienten
Spearmans-Brown-Formel & Formel von Kristoff:
welche Wird häufiger eingesetzt?
SPEARMAN-BROWN-FORMEL
FvK bei kleinem N
TESTHALBIERUNGSKOEFFIZIENT:
Wie heißen die Korrekturformeln bei tau-äquivalenten Messungen?
- Formel von Gutmann
- Formel von Feldt
Formel von Gutmann
- – konservativer als Spearman-Brown
- – Spezialfall des α-Koeffizienten von Cronbach für zwei Testhälften
In welchem Fall wird die Formel von Feldt gegenüber die Formel von Gutmann bevorzugt?
bei ungleich großen Testteilen
–> sonst Unterschätzung der Reliabilität
Wie heißt die “Standardmethode” bei der Ermittlung des Konsistenzkoeffizients?
Cronbach-alpha
Cronbach-alpha beschreibt…
- Höhe der mittleren Item-zusammenhänge abhängig von Itemanzahl
negativ korrelierte Items –> reduzieren Koeffizienten
Cronbach-alpha ist negativ, wenn…
… Verhältnis zwischen:
– Summe der Einzelvarianzen und
– Gesamtvarianz
> 1
Nenne mögliche Gründe für ein negatives Cronbach-alpha.
- Negativ gepolte Items
- hohe negative Trennschärfen
- Items sind nicht eindimensional
- Wenig Probanden
- Ausreißerwerte oder Inkonsistenzen in der Beantwortung
Wofür steht MIC?
Mittlere Interitem Correlation
kann von Cronbach-alpha diskrepant sein
Nenne drei Einflussfaktoren der Reliabilität.
- Homogenität
- Streuung der Testkennwerte
- Messfehler
Homogenität —>
- höhere interne Konsistenz
- höheres cronbach-alpha
- höhere reliabilität
Hohe Streuung —>
erhöhte Reliabilität
ABER
Ausreißer, Teilpopulationen, unterschiedliches Ankreuzverhalten —> geringere Reliabilität
Messfehler —>
geringere Reliabilität
nenne vier verschiedene Arten von Messfehler
- Zufällige Antwortmessfehler
- Vorübergehende Fehler von Messungen
- Systematische Fehler
- Spezifische Messfehler
Beschreibe wie die Reliabilität VERBESSERT werden kanan.
• Klare Test-/Itemformulierung • Klare Auswertungsvorgaben • Items mit geringer Trennschärfe entfernen (Achtung: Inhalt zu berücksichtigen!) • Testverlängerung - homogene Items
Verbesserund der Reliabilität:
VORSICHT!!!!
Ziel ist NICHT…
hochreliable, aber inhaltsarme Skala!
Warum ist die Beurteilung der Höhe von Testkennwerten schwierig?
abhängig von:
- dem Kontext
- der untersuchten Stichprobe (homogen/heterogen),
- der Breite des gemessenen Merkmals (breiter oder enger Merkmalsausschnitt)
was ist MIC?
Homogenitätsindex
Nenne die 2 Hauptgründe, Items zu eliminieren
- statistische Kriterien
- inhaltliche Gründe
________________ > Aussondern des Items
Revision der Itemformulierung
Elimination von Items hat eine Wirkung auf die __________
Reliabilität
Wann ist Elimination eines Items erlaubt?
wenn nach Elimination des Items Cronbach-Alpha erhöht wird
Elimination:
_____________ darf nicht das ausschließliche Ziel sein
Homogenität der Skalen
