5. Reliabilität Flashcards

1
Q

Definiere “Reliabilität”

A

Genauigkeit/Zuverlässigkeit,
mit der ein Test ein bestimmtes Merkmal misst

(unabhängig davon,
ob der Test das gemessene Merkmal messen sollte)

How well did you know this?
1
Not at all
2
3
4
5
Perfectly
2
Q

Reliabilität = Freiheit von ____________

A

Messfehlern

How well did you know this?
1
Not at all
2
3
4
5
Perfectly
3
Q

Reliabilität ist lediglich eine _____________

A

SCHÄTZUNG

How well did you know this?
1
Not at all
2
3
4
5
Perfectly
4
Q

Worauf basiert die Schätzung der Reliabilität?

A

auf verschiedene Methoden

meist Korrelationen zwischen Tests

How well did you know this?
1
Not at all
2
3
4
5
Perfectly
5
Q

Reliabilität beschreibt Anteil der Varianz der ___________________ an der Varianz der ______________________

A

(1) wahren Werte

(2) beobachteten Testwerte

How well did you know this?
1
Not at all
2
3
4
5
Perfectly
6
Q

Nenne verschiedene VORAUSSETZUNGEN der Reliabilitätsschätzung.

A
  • wiederholte Messungen unter vergleichbaren Bedingungen
  • Unkorreliertheit der (unsystematischen) Messfehler
  • Übereinstimmung wahrer Werte
  • Gleichheit der Fehlervarianzen wiederholter Messungen
How well did you know this?
1
Not at all
2
3
4
5
Perfectly
7
Q

Definiere “Äquivalenz”

A

Gleichwertigkeit von Messungen

How well did you know this?
1
Not at all
2
3
4
5
Perfectly
8
Q

Wofür ist ÄQUIVALENZ wichtig?

A

für eine PRÄZISE SCHÄTZUNG der Reliabilität

How well did you know this?
1
Not at all
2
3
4
5
Perfectly
9
Q

Nenne verschiedene Arten der Äquivalenz von messungen

A
  • STRENG PARALLEL
  • IM WESENTLICHEN PARALLEL
  • TAU-ÄQUIVALENT
  • IM WESENTLICHEN TAU-ÄQUIVALENT
  • TAU-KONGENERISCH
How well did you know this?
1
Not at all
2
3
4
5
Perfectly
10
Q

Erfasse die STRENG Parallele Äquivalenz

A

Alle Items:

  • – gleiche wahre Werte (τ )
  • – gleiche Fehlervarianzen
How well did you know this?
1
Not at all
2
3
4
5
Perfectly
11
Q

Erfasse die IM WESENTLICHEN (essenziell) Parallele Äquivalenz

A

Alle Items:

  • – gleiche Fehlervarianzen
  • – wahren Werte um eine additive KONSTANTE verschoben
How well did you know this?
1
Not at all
2
3
4
5
Perfectly
12
Q

Wie unterscheidet sich die streng parallele Messungen von den essenziell parallelen Messungen?

A

STRENG: gleiche wahre Werte
ESSENZIELL: wahre Werte um eine additive Konstante verschoben

(beide gleiche Fehlervarianzen)

How well did you know this?
1
Not at all
2
3
4
5
Perfectly
13
Q

Was wird bei der streng parallelen Äquivalenz angenommen bzgl. Reliabilität?

A

Höhe der Reliabilität und Validität für beide Messungen GLEICH

How well did you know this?
1
Not at all
2
3
4
5
Perfectly
14
Q

Im wesentlichen parallele Äquivalenz: wie überprüfbar?

A

konfirmatorische Faktorenanalyse

How well did you know this?
1
Not at all
2
3
4
5
Perfectly
15
Q

tau-äquivalente messungen

A

Alle Items:

  • – gleichen wahren Werte
  • – unterschiedliche Fehlervarianzen
How well did you know this?
1
Not at all
2
3
4
5
Perfectly
16
Q

im wesentlichen tau-äquivalente messungen

A

Alle Items:

  • – wahren Werte um eine additive Konstante verschoben
  • – unterschiedliche Fehlervarianzen
How well did you know this?
1
Not at all
2
3
4
5
Perfectly
17
Q

tau-kongenerische messungen

A
  • – unterschiedliche Maßeinheiten, Mittelwerte und Fehlervarianzen
  • – wahren Werte sollen perfekt miteinander korrelieren
How well did you know this?
1
Not at all
2
3
4
5
Perfectly
18
Q

Items sind kongenerisch, wenn sie ____________ sind

A

eindimensional

bei FA: Alle Items laden nur auf einem Faktor hoch

How well did you know this?
1
Not at all
2
3
4
5
Perfectly
19
Q

Nenne vier Methoden der Reliabilitätsschätzung

A

1) Testhalbierung
2) interne Konsistenz
3) paralleltestmethode
4) retestmethode

How well did you know this?
1
Not at all
2
3
4
5
Perfectly
20
Q

Methoden zur Reliabilitätsschätzung:

— Erfasse die Methode der TESTHALBIERUNG

A

1 Test 1mal an 1 Stichprobe

  • Test wird nach bestimmten Methoden in zwei Testhälften unterteilt
  • beide Testhälften sind PARALLEL
How well did you know this?
1
Not at all
2
3
4
5
Perfectly
21
Q

Testhalbierung: nenne die Methoden zur Halbierung

A
  • Odd-Even
  • Zufällige Aufteilung
  • Itemzwillinge
  • Aufteilung nach Testzeit
How well did you know this?
1
Not at all
2
3
4
5
Perfectly
22
Q

Wann wird die Odd-Even-Methode angewandt?

A

bei Schnelligkeitstests

weil Übungseffekte gleichmäßig verteilt sind

How well did you know this?
1
Not at all
2
3
4
5
Perfectly
23
Q

Odd-Even-Methode ist nur dann angewandt, wenn…

A

beide Testhälften das selbe Merkmal messen

sonst nicht sehr aussagekräftig

How well did you know this?
1
Not at all
2
3
4
5
Perfectly
24
Q

Methoden zur Reliabilitätsschätzung:

— Erfasse die Methode der INTERNEN KONSISTENZ

A

1 Test 1mal an 1 SP

  • Überprüfung des inneren Zusammenhangs der Items unter Berücksichtigung der Testlänge
  • so viele “Einzeltests” wie Items
How well did you know this?
1
Not at all
2
3
4
5
Perfectly
25
Interne Konsistenz: | Voraussetzungen?
Äquivalenz mind. im Wesentlichen tau-äquivalent (sonst Unterschätzung der R)
26
Interne Konsistenz: | Berechnung?
Itemvarianzen | Itemkovarianzen
27
Interne Konsistenz: | Anwendung?
-- homogene Merkmalsbereiche -- Messung nur einmal durchführbar (nicht bei Schnelligkeitstests)
28
Methoden zur Reliabilitätsschätzung: | --- Erfasse die Methode der PARALLELTESTMETHODE
- Darbietung zweier Parallelformen | nicht immer möglich
29
Welcher anderen Methode ähnelt die PARALLELTESTMETHODE?
esthalbierungsmethode
30
Paralleltestmethode: Berechnung?
Korrelation der Rohwertpaare aus beiden Testformen
31
Paralleltestmethode: Nachteile?
Übungs- und Transfereffekte wahrscheinlich | Kontrolle mittels „cross-over designs“
32
Methoden zur Reliabilitätsschätzung: | --- Erfasse die Methode der RETESTMETHODE
- Wiederholte Darbietung des gleichen Tests (gleiche Bedingungen) - fester Zeitabstand- sorgfältig wählen!
33
RETESTMETHODE: Berechnung?
Korrelation der Rohwertpaare zwischen der ersten und zweiten Testung
34
RETESTMETHODE: Anwendung?
- - Speedtests (Lösung zur Reliabilitätsüberschätzung) - - Persönlichkeitstests - - Tests wo Übungseffekte keine große Rolle spielen
35
Wieso sind Persönlichkeitstests gut für die Anwendung der Restest-Methode geeignet?
zeitlich stabile Merkmale
36
RETESTMETHODE: | --- VORSICHT!!!!!
 Übungs-/ Erinnerungseffekte |  Korrelationskoeffizient wird mit größerem Zeitabstand Kleiner
37
Testhalbierungskoeffizienten & Konsistenzkoeffizienten:
bei sehr homogenen Konstrukten: | --- gute Schätzer der Reliabilität
38
Retestkoeffizient/Paralleltestkoeffizient: | Nachteile
- anfällig für Über- / Unterschätzung der Reliabilität - Übungseffekte, lange Zeitintervalle - Schwierigkeit, parallele Tests zu konstruieren...
39
____________ ist unerlässlich bei Testung psychologischer Attribute
Retestkoeffizient
40
Wie wird die Reliabilitätsschätzung präzisiert?
formale Modellierung
41
TESTHALBIERUNGSKOEFFIZIENT: | Wie heißen die Korrekturformeln bei parallelen Messungen?
- Spearman-Brown-Formel | - Formel von Kristof
42
Spearman-Brown-Formel & Formel von Kristof: | wann werden diese Korrekturformeln eingesetzt?
bei parallelen Messungen | Ermittlung des Testhalbierungskoeffizienten
43
Spearmans-Brown-Formel & Formel von Kristoff: | welche Wird häufiger eingesetzt?
SPEARMAN-BROWN-FORMEL | FvK bei kleinem N
44
TESTHALBIERUNGSKOEFFIZIENT: | Wie heißen die Korrekturformeln bei tau-äquivalenten Messungen?
- Formel von Gutmann | - Formel von Feldt
45
Formel von Gutmann
- -- konservativer als Spearman-Brown | - -- Spezialfall des α-Koeffizienten von Cronbach für zwei Testhälften
46
In welchem Fall wird die Formel von Feldt gegenüber die Formel von Gutmann bevorzugt?
bei ungleich großen Testteilen | --> sonst Unterschätzung der Reliabilität
47
Wie heißt die "Standardmethode" bei der Ermittlung des Konsistenzkoeffizients?
Cronbach-alpha
48
Cronbach-alpha beschreibt...
- Höhe der mittleren Item-zusammenhänge abhängig von Itemanzahl negativ korrelierte Items --> reduzieren Koeffizienten
49
Cronbach-alpha ist negativ, wenn...
... Verhältnis zwischen: -- Summe der Einzelvarianzen und -- Gesamtvarianz > 1
50
Nenne mögliche Gründe für ein negatives Cronbach-alpha.
* Negativ gepolte Items * hohe negative Trennschärfen * Items sind nicht eindimensional * Wenig Probanden * Ausreißerwerte oder Inkonsistenzen in der Beantwortung
51
Wofür steht MIC?
Mittlere Interitem Correlation | kann von Cronbach-alpha diskrepant sein
52
Nenne drei Einflussfaktoren der Reliabilität.
- Homogenität - Streuung der Testkennwerte - Messfehler
53
Homogenität --->
- höhere interne Konsistenz - höheres cronbach-alpha - höhere reliabilität
54
Hohe Streuung --->
erhöhte Reliabilität ABER Ausreißer, Teilpopulationen, unterschiedliches Ankreuzverhalten ---> geringere Reliabilität
55
Messfehler --->
geringere Reliabilität
56
nenne vier verschiedene Arten von Messfehler
* Zufällige Antwortmessfehler * Vorübergehende Fehler von Messungen * Systematische Fehler * Spezifische Messfehler
57
Beschreibe wie die Reliabilität VERBESSERT werden kanan.
``` • Klare Test-/Itemformulierung • Klare Auswertungsvorgaben • Items mit geringer Trennschärfe entfernen (Achtung: Inhalt zu berücksichtigen!) • Testverlängerung - homogene Items ```
58
Verbesserund der Reliabilität: | VORSICHT!!!!
Ziel ist NICHT... | hochreliable, aber inhaltsarme Skala!
59
Warum ist die Beurteilung der Höhe von Testkennwerten schwierig?
abhängig von: - dem Kontext - der untersuchten Stichprobe (homogen/heterogen), - der Breite des gemessenen Merkmals (breiter oder enger Merkmalsausschnitt)
60
was ist MIC?
Homogenitätsindex
61
Nenne die 2 Hauptgründe, Items zu eliminieren
- statistische Kriterien | - inhaltliche Gründe
62
________________ > Aussondern des Items
Revision der Itemformulierung
63
Elimination von Items hat eine Wirkung auf die __________
Reliabilität
64
Wann ist Elimination eines Items erlaubt?
wenn nach Elimination des Items Cronbach-Alpha erhöht wird
65
Elimination: | _____________ darf nicht das ausschließliche Ziel sein
Homogenität der Skalen