Brainscape's Knowledge GenomeTM

Browse over 1 million classes created by top students, professors, publishers, and experts.


See full index

Testtheorie > Reliabilität > Flashcards

Reliabilität Flashcards

1
Q

Testwertvariablen:
rel(Y) = σ²(τ) / σ²(Y) = σ²(τ) / σ²(τ) + σ²(ε)

rel(Y)=Var(T)/Var(Y) = Var(T)/Var(T)+Var(E)

Itemvariablen:
rel(yᵢ)=Var(τᵢ)/Var(yᵢ)= Var(τᵢ) / Var(τᵢ) + Var(εᵢ)

A

=Maß der Reliabilität der Testwertvariablen
je größer die Varianz des Messfehlers, desto geringer die Reliabilität

Maß der Messgenauigkeit

Verhältnis der Varianz der True Score Variablen (T) zur Gesamtvarianz der Testwertariablen Y

Verhältnis der Varianz der True Score Variablen tau zur Varianz der Testwertvariablen

How well did you know this?
1
Not at all
2
3
4
5
Perfectly
2
Q

Was besagt die Reliabilität eines Tests?

A
  • Grad der Genauigkeit mit der ein Test in bestimmtes Merkmal misst
  • im Rahmen der KTT steht Varianz im Vordergrund
    ->je größer die Varianz des Messfehlers, desto geringer die Reliabilität
    -> normiertes Effektgrößenmaß dass Vergleich unterschiedlicher Messinstrumente hinsichtlich der Zuverlässigkeit ihrer Messung ermöglicht
How well did you know this?
1
Not at all
2
3
4
5
Perfectly
3
Q

Welcher Wert der Relativität rel wird in der Wissenschaft ungefähr als ausreichend betrachtet?

A

0.7 bzw. 0.8

  • Leistungstests über 0.9
  • homogene Konstrukten 0.8- 0.9
  • Screenings und heterogene Konstrukten 0.7
  • Persönlichkeitstests 0.7
How well did you know this?
1
Not at all
2
3
4
5
Perfectly
4
Q

Welchen Wertebereich kann der Wert für Relativität rel annehmen und warum?

A
  • rel = σ²(τ) / σ²(X) = σ²(τ) / σ²(τ) + σ²(ε)
  • 0 ≤ rel ≤ 1
  • Relativität ist der Bruch der Varianz des wahren Werts durch die Summe der Varianz des wahren Werts und der Varianz des Messfehlers
How well did you know this?
1
Not at all
2
3
4
5
Perfectly
5
Q

Was ist ein Bestimmtheitsmaß?

A

auch Determinationskoeffizient
R²
Kennzahl zur Beurteilung der Anpassungsgüte einer Regression
zB bewerten wie gut Messwerte zu einem Modell passen

How well did you know this?
1
Not at all
2
3
4
5
Perfectly
6
Q

Was ist das Bestimmtheitsmaß der Korrelation von Messwert und wahrem Wert?

A

???
-> entspricht der Relabilität?
rel=ρ²(X,τ)

How well did you know this?
1
Not at all
2
3
4
5
Perfectly
7
Q

Wie verhält sich die Korrelation zweier Paralleltests zur Reliabilität?

A

rel=ρ(XₐXₐ,)

How well did you know this?
1
Not at all
2
3
4
5
Perfectly
8
Q

Welche Arten der Reliabilitätsbestimmung lassen sich unterscheiden?

A

Klassische Methoden: beruhen auf Stichprobenkennwerten, werden bestimmt über Kovarianzen der Itemvariablen und Korrelationen zweier paralleler Tests: zB:
1. Retest-Reliabilität
2. Paralleltest-Reliabilität
3. Testhalbierungs-(Split Half-) Reliabilität
4. Innere Konsistenz

Modellbasierte Methoden: basieren auf Modellparametern der CFA

How well did you know this?
1
Not at all
2
3
4
5
Perfectly
9
Q

Wie kann man die Retest-Reliabilität bestimmen?

A
  • derselbe Test derselben Stichprobe zweimal vorgelegt
  • Voraussetzung:
  • keine Veränderungen der Messfehlereinflüsse
  • keine unsystematischen Veränderungen des wahren Werts Tau
    -> Korrelationen der Testergebnisse entsprechen der geschätzten Reliabilität
How well did you know this?
1
Not at all
2
3
4
5
Perfectly
10
Q

Wie kann die Paralleltest-Reliabilität berechnet werden?

A
  • selbe Person zwei Tests, die eine parallele Messung darstellen
  • Korrelation der Ergebnisse schätzt Reliabilität der beiden Tests
    rêl=r(XₐXₐ,)

Problem: Test nicht völlig parallel, strenge Testung der Parallelität zweier Tests im Rahmen der KTT nicht möglich
- eleganteste Prüfung der Parallelität von Tests (ohne moderne Testtheorie) -> konfirmatorische Faktorenanalyse

How well did you know this?
1
Not at all
2
3
4
5
Perfectly
11
Q

rêl=r(XₐXₐ,)

A

Paralleltest-Reliabilität
Relabilität entspricht in der Korrelation von 2 Paralleltests

How well did you know this?
1
Not at all
2
3
4
5
Perfectly
12
Q

Wie kann die Parallelität von Tests geprüft werden?

A

-> geht nicht anhand von KTT
- moderne Testtheorie
- konfirmatorische Faktorenanalyse

How well did you know this?
1
Not at all
2
3
4
5
Perfectly
13
Q

Wie kann die Testhalbierungs-Reliabilität (Split-Half Reliabilität) bestimmt werden?

A

-Test der aus mehreren Items besteht wird in 2 möglichst parallele Untertests geteilt
- Korrelation der Ergebnisse der Untertests schätzt die Reliabilität eines halb so langen Tests
-> um auf geschätzte Reliabilität des Gesamttests zu kommen wird auf einen Spezialfall der Spearman-Brown Formel zurückgegriffen

rêl(Gesamttest)=2r(X₁,X₂)/1+r(X₁,X₂)

How well did you know this?
1
Not at all
2
3
4
5
Perfectly
14
Q

Was besagt die Spearman-Brown Formel?

A

???
Voraussetzung: parallele Items -> Kenntnis der Reliabilität
-> Formel wird genutzt wenn nun der Test um parallele Items verlängert oder verkürzt wird

rêl(veränderter Test) = (κrêl(Originaltest))
/(1+(κ-1)rêl(Originaltest)

mit Kappa κ = Anzahl Items im veränderten Test /
Anzahl Items im Originaltest

How well did you know this?
1
Not at all
2
3
4
5
Perfectly
15
Q

Wie kann die innere Konsistenz bestimmt werden?

A
  • jedes Item eines aus mehreren Items bestehenden Tests als eigene Messung des interessierenden Merkmals betrachtet
  • durchschnittliche Korrelation aller Items dieses Tests
  • zB Cronbachs Alpha α
  • zB Lambda2 nach Guttman λ₂
How well did you know this?
1
Not at all
2
3
4
5
Perfectly
16
Q

Was besagt Lambda2 nach Guttman?

A

Σᵢσ^²(Xᵢ )-√(k / k-1) * √(Σᵢ₌₁) *√(Σₐ₌₁) * √σ^²(Xᵢ, Xₐ)
λ₂ = 1 -
/σ^²(X)

How well did you know this?
1
Not at all
2
3
4
5
Perfectly
17
Q

Welche Voraussetzungen stellt die innere Konsistenz?

A
  • sind die Items zumindest essentiell τ-äquivlente Messungen sind α und λ₂ Schätzungen der Reliabilität des Gesamttests
  • wenn Items keine äquivalente Messungen: α und λ₂ sind untere Schranken der Reliabilität
How well did you know this?
1
Not at all
2
3
4
5
Perfectly
18
Q

Was ist bei α und λ₂ zu beachten?

A
  • Items müssen gleichartig gepolt sein (Werte müssen inhaltlich selbe Bedeutung haben)
  • Messen nicht ob Item eindimensional ist
How well did you know this?
1
Not at all
2
3
4
5
Perfectly
19
Q

x̄^(neu)=κ*x̄(alt)

A

der geschätzte Mittelwert eines veränderten Paralleltests entspricht dem alten Mittelwert mal Kappa

How well did you know this?
1
Not at all
2
3
4
5
Perfectly
20
Q

κ=k(neu)/k(alt)

A

Kappa = Anzahl der Items in verändertem paralleltest durch Anzahl der Items im Originaltest

How well did you know this?
1
Not at all
2
3
4
5
Perfectly
21
Q

σ^²(Xneu)=κσ^²(Xalt) * [1+(κ-1)rêl(alt)]

A

??
Spearman brown
die geschätzte Varianz eines veränderten Paralleltests entspricht der geschätzten Varianz mal Kappa, mal der geschätzten Reliabilität des Originaltests

How well did you know this?
1
Not at all
2
3
4
5
Perfectly
22
Q

Was beschränkt die höhe der Reliabilität?

A
  • allgemein so hoch wie möglich

berücksichtigung:
- Art des zu erfassenden Merkmals:
- Individual- vs- Kollektivdiagnostik
- Einsatzbedingungen
- Kosten-Nutzen Abwägungen
- Objektivierbarkeit -> ???

How well did you know this?
1
Not at all
2
3
4
5
Perfectly
23
Q

Wie beeinflusst die Art des zu erfassenden Merkmals die höhe der Reliabilität?

A
  • Leistungsvariablen (rel>0.9) meist höhere rel als Persönlichkeitstests/Einstellungen (rel≈0.7)
  • bei heterogenen Merkmalen kann die innere Konsistenz deutlich geringer sein als Retest- oder Paralleltest Reliabilität
How well did you know this?
1
Not at all
2
3
4
5
Perfectly
24
Q

Welchen Effekt hat der Unterschied zwischen Individual- und Kollektivdiagnostik?

A

*individualdiagnostik höhere Messgenauigkeit als bei Kollektivdiagnostik, da sich Messfehler bei der Zusammenfassung von Messungen mehrer Individuen “reduzieren”

How well did you know this?
1
Not at all
2
3
4
5
Perfectly
25
Q

Welchen Effekt haben die Einsatzbedingungen auf die Reliabilität?

A
  • bei Tests die nicht adaptiv vorgegeben werden können hängt die Reliabilität stark von der Testlänge ab
  • kurze Tests und Fragebögen (zB Screenings) eher geringe Reliabilität
How well did you know this?
1
Not at all
2
3
4
5
Perfectly
26
Q

Wie sind Reliabilität und Konfidenzintervall verbunden?

A

Reliabilität als Maß für die Genauigkeit der Messung -> Basis für Erstellung von Konfidenzintervallen für wahre Werte

How well did you know this?
1
Not at all
2
3
4
5
Perfectly
27
Q

Welche Arten von Konfidenzintervallen gibt es?

A
  • auf Basis der Messfehlervarianz
  • auf Basis der Schätzfehlervarianz
How well did you know this?
1
Not at all
2
3
4
5
Perfectly
28
Q

Wie berechnet man die Messfehlervarianz?

A

σ^²(ε)=σ^²(X)*(1-rel)

29
Q

Wie kann das KI anhand der Messfehlervarianz berechnet werden?

A

τ₁,₂=xᵥ±z(krit)*σ^²(ε)

30
Q

Wie berechnet man die Schätzfehlervarianz?

A

τᵥ^=xᵥrelx̄(1-rel)
σ^²(ε^)=σ^²(X)(1-rel)*rel
??

31
Q

Wie kann das KI anhand der Messfehlervarianz berechnet werden?

A

τ₁,₂=xᵥ±z(krit)*σ^²(ε^)

32
Q

Warum wird die Reliabilität gemessen?

A

um den Messfehleranteil in den Testwerten zu schätzen

33
Q

Wie kann die True-Score-Varianz berechnet werden?

A

Var(T)= Summe der quadrierten Faktorladungen
Summe der Produkte der Faktorladungen aller Itemvariablen

Anteil an der Gesamtvarianz schätzen
-> klassische Methoden: Crohnbachs alpha, Spearman-Brown
-> modellbasierte Methoden: Omega-Koeffizienten

34
Q

Wie kann der Standardmessfehler berechnet/geschätzt werden? Wozu?

A
  • mithilfe der Reliabilität
  • Bildung von Konfidenzintervallen für die geschätzten True Scores
35
Q

Wie wird in der IRT Konfidenzintervalle für Personenparameter gebildet?

A
  • nicht mithilfe Reliabilitätskoeffizienten sondern mithilfe der Testinfo -> beruht auf Iteminformationen, die jeweils angeben welchen Betrag ein item zur Schätzgenauigkeit eines latenten Personenwertes leistet
36
Q

Was ist die Testinformation?

A

beruht auf Iteminformationendie jeweils angeben welchen Betrag ein item zur Schätzgenauigkeit eines latenten Personenwertes leistet
–> entspricht der Reliabilität im IRT
- Messgenauigkeit nicht für alle Personenwerte gleich
- Messgenauigkeit variiert in Abhängigkeit von der latenten Variablen η
-> Testinformation in unterschiedlichen Wertebereichen der latenten Variablen höher bzw niedriger
-> Konfidenzintervallbreite der Personenparameter variiert

37
Q

Wie ist die Itemreliabilität definiert?

A

bestimmt von Anteil der True-Score-Varianz an der Gesamtvarianz
rel(i)=Var(τᵢ) / Var(yᵢ)

38
Q

Wie ist die Testwertreliabilität definiert?

A

Rel(Y)= Var(T) / Var(Y)
umso reliabler je größer der wahre Varianzanteil Var(T) an der Gesatvarianz Var(Y) ist
-> Reliabilität nimmt bei zunehmender Fehlervarianz ab

39
Q

Was ist der Determinationskoeffizient?

A

-> interpretation der Reliabilität
- normiertes Effektgrößenmaß
- Vergleich von Messungen von unterschiedlichen tools möglich

40
Q

Welche Voraussetzungen hat die Anwendung von McDonalds Omega?

A

τ-kongerische Messäquivalenz
eindimensional
keine Gleichheitsrestriktionen bzgl Itemparameter (Faktorladung oder Fehlervarianzen)

41
Q

Welche Voraussetzungen hat die Anwendung von Crohnbachs Alpha?

A

essentielle τ-äquivalente Messäquivalenz
eindimensional
identische Faktorladungen λ = alle Itemvariablen die selbe Kovarianz untereinander aufweisen = unterscheiden sich nicht in Diskriminationsfähigkeit
alle Items erfassen das Item im gleichen Ausmaß
unkorrelierte Fehlervarianzen

auch “Koeffizient λ3”
l … Anzahl der Items
siehe Formelsammlung

gebraucht:
Summe der Itemvarianzen Var(yi)
Gesamtvarianz der Testwertvariable Var(Y)
Itemkovarianzen -> liefern notwendige Infos zur Bestimmung der True Score Varianz der Testwertvariablen

Itemanzahl hat Einfluss

42
Q

Welche Voraussetzungen hat die Anwendung der Spearman-Brown-Formel?

A

τ-parallele Messäquivalenz
eindimesnional
äquivalente Faktorladungen λ = selbe Kovarianz
äquivalente Fehlervarianzen
unterschiedliche Leichtigkeitsparameter

43
Q

Was sind die Itemparameter?

A

Faktorladung oder Fehlervarianzen
wenn Parameterindex i aus Gleichungen weggelassen wird -> Parameter über die Items hinweg als konstant angenommen

44
Q

Wann hat ein Messinstrument eine hohe Messgenauigkeit? Wann ist ein Messinstrument perfekt reliabel?

A

Wenn die resultierenden Messergebnisse nur einn geringen Messfehler behaftet sind
perfekt reliabel (rel=1) wenn Messfehler=0
umso weniger reliabel je größer Messfehleranteil

45
Q

In welchem Verhältnis stehen die anderen Hauptgütekriterien zur Reliabilität?

A
  • Objektivität ist eine Voraussetzung für Reliabilität
  • Reliabilität ist eine Voraussetzung für Validität
46
Q

Was ist zur Schätzung der Reliabilität nötig?

A
  • Reliabilität exakt definiert als Varianzverhältnis
    -> mehrere Messungen nötig, einmalige Messung bei einer Person nicht ausreichend um Präzision der Reliabilitätsschätzung zu beurteilen
    wahre Werte und Messfehler lassen sich bei einer einzelnen Person nicht bestimmen
    -> mehrere Items ein Merkmal oder mehrere Messzeitpunkte oder mehrere Personen
  • eindimensionalität der Testitems: unkorrelierte Messfehler, CFA
  • je nach Messmodell -> Messäquivalenz -> entscheidet ob Reliabilitätsschätzer verwendet werden darf
  • streng genommen Itemvariablen mindestens intervallskaliert; in praxis ordinalskaliert unter bestimmten Bedingungen okay
47
Q

In welchen Messeigenschaften dürfen sich die Variablen unterscheiden?

A

Itemvariablen (yi)
-additiver Term: Leichtigkeitsparameter, Interzept α -> Itemvariablen yi haben unterschiedliche Mittelwerte; wirkt sich bei der Bestimmung der Reliabilität nicht weiter aus

  • multiplikativer Term: Diskriminationsparameter, Faktorladung λ -> Höhe des Zusammenhangs zwischen Itemvariable yi und latenter Variable η unterschiedlich
  • Fehlervarianz Var(ε) -> Einfluss von Messfehlern unterscheidet sich zwischen Item
48
Q

Wann haben zwei Items laut Messäquivalenzstufe die selbe Reliabilität?

A
  • Faktorladungen konstant
  • Fehlervarianzen konstant
49
Q

Was ist die Grundidee von Crohnbachs Alpha?

A

Testwertvariable wird als Summe der Itemvariablen gebildet
Reliabilität der Summenvariable wird anhand der Varianzen und Kovarianzen der Items bestimmt

Faktorladungen müssen identisch sein
wahre Varianz für alle Items gleich
Fehlervarianz unterschiedlich

50
Q

Welche Gründe für die Verzerrung von Reliabilität gibt es?

A
  • Methodeneffekte zB invers (“NICHT”) formulierte Items -> bilden neben Merkmalsvarianz zusätzlich systematische Methodenvarianz
  • Mehrdimensionalität
51
Q

Ist Crohnbachs Alpha ein Maß für die innere konsistenz?

A
  • nein
  • Termini innere Konsistenz, eindimensionalität, homogenität, Faktorsättigung gleichbedeutend verwendet
  • hoher Alpha Wert ist Indiz dafür dass interne Konsistenz hoch ist, aber auch andere Erklärungen (zB Mehrdimensionalität, Methodeneffekte) haben
52
Q

Wie kann Crohnbachs Alpha interpretiert werden?

A
  • untere Schranke der Reliabilität aber NUR wenn Voraussetzungen für Alpha erfüllt
53
Q

Welche Arten der Test-Test Korrelation kennen wir?

A
  1. Retest
  2. Split Half
  3. Parallel
54
Q

Welche Voraussetzungen hat die Spearman-Brown-Formel der Testverlängerung?

A
  • essentielle tau Parallelität der Itemvariablen
    -> aufsummierung der Halbtestwerte; Korrelation gemessen + korrigiert
55
Q

Welche Probleme können sich bei der Test-Test-Korrelation ergeben?

A
  • latentes Merkmal verändert sich unsystematisch (dh Traits besser reliabel)
  • Erinnerungseffekte

-> Wahl des Retest-Intervalls lang genug um Erinnerungseffekte zu reduzieren, kurz genug um deutliche Merkmalsveränderungen zu verhindern

-> mangelnde parallelität: Parallelität sehr selten gesichert, eher Leistungstest als Persönlichkeitstests

56
Q

Gibt es unterschiedliche Reliabilitäten?

A

nein
obwohl unterschiedliche Namen gibt es nur eine einzige Reliabilität der Testwertvariablen
immer das gleiche Gütemaß

57
Q

Welche Einflüsse gibt es auf die Reliabilität eines Tests?

A
  • Hetero- bzw Homogenität des Merkmals in Stichprobe
  • Hetero- bzw. Homogenität der Items (misst vielleicht nur Teilaspekt aber dafür sehr reliabel)
  • Itemzahl (je mehr Items desto höher)
58
Q

Wie kann man das KI der Reliabilität bestimmen?

A

mit Standardmessfehler

59
Q

Welche Methode liegt der modellbasierten Reliabilitätsschätzung zugrunde? Welche Vorteile hat das?

A

-CFA anhand Modellparameter
-basiert auf weniger strengen Annahmen
- Modelle können explizit anhand Modellen überprüft werden

60
Q

Wie ist die Reliabilität definiert?

A

Das Verhältnis der wahren Varianz zur Gesamtvarianz eines Tests

61
Q

Welche Probleme ergeben sich in der klassischen Reliabilitätsschätzung?

A
  • Zutreffen implizit vorausgesetzter Modellrestriktionen werden in der Praxis meist nicht explizit überprüft
  • Modellpassung prüfen ist zwingend erforderlich!
  • unpassend: unpräzise und verzerrte Punktschätzungen der Reliabilität, Standardfehler nicht adäquat geschätzt -> daraus gebildetes KI für Rel nicht korrekt
62
Q

Welche Methode liegt der klassischen Reliabilitätsanalyse zugrunde?

A

empirische Varianzen und Kovarianten der Itemvariablen (Crohnbachs Alpha) oder
empirische Korrelationen zwischen den Test(summen)werten paralleler Tests (Test-Test Reliabilitätsmaße)

63
Q

Welche Reliabilitätsmaße können bei eindimensionalen Tests modellbasiert geschätzt werden?

A
  • Crohnbachs Alpha: Anteil der wahren Varianz an der Gesamtvarianz der Testwertvariablen
  • Mc Donalds Omega: Anteil der wahren Varianz an der Gesamtvarianz der Testwertvariablen
  • Bollens Omega: Anteil der wahren Varianz an der Gesamtvarianz der Testwertvariablen (mit mindestens einer Fehlerkovarianz)
64
Q

Welche Voraussetzung gibt es für die Bildung von Testwerten?

A

Eindimensionalität

muss erfüllt (Alpha, McDonalds Omega) bzw. zumindest im Wesentlichen erfüllt (Bollens Omega) erfüllt sein

65
Q

Welche Voraussetzungen hat McDonalds Omega? Welche Werte werden als akzeptabel interpretiert?

A

Eindimensionalität
τ-kongerität
unkorrelierte Messfehler

unterschied zu Bollens Omega?-> korrelierte Messfehler erlaubt -> Eindimensionalität nur im wesentlichen erfüllt, zusätzlich zumindest eine Kovarianz oder Korrelation

abhängig von hetero- bzw homogenität mindestens ein Wert von .7 besser .8 oder .9 akzeptiert + kleines KI

66
Q

Welche Vorteile hat die modellbasierte Reliabilitätsschätzung gegenüber der klassischen Reliabilitätsschätzung?

A
  1. ein- und mehrdimensionale Modelle
  2. Überprüfbarkeit der Modellannahmen
    -> klare Entscheidungsregeln
  3. Verwendung unterschiedlicher Schätzmethoden
  4. Adäquate Schätzung der KI
  5. Methodeneffekte werden berücksichtigt
67
Q

Welche Nachteile hat die modellbasierte Reliabilitätsschätzung?

A
  1. Abhängigkeit von Itemzahl -> je mehr Items je höher rel
  2. Notwendigkeit relativ großer Stichproben: präzise Schätzung der Parameter und rel für Berechnung des KI nötig
  3. unplausible Ergebnisse trotz Modellfits
68
Q

Was gibt das Reliabilitätsmaß der IRT an?

A

inwieweit sich Unterschiede der geschätzten Personenwerte auf wahre Unterschiede zwischen Personen zurückführen lassen
-> Testinformationsfunktion, basiert auf den einzelnen Iteminformationen: geben an welchen Beitrag ein Item zur Schätzgenauigkeit eines latenten Personenwerts leistet
-> marginale Reliabilitätskoeffizienzen sind Kennwerte der durchschnittlichen Messgenauigkeit

Testtheorie (10 decks)

Brainscape helps you reach your goals faster, through stronger study habits.
© 2024 Bold Learning Solutions. Terms and Conditions