XBlock 3 Flashcards
1
Q
Welche Kenntnisse kann man auf dichotom kodierte Items anwenden?
A
bernoulliesche Zufallsvariablen
2
Q
Wie kommt man auf die Itemschwierigkeit p?
A
Anteil der Itemrichtiglöser an der Gesamtzahl der Pbn
3
Q
Sind dichotome Items schlechter als Ratingskalen?
A
Nein, wegen Antworttendenzen sind Antworten bei mehr Optionen verzerrt
4
Q
Wann verhält sich die Testskala binomial? Beispiel dafür
A
wenn alle Items die gleiche Itemschwierigkeit haben, z.B. bei Raten
5
Q
Formel für die Varianz eines Items
A
pq
6
Q
Form der Beziehung Itemschwierigkeit und Itemvarianz?
A
umgekehrt u-förmig
7
Q
Was bildet p bei Speedtests ab?
A
Schwierigkeit und Position
8
Q
Wie sind die Itemvarianzen durch Gespeededheit verändert?
A
hinten mehr Varianz als wahr
9
Q
Von wem und wann ist die modifizierte Berechnungsformel für Speedtests?
A
Lienert & Raatz 1998
10
Q
Modifizierte Berechnungsformel für Speedtests
A
Itemschwierigkeit = Richtig beantwortet / richtig beantwortet + falsch + ausgelassen (übersprungen)
-> Leute, die es unbearbeitet haben, werden nicht berücksichtigt
11
Q
Ratekorrektur Formel
A
p = nR - (nF/(k-1))/n
12
Q
Folgen der Ratekorrektur, wenn nicht alle Alternativen gleich attraktiv
A
negative Itemschwierigkeiten möglich -> Interpretation: Aufgabe ist schwieriger als sie aussieht/ermutigt zu falschen Lösungen
13
Q
Itemschwierigkeit bei nicht dichotomen Items Formel
A
pi = (Summe(v=1 bis n) xvi)/n(k-1)
x = Antwort auf dem Item (zwischen 0 und was auch immer)
k = Anzahl Antwortstufen
14
Q
Wann entfallen die unschönen Effekte von Itemschwierigkeit auf Korrelationen?
A
Bei nicht-dichotomen Items
15
Q
Gibt es bei Boden- und Deckeneffekten viel Varianz?
A
Nein
16
Q
Was sind extreme Itemschwierigkeiten?
A
< 0,2 oder > 0,8
17
Q
Problem mit Itemschwierigkeit bei dichotomen Items Folgen
A
Man kann einige Operationen (z.B. Faktorenanalyse) nicht durchführen, ohne dass man vorher was gemacht hat
18
Q
Mit welcher Formel kann man die Korrelation zwischen zwei Items ermitteln?
A
punkt-tetrachorische Korrelationsformel
19
Q
Worauf basiert die punkt-tetrachorische Korrelationsformel
A
Vierfeldertafel: ein Item i horizontal, ein Item j vertikal, jeweils 0 und 1 -> pij (1, 1)
20
Q
Andere Bezeichnungen für punkt-tetrachorische Korrelationsformel 2
A
Phi-Koeffizient
Vierfelderkoeffizient
21
Q
Generelle Korrelationsformel
A
Korrelation = Kovarianz / (Streuungi x Streuungj)
22
Q
Was ist der Erwartungswert der Bernoulliechen Zufallsvariable?
A
Trefferwahrscheinlichkeit
23
Q
Wie kommt man auf die Formel für die punkt-tetrachorische Korrelationsformel?
A
Umstellung der Produkt-Moment Korrelationsformel
24
Q
Kovarianz von 2 Items
A
sij = 1/n x (SummePersonkbisn(xkyk-(meanx x meany)
x & y ist 0 oder 1
sij = pij - pi x pj
25
Namen Korrelation ehemals n.v. dichotomisierter Variablen 2
tetrachorische Korrelation
Cosinus-Phi-Formel
26
Was ist die Trennschärfe?
Korrelation eines Items mit der Skala, zu der es gehört
27
Was macht Items aus, die eine hohe Trennschärfe haben?
Itemrichtig- und Falschlöser unterscheiden sich stärker auf der Testskala
28
Formel für Testwert xv eines Testanden v
xv = Summe von i bis m xvi
29
Wie hoch ist die Itemschwierigkeit bei hoher Trennschärfe?
mittel
30
Was sagt es aus, wenn ein Item eine negative Trennschärfe hat?
Item misst das Gegenteil davon, was die Skala misst
31
Welche Formeln kann man zur Berechnung der Trennschärfe nutzen und welche ist einfacher?
Produkt-Moment-Korrelation
punkt-biseriale Korrelation (einfacher)
32
Wann kann man die biseriale Korrelation nutzen?
Rekonstruktion des Zusammenhangs eines künstlich dichotomisierten, n.v. Items
33
Was passiert bei Nutzung der biserialen Korrelationsformel, wenn die Voraussetzungen nicht gegeben sind?
wahrer Zusammenhang wird überschätzt
vor allem bei extremen Itemschwierigkeiten
34
Was bedeutet eine Trennschärfe nahe 0?
Item ist orthogonal dazu, was der Test misst
35
Wie viel macht Dichotomisierung aus? Zusammenhang punkt biserale und biserale Korrelation
x: Itemschwierigkeit
y: rbis/rpbis
bei extrem bis zu 4, in der Mitte 1,25
u-förmig
36
Was passiert wenn man zu stark auf Trennschärfen achtet?
Ähnliche Fragen wiederholen sich
37
Wann nutzt man die Part-Whole-Korrektur
Immer
38
Warum nutzt man die Part-Whole-Korrektur?
um den Einfluss des Items auf die Skala herauszurechnen aus der Korrelation
39
Wie bezeichnet man die Part-Whole-korrigierte Trennschärfe?
rit(i)
40
Wie funktioniert die Part-Whole-Korrektur?
Man rechnet aus den Testwerten aller Pbn das eine Item heraus und korreliert diese Testwerte dann mit dem Item
41
Was ist eine gute Trennschärfe
ab 0,4 (bis 0,7)
42
Wer ist Kubinger
Testtheoretiker aus Wien
43
Was hat Kubinger gesagt:
man sollte nur MC machen, wo > 1 richtig und > 5 Optionen, damit keine Strategien eingesetzt werden können
44
Wie hängen Itemvarianz und Itemschwierigkeit zsm, wo ist das Maximum an Itemvarianz und wie groß ist es
umgedrehtes u
höchste Itemvarianz: 0,25
45
wann ist die Kovarianz/Korrelation zweier Items maximal
wenn niemand das schwerere, aber nicht leichteres Item beantwortet hat
46
Was ist die Formel für die Varianz eines Tests?
Summensatz der Varianzen: Summe aller Itemvarianzen + 2 Summe der Kovarianzen aller Kombinationen (ohne Beachtung der Reihenfolge)
47
Wie stehen die Varianz-Kovarianz Matrix und die Testvarianz zueinander?
Die Testvarianz ist die Summe aller Ausdrücke der Varianz-Kovarianz-Matrix
48
Wie bestimmt man die Kovarianz eines Items mit dem Test?
summe aus der Zeile des interessierenden Items
49
Formel für die maximale Varianz eines Tests (bei vorliegen eines Guttman Simplex)
s^2xmax = Summe(piqi)+2(Summeüber i&j,iungleichj(sijmax))
50
Wann sind Guttman Simplex eher möglich?
wenn nur ein homogenes Konstrukt gemessen wird, wenn Konstrukt simpel z.B. Rechentest
51
Was sind Schwierigkeitsfaktoren
bei Faktorenanalyse korrelieren Items hoch, die ähnlich schwer sind -> das will man nicht
52
Was ist die Lösung für Schwierigkeitsfaktoren
Parcelling => nicht mehr dichotom
53
Wann liegt die maximale Varianz eines Tests vor
wenn Kovarianzen zwischen Items maximal sind -> wenn Guttman-Simplex vorliegt
54
Wie steht die Kovarianz zwischen Item und Test zur Varianz-Kovarianz-Matrix?
Sie ist die Summe der Ausdrücke der zum Item gehörenden Zeile
55
Formel für die Kovarianz zwischen Item und Test
six = piqi + (Summejmitiungleichj sij)
56
Wie ist die Beziehung zwischen Itemschwierigkeit und Varianz bei nicht dichotomen Items?
keine Enge Beziehung
57
Formel für die maximale Kovarianz zwischen Item und Test
sijmax in Formel statt sij
58
Wann wird die Trennschärfe eines Items maximal?
Wenn ein Guttman Simplex vorliegt
59
Wofür nutzt man die Itemhomogenität nach Horst
Das Ausmaß in dem zwei Items das gleiche messen, bereinigt durch den Einfluss ihrer Itemschwierigkeiten
60
Formel für Itemhomogenität nach Horst
Hij = (rij)/(rijmax)
61
Homogenität eines Items in Bezug zum Gesamttest nach Horst
Hit = (rit) / (ritmax)
62
Wie hoch kann die Trennschärfe von einem leichten Item in einem Test mit schweren Items werden?
niedrig
63
Berechnet man oft die Itemhomogenität nach Horst?
Nein, oft schätzt man, was man an Trennschärfe erwarten kann gegeben bestimmte Itemschwierigkeiten
64
Mit welcher Systat Prozedur macht man Auswertungen von Testskalen?
TESTAT
65
Woraus besteht die Skala RZ des IST-2000-R?
20 Items mit Zahlen, wo man Rechenzeichen einsetzen muss
66
Kann man die Trennschärfe bei Rating Skalen Items einfacher interpretieren?
Ja
67
Was ist der Std Err der Test Score statistics?
Standardfehler des Mittelwerts Populationsschätzung
68
Bei Systat nach welcher Methode wird die Split-Half Korrelation berechnet?
Odd-Even
69
Kann man einen Guttman-Simplex an einer Tabelle erkennen?
Nein, nur ausschließen, wenn das Minimum 5 ist, müssen 5 Items von allen gelöst worden sein
70
Warum gibt es fast nie einen Guttman-Simplex? 4
Messfehler
Unterschiedliche Bearbeitungsstrategien der Testanden (Reihenfolge)
Flüchtigkeitsfehler
Raten
71
Wo sieht man in Systat die Itemschwierigkeit?
Mean von Item Reliability Statistics
72
Was bedeutet eine Itemschwierigkeit von 1?
alle haben es gelöst
73
Wie hoch ist die Standardabweichung bei einer Itemschwierigkeit von 1?
0
74
Wo findet man in Systat die Trennschärfe?
Item-Total R
75
Wo findet man die Part-Whole korrigierte Trennschärfe in Systat
Excl Item R
76
Woran erkennt man an zwei Trennschärfen, welche der beiden Part Whole korrigiert ist?
Die kleinere ist korrigiert
77
Woran erkennt man an der Verteilung der Itemschwierigkeiten, ob der Test zu einfach für die Stichprobe war?
Zu einfach, wenn durchschnittliche Itemschwierigkeit > 0,5
78
Was sollte man bei der Itemselektion berücksichtigen? 5
Itemschwierigkeit
Itemvarianz
Trennschärfe
zusätzliche Reliabilität
zusätzliche Validität
79
Welche Dinge muss man berücksichtigen bei der Itemselektion bei nicht dichotomen Items?
Itemvarianz
Trennschärfe
Itemschwierigkeit
80
Warum sollte man die Itemvarianz berücksichtigen bei der Itemselektion?
damit eine gute Differenzierung für den gesamten Bereich möglich ist
81
Was sind akzeptable Itemschwierigkeiten?
.15-.85
unter .10 und über .90 raus
82
Wie sollten Itemschwierigkeiten verteilt sein?
Gleichverteilung, damit alle Fähigkeitsbereiche abgedeckt
außer besonderer Einsatzbereich
83
Zwei Beispiele für Itemselektionen? Hat man dabei ähnliche Ergebnisse?
Gulliksen-Technik
Mittenecker-Ebel selektion
Nein
84
Was ist die Gulliksen Technik?
Methode zur rationalen Itemselektion
85
Bekommt man bei der Mittenecker-Ebel Selektion eine homogene Skala? Was ist die Gefahr?
Ja
bestimmte Aspekte werden nicht mehr berücksichtigt
86
Wie kann man bei Itemselektion Validität maximieren?
Korrelation Item-Kriterium x Itemvarianz auf y-Achse, Trennschärfe x Itemvarianz auf x-Achse, dann Diagonale ziehen ab 0:0 und alles nehmen, was darüber liegt (je nach dem wie viele man haben will)
87
Wofür nutzt man Itemrevision?
Im Rahmen der Itemselektion bei ungeeigneten items die Ursache analysieren und ggf das Item verbessern
88
Was macht man, wenn bei der Itemrevision viele Items abgeändert wurden?
Nochmal Analysestichprobe vorgeben
89
Wann sollte man Itemrevision machen?
Alle paar Jahre, wenn Items schnell veralten
90
Wenn es eine Revision eines Tests gibt, woran erkennt man, ob es große oder kleine Veränderungen gab?
neue Zahl = große Veränderung
91
Wann sollte man eine Distraktorenanalyse machen?
Bei Mehrfachwahlaufgaben
92
Wie kann man eine Distraktorenanalyse machen?
Häufigkeitsverteilung der Antwortalternativen
zusätzlich möglich: Differenzierung nach Gesamtscore der Testanden / anderen Testmerkmalen
93
Wann wird die Trennschärfe negativ?
Wenn Leute mit einem höheren Gesamtscore ein bestimmtes Item eher schlechter beantwortet haben
94
Was sind die Vorteile und Gefahren der Faktorenanalyse zur Itemselektion?
Vorteil: man berücksichtigt nicht nur trennschärfe, man braucht kein Außenkriterum
Gefahr: zu homogen
95
Sind die Ergebnisse ähnlich ob man nach FA oder Trennschärfe selektiert?
Ja
96
Warum gibt es keine Distraktoren bei Persönlichkeitstests?
Exhaustivheit verletzt
97
Wie ermittelt man den Testwert bei Leistungstests in der Regel?
Summe der Richtigantworten
98
Was kann man bei der Testwertermittlung machen, um Raten zu vermeiden?
Anzahl der falschen Antworten mit Gewichtungsfaktor von Gesamtpunktzahl abziehen
99
Ist es sinnvoll, für falsche Antworten Minuspunkte zu vergeben?
Nein, da dann abhängig von Risikofreudigkeit
100
Wie kann man Items für die Testwertermittlung mit einem Gewichtugnsfaktor versehen? Was ist das Problem dabei?
z.B. wenn man FA zur Selektion gemacht hat, Problem: Induktivismus, Gewichtung wäre in anderer Population ggf anders gewesen
101
Ist die Gewichtung von Items sinnvoll?
Selten, wenn dann bei inhaltlich
idR korrelieren Ergebnisse bei sinnvollen Gewichtungen ca. .9
102
Wird häufig eine Ratekorrektur gemacht?
Nein
103
Was ist der Sinn hinter einer Ratekorrektur?
Leute, die lieber keine als eine falsche Antwort geben nicht benachteiligen
104
Formel für die Ratekorrektur
x'v = mR - (mF/(k-1))
k = Anzahl Antwortalternativen
mF = Anzahl falsche Antworten
105
Was ist die Alternative für die Ratekorrektur
In Instruktion darauf hinweisen, dass man raten soll, wenn man Antwort nicht kennt
106
Wie funktioniert die Testwertermittlung bei Persönlichkeitstests?
Summe bzw Mittelwert aller kodierten Itemantworten, vorher richtig polen
107
Wie kann man die Testwerte bei Persönlichkeitstests analysieren?
mit gängigen desktiptiven Methoden: Histogramm, Mittelwert, Streuung, Schiefe, Exzess
108
Wie funktioniert die Gulliksen-Technik?
Graph: x: Trennschärfe x Itemstreuung, y: Itemkriterium Korrelation (=Validität) x Itemstreuung
Dann alle Items abtragen, dann macht man eine Gerade durch, die bei 0:0 anfängt und ändert die Steigung, bis so viele Items nur noch drüber sind wie man selektieren will
109
Wie funktioniert die Mittenecker-Ebel Selektion?
Graph mit:
x: Itemschwierigkeit
y; Trennschärfe
Dann schneidet man extreme Itemschwierigkeiten ganz ab und zieht dann sowas wie n.v. durch den Rest und verschiebt die nach oben, bis nur noch die gewünschte Anzahl an Items über der Gerade liegen
