XBlock 3 Flashcards

1
Q

Welche Kenntnisse kann man auf dichotom kodierte Items anwenden?

A

bernoulliesche Zufallsvariablen

How well did you know this?
1
Not at all
2
3
4
5
Perfectly
2
Q

Wie kommt man auf die Itemschwierigkeit p?

A

Anteil der Itemrichtiglöser an der Gesamtzahl der Pbn

How well did you know this?
1
Not at all
2
3
4
5
Perfectly
3
Q

Sind dichotome Items schlechter als Ratingskalen?

A

Nein, wegen Antworttendenzen sind Antworten bei mehr Optionen verzerrt

How well did you know this?
1
Not at all
2
3
4
5
Perfectly
4
Q

Wann verhält sich die Testskala binomial? Beispiel dafür

A

wenn alle Items die gleiche Itemschwierigkeit haben, z.B. bei Raten

How well did you know this?
1
Not at all
2
3
4
5
Perfectly
5
Q

Formel für die Varianz eines Items

A

pq

How well did you know this?
1
Not at all
2
3
4
5
Perfectly
6
Q

Form der Beziehung Itemschwierigkeit und Itemvarianz?

A

umgekehrt u-förmig

How well did you know this?
1
Not at all
2
3
4
5
Perfectly
7
Q

Was bildet p bei Speedtests ab?

A

Schwierigkeit und Position

How well did you know this?
1
Not at all
2
3
4
5
Perfectly
8
Q

Wie sind die Itemvarianzen durch Gespeededheit verändert?

A

hinten mehr Varianz als wahr

How well did you know this?
1
Not at all
2
3
4
5
Perfectly
9
Q

Von wem und wann ist die modifizierte Berechnungsformel für Speedtests?

A

Lienert & Raatz 1998

How well did you know this?
1
Not at all
2
3
4
5
Perfectly
10
Q

Modifizierte Berechnungsformel für Speedtests

A

Itemschwierigkeit = Richtig beantwortet / richtig beantwortet + falsch + ausgelassen (übersprungen)
-> Leute, die es unbearbeitet haben, werden nicht berücksichtigt

How well did you know this?
1
Not at all
2
3
4
5
Perfectly
11
Q

Ratekorrektur Formel

A

p = nR - (nF/(k-1))/n

How well did you know this?
1
Not at all
2
3
4
5
Perfectly
12
Q

Folgen der Ratekorrektur, wenn nicht alle Alternativen gleich attraktiv

A

negative Itemschwierigkeiten möglich -> Interpretation: Aufgabe ist schwieriger als sie aussieht/ermutigt zu falschen Lösungen

How well did you know this?
1
Not at all
2
3
4
5
Perfectly
13
Q

Itemschwierigkeit bei nicht dichotomen Items Formel

A

pi = (Summe(v=1 bis n) xvi)/n(k-1)
x = Antwort auf dem Item (zwischen 0 und was auch immer)
k = Anzahl Antwortstufen

How well did you know this?
1
Not at all
2
3
4
5
Perfectly
14
Q

Wann entfallen die unschönen Effekte von Itemschwierigkeit auf Korrelationen?

A

Bei nicht-dichotomen Items

How well did you know this?
1
Not at all
2
3
4
5
Perfectly
15
Q

Gibt es bei Boden- und Deckeneffekten viel Varianz?

A

Nein

How well did you know this?
1
Not at all
2
3
4
5
Perfectly
16
Q

Was sind extreme Itemschwierigkeiten?

A

< 0,2 oder > 0,8

How well did you know this?
1
Not at all
2
3
4
5
Perfectly
17
Q

Problem mit Itemschwierigkeit bei dichotomen Items Folgen

A

Man kann einige Operationen (z.B. Faktorenanalyse) nicht durchführen, ohne dass man vorher was gemacht hat

How well did you know this?
1
Not at all
2
3
4
5
Perfectly
18
Q

Mit welcher Formel kann man die Korrelation zwischen zwei Items ermitteln?

A

punkt-tetrachorische Korrelationsformel

How well did you know this?
1
Not at all
2
3
4
5
Perfectly
19
Q

Worauf basiert die punkt-tetrachorische Korrelationsformel

A

Vierfeldertafel: ein Item i horizontal, ein Item j vertikal, jeweils 0 und 1 -> pij (1, 1)

How well did you know this?
1
Not at all
2
3
4
5
Perfectly
20
Q

Andere Bezeichnungen für punkt-tetrachorische Korrelationsformel 2

A

Phi-Koeffizient
Vierfelderkoeffizient

How well did you know this?
1
Not at all
2
3
4
5
Perfectly
21
Q

Generelle Korrelationsformel

A

Korrelation = Kovarianz / (Streuungi x Streuungj)

How well did you know this?
1
Not at all
2
3
4
5
Perfectly
22
Q

Was ist der Erwartungswert der Bernoulliechen Zufallsvariable?

A

Trefferwahrscheinlichkeit

How well did you know this?
1
Not at all
2
3
4
5
Perfectly
23
Q

Wie kommt man auf die Formel für die punkt-tetrachorische Korrelationsformel?

A

Umstellung der Produkt-Moment Korrelationsformel

How well did you know this?
1
Not at all
2
3
4
5
Perfectly
24
Q

Kovarianz von 2 Items

A

sij = 1/n x (SummePersonkbisn(xkyk-(meanx x meany)
x & y ist 0 oder 1
sij = pij - pi x pj

How well did you know this?
1
Not at all
2
3
4
5
Perfectly
25
Q

Namen Korrelation ehemals n.v. dichotomisierter Variablen 2

A

tetrachorische Korrelation
Cosinus-Phi-Formel

How well did you know this?
1
Not at all
2
3
4
5
Perfectly
26
Q

Was ist die Trennschärfe?

A

Korrelation eines Items mit der Skala, zu der es gehört

How well did you know this?
1
Not at all
2
3
4
5
Perfectly
27
Q

Was macht Items aus, die eine hohe Trennschärfe haben?

A

Itemrichtig- und Falschlöser unterscheiden sich stärker auf der Testskala

How well did you know this?
1
Not at all
2
3
4
5
Perfectly
28
Q

Formel für Testwert xv eines Testanden v

A

xv = Summe von i bis m xvi

How well did you know this?
1
Not at all
2
3
4
5
Perfectly
29
Q

Wie hoch ist die Itemschwierigkeit bei hoher Trennschärfe?

A

mittel

How well did you know this?
1
Not at all
2
3
4
5
Perfectly
30
Q

Was sagt es aus, wenn ein Item eine negative Trennschärfe hat?

A

Item misst das Gegenteil davon, was die Skala misst

How well did you know this?
1
Not at all
2
3
4
5
Perfectly
31
Q

Welche Formeln kann man zur Berechnung der Trennschärfe nutzen und welche ist einfacher?

A

Produkt-Moment-Korrelation
punkt-biseriale Korrelation (einfacher)

How well did you know this?
1
Not at all
2
3
4
5
Perfectly
32
Q

Wann kann man die biseriale Korrelation nutzen?

A

Rekonstruktion des Zusammenhangs eines künstlich dichotomisierten, n.v. Items

How well did you know this?
1
Not at all
2
3
4
5
Perfectly
33
Q

Was passiert bei Nutzung der biserialen Korrelationsformel, wenn die Voraussetzungen nicht gegeben sind?

A

wahrer Zusammenhang wird überschätzt
vor allem bei extremen Itemschwierigkeiten

How well did you know this?
1
Not at all
2
3
4
5
Perfectly
34
Q

Was bedeutet eine Trennschärfe nahe 0?

A

Item ist orthogonal dazu, was der Test misst

How well did you know this?
1
Not at all
2
3
4
5
Perfectly
35
Q

Wie viel macht Dichotomisierung aus? Zusammenhang punkt biserale und biserale Korrelation

A

x: Itemschwierigkeit
y: rbis/rpbis
bei extrem bis zu 4, in der Mitte 1,25
u-förmig

How well did you know this?
1
Not at all
2
3
4
5
Perfectly
36
Q

Was passiert wenn man zu stark auf Trennschärfen achtet?

A

Ähnliche Fragen wiederholen sich

How well did you know this?
1
Not at all
2
3
4
5
Perfectly
37
Q

Wann nutzt man die Part-Whole-Korrektur

A

Immer

How well did you know this?
1
Not at all
2
3
4
5
Perfectly
38
Q

Warum nutzt man die Part-Whole-Korrektur?

A

um den Einfluss des Items auf die Skala herauszurechnen aus der Korrelation

How well did you know this?
1
Not at all
2
3
4
5
Perfectly
39
Q

Wie bezeichnet man die Part-Whole-korrigierte Trennschärfe?

A

rit(i)

How well did you know this?
1
Not at all
2
3
4
5
Perfectly
40
Q

Wie funktioniert die Part-Whole-Korrektur?

A

Man rechnet aus den Testwerten aller Pbn das eine Item heraus und korreliert diese Testwerte dann mit dem Item

How well did you know this?
1
Not at all
2
3
4
5
Perfectly
41
Q

Was ist eine gute Trennschärfe

A

ab 0,4 (bis 0,7)

How well did you know this?
1
Not at all
2
3
4
5
Perfectly
42
Q

Wer ist Kubinger

A

Testtheoretiker aus Wien

How well did you know this?
1
Not at all
2
3
4
5
Perfectly
43
Q

Was hat Kubinger gesagt:

A

man sollte nur MC machen, wo > 1 richtig und > 5 Optionen, damit keine Strategien eingesetzt werden können

How well did you know this?
1
Not at all
2
3
4
5
Perfectly
44
Q

Wie hängen Itemvarianz und Itemschwierigkeit zsm, wo ist das Maximum an Itemvarianz und wie groß ist es

A

umgedrehtes u
höchste Itemvarianz: 0,25

45
Q

wann ist die Kovarianz/Korrelation zweier Items maximal

A

wenn niemand das schwerere, aber nicht leichteres Item beantwortet hat

46
Q

Was ist die Formel für die Varianz eines Tests?

A

Summensatz der Varianzen: Summe aller Itemvarianzen + 2 Summe der Kovarianzen aller Kombinationen (ohne Beachtung der Reihenfolge)

47
Q

Wie stehen die Varianz-Kovarianz Matrix und die Testvarianz zueinander?

A

Die Testvarianz ist die Summe aller Ausdrücke der Varianz-Kovarianz-Matrix

48
Q

Wie bestimmt man die Kovarianz eines Items mit dem Test?

A

summe aus der Zeile des interessierenden Items

49
Q

Formel für die maximale Varianz eines Tests (bei vorliegen eines Guttman Simplex)

A

s^2xmax = Summe(piqi)+2(Summeüber i&j,iungleichj(sijmax))

50
Q

Wann sind Guttman Simplex eher möglich?

A

wenn nur ein homogenes Konstrukt gemessen wird, wenn Konstrukt simpel z.B. Rechentest

51
Q

Was sind Schwierigkeitsfaktoren

A

bei Faktorenanalyse korrelieren Items hoch, die ähnlich schwer sind -> das will man nicht

52
Q

Was ist die Lösung für Schwierigkeitsfaktoren

A

Parcelling => nicht mehr dichotom

53
Q

Wann liegt die maximale Varianz eines Tests vor

A

wenn Kovarianzen zwischen Items maximal sind -> wenn Guttman-Simplex vorliegt

54
Q

Wie steht die Kovarianz zwischen Item und Test zur Varianz-Kovarianz-Matrix?

A

Sie ist die Summe der Ausdrücke der zum Item gehörenden Zeile

55
Q

Formel für die Kovarianz zwischen Item und Test

A

six = piqi + (Summejmitiungleichj sij)

56
Q

Wie ist die Beziehung zwischen Itemschwierigkeit und Varianz bei nicht dichotomen Items?

A

keine Enge Beziehung

57
Q

Formel für die maximale Kovarianz zwischen Item und Test

A

sijmax in Formel statt sij

58
Q

Wann wird die Trennschärfe eines Items maximal?

A

Wenn ein Guttman Simplex vorliegt

59
Q

Wofür nutzt man die Itemhomogenität nach Horst

A

Das Ausmaß in dem zwei Items das gleiche messen, bereinigt durch den Einfluss ihrer Itemschwierigkeiten

60
Q

Formel für Itemhomogenität nach Horst

A

Hij = (rij)/(rijmax)

61
Q

Homogenität eines Items in Bezug zum Gesamttest nach Horst

A

Hit = (rit) / (ritmax)

62
Q

Wie hoch kann die Trennschärfe von einem leichten Item in einem Test mit schweren Items werden?

A

niedrig

63
Q

Berechnet man oft die Itemhomogenität nach Horst?

A

Nein, oft schätzt man, was man an Trennschärfe erwarten kann gegeben bestimmte Itemschwierigkeiten

64
Q

Mit welcher Systat Prozedur macht man Auswertungen von Testskalen?

A

TESTAT

65
Q

Woraus besteht die Skala RZ des IST-2000-R?

A

20 Items mit Zahlen, wo man Rechenzeichen einsetzen muss

66
Q

Kann man die Trennschärfe bei Rating Skalen Items einfacher interpretieren?

A

Ja

67
Q

Was ist der Std Err der Test Score statistics?

A

Standardfehler des Mittelwerts Populationsschätzung

68
Q

Bei Systat nach welcher Methode wird die Split-Half Korrelation berechnet?

A

Odd-Even

69
Q

Kann man einen Guttman-Simplex an einer Tabelle erkennen?

A

Nein, nur ausschließen, wenn das Minimum 5 ist, müssen 5 Items von allen gelöst worden sein

70
Q

Warum gibt es fast nie einen Guttman-Simplex? 4

A

Messfehler
Unterschiedliche Bearbeitungsstrategien der Testanden (Reihenfolge)
Flüchtigkeitsfehler
Raten

71
Q

Wo sieht man in Systat die Itemschwierigkeit?

A

Mean von Item Reliability Statistics

72
Q

Was bedeutet eine Itemschwierigkeit von 1?

A

alle haben es gelöst

73
Q

Wie hoch ist die Standardabweichung bei einer Itemschwierigkeit von 1?

A

0

74
Q

Wo findet man in Systat die Trennschärfe?

A

Item-Total R

75
Q

Wo findet man die Part-Whole korrigierte Trennschärfe in Systat

A

Excl Item R

76
Q

Woran erkennt man an zwei Trennschärfen, welche der beiden Part Whole korrigiert ist?

A

Die kleinere ist korrigiert

77
Q

Woran erkennt man an der Verteilung der Itemschwierigkeiten, ob der Test zu einfach für die Stichprobe war?

A

Zu einfach, wenn durchschnittliche Itemschwierigkeit > 0,5

78
Q

Was sollte man bei der Itemselektion berücksichtigen? 5

A

Itemschwierigkeit
Itemvarianz
Trennschärfe
zusätzliche Reliabilität
zusätzliche Validität

79
Q

Welche Dinge muss man berücksichtigen bei der Itemselektion bei nicht dichotomen Items?

A

Itemvarianz
Trennschärfe
Itemschwierigkeit

80
Q

Warum sollte man die Itemvarianz berücksichtigen bei der Itemselektion?

A

damit eine gute Differenzierung für den gesamten Bereich möglich ist

81
Q

Was sind akzeptable Itemschwierigkeiten?

A

.15-.85
unter .10 und über .90 raus

82
Q

Wie sollten Itemschwierigkeiten verteilt sein?

A

Gleichverteilung, damit alle Fähigkeitsbereiche abgedeckt
außer besonderer Einsatzbereich

83
Q

Zwei Beispiele für Itemselektionen? Hat man dabei ähnliche Ergebnisse?

A

Gulliksen-Technik
Mittenecker-Ebel selektion
Nein

84
Q

Was ist die Gulliksen Technik?

A

Methode zur rationalen Itemselektion

85
Q

Bekommt man bei der Mittenecker-Ebel Selektion eine homogene Skala? Was ist die Gefahr?

A

Ja
bestimmte Aspekte werden nicht mehr berücksichtigt

86
Q

Wie kann man bei Itemselektion Validität maximieren?

A

Korrelation Item-Kriterium x Itemvarianz auf y-Achse, Trennschärfe x Itemvarianz auf x-Achse, dann Diagonale ziehen ab 0:0 und alles nehmen, was darüber liegt (je nach dem wie viele man haben will)

87
Q

Wofür nutzt man Itemrevision?

A

Im Rahmen der Itemselektion bei ungeeigneten items die Ursache analysieren und ggf das Item verbessern

88
Q

Was macht man, wenn bei der Itemrevision viele Items abgeändert wurden?

A

Nochmal Analysestichprobe vorgeben

89
Q

Wann sollte man Itemrevision machen?

A

Alle paar Jahre, wenn Items schnell veralten

90
Q

Wenn es eine Revision eines Tests gibt, woran erkennt man, ob es große oder kleine Veränderungen gab?

A

neue Zahl = große Veränderung

91
Q

Wann sollte man eine Distraktorenanalyse machen?

A

Bei Mehrfachwahlaufgaben

92
Q

Wie kann man eine Distraktorenanalyse machen?

A

Häufigkeitsverteilung der Antwortalternativen
zusätzlich möglich: Differenzierung nach Gesamtscore der Testanden / anderen Testmerkmalen

93
Q

Wann wird die Trennschärfe negativ?

A

Wenn Leute mit einem höheren Gesamtscore ein bestimmtes Item eher schlechter beantwortet haben

94
Q

Was sind die Vorteile und Gefahren der Faktorenanalyse zur Itemselektion?

A

Vorteil: man berücksichtigt nicht nur trennschärfe, man braucht kein Außenkriterum
Gefahr: zu homogen

95
Q

Sind die Ergebnisse ähnlich ob man nach FA oder Trennschärfe selektiert?

A

Ja

96
Q

Warum gibt es keine Distraktoren bei Persönlichkeitstests?

A

Exhaustivheit verletzt

97
Q

Wie ermittelt man den Testwert bei Leistungstests in der Regel?

A

Summe der Richtigantworten

98
Q

Was kann man bei der Testwertermittlung machen, um Raten zu vermeiden?

A

Anzahl der falschen Antworten mit Gewichtungsfaktor von Gesamtpunktzahl abziehen

99
Q

Ist es sinnvoll, für falsche Antworten Minuspunkte zu vergeben?

A

Nein, da dann abhängig von Risikofreudigkeit

100
Q

Wie kann man Items für die Testwertermittlung mit einem Gewichtugnsfaktor versehen? Was ist das Problem dabei?

A

z.B. wenn man FA zur Selektion gemacht hat, Problem: Induktivismus, Gewichtung wäre in anderer Population ggf anders gewesen

101
Q

Ist die Gewichtung von Items sinnvoll?

A

Selten, wenn dann bei inhaltlich
idR korrelieren Ergebnisse bei sinnvollen Gewichtungen ca. .9

102
Q

Wird häufig eine Ratekorrektur gemacht?

A

Nein

103
Q

Was ist der Sinn hinter einer Ratekorrektur?

A

Leute, die lieber keine als eine falsche Antwort geben nicht benachteiligen

104
Q

Formel für die Ratekorrektur

A

x’v = mR - (mF/(k-1))
k = Anzahl Antwortalternativen
mF = Anzahl falsche Antworten

105
Q

Was ist die Alternative für die Ratekorrektur

A

In Instruktion darauf hinweisen, dass man raten soll, wenn man Antwort nicht kennt

106
Q

Wie funktioniert die Testwertermittlung bei Persönlichkeitstests?

A

Summe bzw Mittelwert aller kodierten Itemantworten, vorher richtig polen

107
Q

Wie kann man die Testwerte bei Persönlichkeitstests analysieren?

A

mit gängigen desktiptiven Methoden: Histogramm, Mittelwert, Streuung, Schiefe, Exzess

108
Q

Wie funktioniert die Gulliksen-Technik?

A

Graph: x: Trennschärfe x Itemstreuung, y: Itemkriterium Korrelation (=Validität) x Itemstreuung
Dann alle Items abtragen, dann macht man eine Gerade durch, die bei 0:0 anfängt und ändert die Steigung, bis so viele Items nur noch drüber sind wie man selektieren will

109
Q

Wie funktioniert die Mittenecker-Ebel Selektion?

A

Graph mit:
x: Itemschwierigkeit
y; Trennschärfe
Dann schneidet man extreme Itemschwierigkeiten ganz ab und zieht dann sowas wie n.v. durch den Rest und verschiebt die nach oben, bis nur noch die gewünschte Anzahl an Items über der Gerade liegen