XBlock 3 Flashcards
Welche Kenntnisse kann man auf dichotom kodierte Items anwenden?
bernoulliesche Zufallsvariablen
Wie kommt man auf die Itemschwierigkeit p?
Anteil der Itemrichtiglöser an der Gesamtzahl der Pbn
Sind dichotome Items schlechter als Ratingskalen?
Nein, wegen Antworttendenzen sind Antworten bei mehr Optionen verzerrt
Wann verhält sich die Testskala binomial? Beispiel dafür
wenn alle Items die gleiche Itemschwierigkeit haben, z.B. bei Raten
Formel für die Varianz eines Items
pq
Form der Beziehung Itemschwierigkeit und Itemvarianz?
umgekehrt u-förmig
Was bildet p bei Speedtests ab?
Schwierigkeit und Position
Wie sind die Itemvarianzen durch Gespeededheit verändert?
hinten mehr Varianz als wahr
Von wem und wann ist die modifizierte Berechnungsformel für Speedtests?
Lienert & Raatz 1998
Modifizierte Berechnungsformel für Speedtests
Itemschwierigkeit = Richtig beantwortet / richtig beantwortet + falsch + ausgelassen (übersprungen)
-> Leute, die es unbearbeitet haben, werden nicht berücksichtigt
Ratekorrektur Formel
p = nR - (nF/(k-1))/n
Folgen der Ratekorrektur, wenn nicht alle Alternativen gleich attraktiv
negative Itemschwierigkeiten möglich -> Interpretation: Aufgabe ist schwieriger als sie aussieht/ermutigt zu falschen Lösungen
Itemschwierigkeit bei nicht dichotomen Items Formel
pi = (Summe(v=1 bis n) xvi)/n(k-1)
x = Antwort auf dem Item (zwischen 0 und was auch immer)
k = Anzahl Antwortstufen
Wann entfallen die unschönen Effekte von Itemschwierigkeit auf Korrelationen?
Bei nicht-dichotomen Items
Gibt es bei Boden- und Deckeneffekten viel Varianz?
Nein
Was sind extreme Itemschwierigkeiten?
< 0,2 oder > 0,8
Problem mit Itemschwierigkeit bei dichotomen Items Folgen
Man kann einige Operationen (z.B. Faktorenanalyse) nicht durchführen, ohne dass man vorher was gemacht hat
Mit welcher Formel kann man die Korrelation zwischen zwei Items ermitteln?
punkt-tetrachorische Korrelationsformel
Worauf basiert die punkt-tetrachorische Korrelationsformel
Vierfeldertafel: ein Item i horizontal, ein Item j vertikal, jeweils 0 und 1 -> pij (1, 1)
Andere Bezeichnungen für punkt-tetrachorische Korrelationsformel 2
Phi-Koeffizient
Vierfelderkoeffizient
Generelle Korrelationsformel
Korrelation = Kovarianz / (Streuungi x Streuungj)
Was ist der Erwartungswert der Bernoulliechen Zufallsvariable?
Trefferwahrscheinlichkeit
Wie kommt man auf die Formel für die punkt-tetrachorische Korrelationsformel?
Umstellung der Produkt-Moment Korrelationsformel
Kovarianz von 2 Items
sij = 1/n x (SummePersonkbisn(xkyk-(meanx x meany)
x & y ist 0 oder 1
sij = pij - pi x pj
Namen Korrelation ehemals n.v. dichotomisierter Variablen 2
tetrachorische Korrelation
Cosinus-Phi-Formel
Was ist die Trennschärfe?
Korrelation eines Items mit der Skala, zu der es gehört
Was macht Items aus, die eine hohe Trennschärfe haben?
Itemrichtig- und Falschlöser unterscheiden sich stärker auf der Testskala
Formel für Testwert xv eines Testanden v
xv = Summe von i bis m xvi
Wie hoch ist die Itemschwierigkeit bei hoher Trennschärfe?
mittel
Was sagt es aus, wenn ein Item eine negative Trennschärfe hat?
Item misst das Gegenteil davon, was die Skala misst
Welche Formeln kann man zur Berechnung der Trennschärfe nutzen und welche ist einfacher?
Produkt-Moment-Korrelation
punkt-biseriale Korrelation (einfacher)
Wann kann man die biseriale Korrelation nutzen?
Rekonstruktion des Zusammenhangs eines künstlich dichotomisierten, n.v. Items
Was passiert bei Nutzung der biserialen Korrelationsformel, wenn die Voraussetzungen nicht gegeben sind?
wahrer Zusammenhang wird überschätzt
vor allem bei extremen Itemschwierigkeiten
Was bedeutet eine Trennschärfe nahe 0?
Item ist orthogonal dazu, was der Test misst
Wie viel macht Dichotomisierung aus? Zusammenhang punkt biserale und biserale Korrelation
x: Itemschwierigkeit
y: rbis/rpbis
bei extrem bis zu 4, in der Mitte 1,25
u-förmig
Was passiert wenn man zu stark auf Trennschärfen achtet?
Ähnliche Fragen wiederholen sich
Wann nutzt man die Part-Whole-Korrektur
Immer
Warum nutzt man die Part-Whole-Korrektur?
um den Einfluss des Items auf die Skala herauszurechnen aus der Korrelation
Wie bezeichnet man die Part-Whole-korrigierte Trennschärfe?
rit(i)
Wie funktioniert die Part-Whole-Korrektur?
Man rechnet aus den Testwerten aller Pbn das eine Item heraus und korreliert diese Testwerte dann mit dem Item
Was ist eine gute Trennschärfe
ab 0,4 (bis 0,7)
Wer ist Kubinger
Testtheoretiker aus Wien
Was hat Kubinger gesagt:
man sollte nur MC machen, wo > 1 richtig und > 5 Optionen, damit keine Strategien eingesetzt werden können
Wie hängen Itemvarianz und Itemschwierigkeit zsm, wo ist das Maximum an Itemvarianz und wie groß ist es
umgedrehtes u
höchste Itemvarianz: 0,25
wann ist die Kovarianz/Korrelation zweier Items maximal
wenn niemand das schwerere, aber nicht leichteres Item beantwortet hat
Was ist die Formel für die Varianz eines Tests?
Summensatz der Varianzen: Summe aller Itemvarianzen + 2 Summe der Kovarianzen aller Kombinationen (ohne Beachtung der Reihenfolge)
Wie stehen die Varianz-Kovarianz Matrix und die Testvarianz zueinander?
Die Testvarianz ist die Summe aller Ausdrücke der Varianz-Kovarianz-Matrix
Wie bestimmt man die Kovarianz eines Items mit dem Test?
summe aus der Zeile des interessierenden Items
Formel für die maximale Varianz eines Tests (bei vorliegen eines Guttman Simplex)
s^2xmax = Summe(piqi)+2(Summeüber i&j,iungleichj(sijmax))
Wann sind Guttman Simplex eher möglich?
wenn nur ein homogenes Konstrukt gemessen wird, wenn Konstrukt simpel z.B. Rechentest
Was sind Schwierigkeitsfaktoren
bei Faktorenanalyse korrelieren Items hoch, die ähnlich schwer sind -> das will man nicht
Was ist die Lösung für Schwierigkeitsfaktoren
Parcelling => nicht mehr dichotom
Wann liegt die maximale Varianz eines Tests vor
wenn Kovarianzen zwischen Items maximal sind -> wenn Guttman-Simplex vorliegt
Wie steht die Kovarianz zwischen Item und Test zur Varianz-Kovarianz-Matrix?
Sie ist die Summe der Ausdrücke der zum Item gehörenden Zeile
Formel für die Kovarianz zwischen Item und Test
six = piqi + (Summejmitiungleichj sij)
Wie ist die Beziehung zwischen Itemschwierigkeit und Varianz bei nicht dichotomen Items?
keine Enge Beziehung
Formel für die maximale Kovarianz zwischen Item und Test
sijmax in Formel statt sij
Wann wird die Trennschärfe eines Items maximal?
Wenn ein Guttman Simplex vorliegt
Wofür nutzt man die Itemhomogenität nach Horst
Das Ausmaß in dem zwei Items das gleiche messen, bereinigt durch den Einfluss ihrer Itemschwierigkeiten
Formel für Itemhomogenität nach Horst
Hij = (rij)/(rijmax)
Homogenität eines Items in Bezug zum Gesamttest nach Horst
Hit = (rit) / (ritmax)
Wie hoch kann die Trennschärfe von einem leichten Item in einem Test mit schweren Items werden?
niedrig
Berechnet man oft die Itemhomogenität nach Horst?
Nein, oft schätzt man, was man an Trennschärfe erwarten kann gegeben bestimmte Itemschwierigkeiten
Mit welcher Systat Prozedur macht man Auswertungen von Testskalen?
TESTAT
Woraus besteht die Skala RZ des IST-2000-R?
20 Items mit Zahlen, wo man Rechenzeichen einsetzen muss
Kann man die Trennschärfe bei Rating Skalen Items einfacher interpretieren?
Ja
Was ist der Std Err der Test Score statistics?
Standardfehler des Mittelwerts Populationsschätzung
Bei Systat nach welcher Methode wird die Split-Half Korrelation berechnet?
Odd-Even
Kann man einen Guttman-Simplex an einer Tabelle erkennen?
Nein, nur ausschließen, wenn das Minimum 5 ist, müssen 5 Items von allen gelöst worden sein
Warum gibt es fast nie einen Guttman-Simplex? 4
Messfehler
Unterschiedliche Bearbeitungsstrategien der Testanden (Reihenfolge)
Flüchtigkeitsfehler
Raten
Wo sieht man in Systat die Itemschwierigkeit?
Mean von Item Reliability Statistics
Was bedeutet eine Itemschwierigkeit von 1?
alle haben es gelöst
Wie hoch ist die Standardabweichung bei einer Itemschwierigkeit von 1?
0
Wo findet man in Systat die Trennschärfe?
Item-Total R
Wo findet man die Part-Whole korrigierte Trennschärfe in Systat
Excl Item R
Woran erkennt man an zwei Trennschärfen, welche der beiden Part Whole korrigiert ist?
Die kleinere ist korrigiert
Woran erkennt man an der Verteilung der Itemschwierigkeiten, ob der Test zu einfach für die Stichprobe war?
Zu einfach, wenn durchschnittliche Itemschwierigkeit > 0,5
Was sollte man bei der Itemselektion berücksichtigen? 5
Itemschwierigkeit
Itemvarianz
Trennschärfe
zusätzliche Reliabilität
zusätzliche Validität
Welche Dinge muss man berücksichtigen bei der Itemselektion bei nicht dichotomen Items?
Itemvarianz
Trennschärfe
Itemschwierigkeit
Warum sollte man die Itemvarianz berücksichtigen bei der Itemselektion?
damit eine gute Differenzierung für den gesamten Bereich möglich ist
Was sind akzeptable Itemschwierigkeiten?
.15-.85
unter .10 und über .90 raus
Wie sollten Itemschwierigkeiten verteilt sein?
Gleichverteilung, damit alle Fähigkeitsbereiche abgedeckt
außer besonderer Einsatzbereich
Zwei Beispiele für Itemselektionen? Hat man dabei ähnliche Ergebnisse?
Gulliksen-Technik
Mittenecker-Ebel selektion
Nein
Was ist die Gulliksen Technik?
Methode zur rationalen Itemselektion
Bekommt man bei der Mittenecker-Ebel Selektion eine homogene Skala? Was ist die Gefahr?
Ja
bestimmte Aspekte werden nicht mehr berücksichtigt
Wie kann man bei Itemselektion Validität maximieren?
Korrelation Item-Kriterium x Itemvarianz auf y-Achse, Trennschärfe x Itemvarianz auf x-Achse, dann Diagonale ziehen ab 0:0 und alles nehmen, was darüber liegt (je nach dem wie viele man haben will)
Wofür nutzt man Itemrevision?
Im Rahmen der Itemselektion bei ungeeigneten items die Ursache analysieren und ggf das Item verbessern
Was macht man, wenn bei der Itemrevision viele Items abgeändert wurden?
Nochmal Analysestichprobe vorgeben
Wann sollte man Itemrevision machen?
Alle paar Jahre, wenn Items schnell veralten
Wenn es eine Revision eines Tests gibt, woran erkennt man, ob es große oder kleine Veränderungen gab?
neue Zahl = große Veränderung
Wann sollte man eine Distraktorenanalyse machen?
Bei Mehrfachwahlaufgaben
Wie kann man eine Distraktorenanalyse machen?
Häufigkeitsverteilung der Antwortalternativen
zusätzlich möglich: Differenzierung nach Gesamtscore der Testanden / anderen Testmerkmalen
Wann wird die Trennschärfe negativ?
Wenn Leute mit einem höheren Gesamtscore ein bestimmtes Item eher schlechter beantwortet haben
Was sind die Vorteile und Gefahren der Faktorenanalyse zur Itemselektion?
Vorteil: man berücksichtigt nicht nur trennschärfe, man braucht kein Außenkriterum
Gefahr: zu homogen
Sind die Ergebnisse ähnlich ob man nach FA oder Trennschärfe selektiert?
Ja
Warum gibt es keine Distraktoren bei Persönlichkeitstests?
Exhaustivheit verletzt
Wie ermittelt man den Testwert bei Leistungstests in der Regel?
Summe der Richtigantworten
Was kann man bei der Testwertermittlung machen, um Raten zu vermeiden?
Anzahl der falschen Antworten mit Gewichtungsfaktor von Gesamtpunktzahl abziehen
Ist es sinnvoll, für falsche Antworten Minuspunkte zu vergeben?
Nein, da dann abhängig von Risikofreudigkeit
Wie kann man Items für die Testwertermittlung mit einem Gewichtugnsfaktor versehen? Was ist das Problem dabei?
z.B. wenn man FA zur Selektion gemacht hat, Problem: Induktivismus, Gewichtung wäre in anderer Population ggf anders gewesen
Ist die Gewichtung von Items sinnvoll?
Selten, wenn dann bei inhaltlich
idR korrelieren Ergebnisse bei sinnvollen Gewichtungen ca. .9
Wird häufig eine Ratekorrektur gemacht?
Nein
Was ist der Sinn hinter einer Ratekorrektur?
Leute, die lieber keine als eine falsche Antwort geben nicht benachteiligen
Formel für die Ratekorrektur
x’v = mR - (mF/(k-1))
k = Anzahl Antwortalternativen
mF = Anzahl falsche Antworten
Was ist die Alternative für die Ratekorrektur
In Instruktion darauf hinweisen, dass man raten soll, wenn man Antwort nicht kennt
Wie funktioniert die Testwertermittlung bei Persönlichkeitstests?
Summe bzw Mittelwert aller kodierten Itemantworten, vorher richtig polen
Wie kann man die Testwerte bei Persönlichkeitstests analysieren?
mit gängigen desktiptiven Methoden: Histogramm, Mittelwert, Streuung, Schiefe, Exzess
Wie funktioniert die Gulliksen-Technik?
Graph: x: Trennschärfe x Itemstreuung, y: Itemkriterium Korrelation (=Validität) x Itemstreuung
Dann alle Items abtragen, dann macht man eine Gerade durch, die bei 0:0 anfängt und ändert die Steigung, bis so viele Items nur noch drüber sind wie man selektieren will
Wie funktioniert die Mittenecker-Ebel Selektion?
Graph mit:
x: Itemschwierigkeit
y; Trennschärfe
Dann schneidet man extreme Itemschwierigkeiten ganz ab und zieht dann sowas wie n.v. durch den Rest und verschiebt die nach oben, bis nur noch die gewünschte Anzahl an Items über der Gerade liegen
