4. VL Testkonstruktion III: Itemformulierung und Itemkonstruktion I: Schwierigkeitsindex und Itemvarianz Flashcards
Nenne die 5 Kriterien zur Itemformulierung.
- Sprachliche Formulierung
- Sprachliche Verständlichkeit
- Schwierigkeit der Items
- Eindeutigkeit des Inhalts
- Eindeutigkeit hinsichtlich des Konstruktes
- Sprachliche Formulierung: Nenne die 5 Kategorien
- indirekte > direkte Frage
- tatsächlicher > hypothetischer Sachverhalt
- konkrete / abstrakte Frage (konkrete sind leider situationsabhängig dafür führen abstrakte zu Fehleinschätzungen)
- personalisiert > depersonalisiert
- Stimulusqualität (Extremität, Suggestion, Wertung ect.) & Aktualität
- Sprachliche Verständlichkeit: Nenne die 6 Grundsätze
- Zu komplizierte oder umständliche Satzkonstruktionen vermeiden
- Möglichst kurz, aber präzise
- Verneinungen (&Doppelverneinungen) vermeiden
- Intensitäts- und Häufigkeitsangaben vermeiden
- Wichtiges Fettdrucken, Unterstreichen oder Ähnliches
- Fachbegriffe & Akronyme möglichst vermeiden
- Schwierigkeit der Items: Beschreibe
Wichtig: Um Unterschiede in Ausprägungen eines Merkmals zu messen, benötigt es Varianz im Antwortverhalten. Daher sind zu extrem formulierte Items ungeeignet, aber auch solchen, die von allen verneint oder bejaht werden können.
Ausnahme: selten auftretendes Merkmal
- Eindeutigkeit des Inhalts: Nenne die 5 Grundsätze
- Zu allgemeine oder vage Aussagen vermeiden
- Begriffe mit mehreren Bedeutungen vermeiden
- Pro Item nur eine Aussage (keine double barrel)
- Zeitpunkt oder Zeitspanne eingrenzen
- Verallgemeinerungen vermeiden
- Eindeutigkeit hinsichtlich des Konstrukts: Welche Hauptfrage stellt sich?
Kann man Zustimmung/Ablehnung klar im Sinne einer höheren oder niedrigeren Ausprägung des im Gesamttest erfassten Konstrukts interpretieren?
Was ist bei der Zusammenstellung eines Tests zu beachten? (3)
- Reihenfolge von Skalen
- Skalen für Konstrukte nicht auseinander nehmen
- allgemeine vor spezifischen Konstrukten testen
- thematisch gruppieren
- counterbalancing
- Antwortskalen klar bezeichnen
- demografische Daten am Anfang oder Ende erfassen - Reihenfolge von Items:
- bei Leistungsaufgaben: Beginn mit leichteren Items
- bei psychologischen Untersuchungen: Beginn mit neutralen Items
- Konsistenz- und Aktualisierungseffekt vermeiden (ähnliche Items trennen, Pufferangaben, Instruktionen) - Hinweise in Instruktion:
- spontan und wahrheitsgetreu antworten
- nichts überspringen
- Antwortmodus erklären
- Anonymität / Vertraulichkeit betonen
Was ist bei den Übersetzungen oder kulturellen Adaptationen zu beachten und wie arbeitet man damit?
Zuerst versuchen, eine übersetzte Skala auf Deutsch zu finden und schauen, ob diese psychometrisch überprüft wurde.
Falls keine Übersetzung vorhanden ist, dann sind verschiedene Vorgehensweisen möglich (auch in Kombination):
a) Übersetzen und dann Rückübersetzen - Nichtübereinstimmung korrigieren
b) Zusammenfügen (merging): 2 Personen übersetzen gleichzeitig und man vergleicht dann
c) in Gruppe von Fachexperten übersetzen, diskutieren und sich einigen
–> Dann: Neue Übersetzung psychometrisch überprüfen und in neuer Stichprobe validieren
Merke: Die Person, welche übersetzt muss nicht nur sprachliche Kompetenzen haben, sondern muss auch das Konstrukt verstehen. (Liam und nicht Erin)
Was bedeutet Evaluation der Items?
Was ist und was beinhaltet die Itemanalyse im Rahmen der KTT?
Evalutation der Items auf Itemebene und dann und auf Testebene.
Itemanalyse: Selektion der Testitem mittels Evaluation auf deskriptiv-statistischer Ebene.
- psychometrische Item-Eigenschaften als Kennwert bestimmen und anhand vorgegebenen Qualitätsmerkmalen beurteilen.
- Ziel: Items mit besten psychometrischen Eigenschaften auswählen
Was umfasst die Itemanalyse?
Was resultiert aus der Itemanalyse?
- Schwierigkeitsanalyse (Schwierigkeitsindex)
- Itemvarianz
- Trennschärfe (VL5)
- Homogenität (VL5)
- Analyse der Testwertverteilung (ggf. Normalisierung) (VL5)
–> daraus resultieren Itemselektion und Testrevision
Warum ist die Schwierigkeit eines Items für einen Test so bedeutend?
Was versteht man unter “symptomatischer Richtung”?
Was ist das Ziel dabei?
Ein Test soll Probanden mit hoher Merkmalsausprägung von Probanden mit einer geringen Merkmalsausprägung unterscheiden.
Items, die von allen Probanden richtig gelöst werden werden in symptomatischer Richtung beantwortet und diese tragen dem Ergebnis nichts bei. Ebenso wenig die Items, die von niemandem richtig gelöst werden.
Ziel: Kreieren von Items mit mittlerer Schwierigkeit
Definiere den Schwierigkeitsindex:
Der Schwierigkeitsindex einer Aufgabe ist definiert durch die prozentuale Häufigkeit, mit der sie von einer repräsentativen Stichprobe von Probanden richtig beantwortet wird.
Eigentlich ein Leichtigkeitsindex. Denn je grösser der Index ist, desto mehr Personen konnten die Aufgabe richtig beantworten und desto leichter ist das Item.
(Wertebereich: 0-100)
Wie wird der Schwierigkeitsindex berechnet?
NR / Ntotal * 100
NR: N Punkte eines Items (Spaltensumme)
Ntotal: Npersonen * NAntwortmöglichkeiten
(p.15)
Erkläre den Schwierigkeitsindex bei Leistungstests z.B bei einem Speedtest.
Welche Antwortformate gibt es?
Was ist das Problem dabei?
Was ist die Lösung?
mögliche Antwortformate: R = Richtig F = Falsch A = Ausgelassen U = Unbearbeitet (keine Zeit mehr gehabt)
Probleme der fehlenden Antworten.
Maximal mögliche Punktzahl sollte nicht im Nenner sein, da sonst die Schwierigkeit überschätzt wird.
Lösung: Inangriffnahme-Korrektur!
Pi: (Nr / Nb) * 100
Nb: Bearbeitet. Dabei werden die A-Antworten dazu gezählt, aber die U-Antworten nicht.
Erkläre den Schwierigkeitsindex bei einem Niveautest.
Welche Antwortformate gibt es?
Wie wird es berechnet?
Was ist das Problem?
mögliche Antwortformate:
R = Richtig
F = Falsch
(keine Zeitbegrenzung und deshalb keine unbearbeiteten)
Daher Formel wieder: (Nr / N) * 100
Problem: Raten
Lösung: Ratekorrektur
