18 Konstruktion der Items III Flashcards
Welche Fehler können bei der Bearbeitung von Items auftreten?
Response Sets:
- durch Testsituation und Items
- durch Art der Datenerhebung bedingt
Response Style:
- Persönlichkeitseigenschaft der Versuchsperson
- über versch. Items, Methoden und Situationen hinweg konsistentes individuelles Antwortverhalten
Response Bias:
- soziale Erwünschtheit
- Akquieszenz (Ja-Sage-Tendenz)
- Tendenz zur Mitte
- Tendenz zum extremen Urteil
- Effekte der Itemreihenfolge
Was ist die soziale Erwünschtheit?
Selbsttäuschung
- eher unbewusste Tendenz vorteilhafte Selbsteinschätzung zu produzieren
- werden als ehrlich wahrgenommen
Fremdtäuschung:
- Menschen sind bemüht, Eindruck auf andere zu steuern/kontrollieren
- übliches Element des alltäglichen Verhaltens im sozialen Kontext
Gegenmaßnahmen:
- stärker bei mündlichen Interviews als bei schriftlichen Befragungen
- Zusicherung der Anonymität
- Aufklärung über Untersuchungsgegenstand und Belohnung von Ehrlichkeit
- Lügenskalen
Was ist die Tendenz zur Mitte?
Bewusste oder unbewusste Bevorzugung der mittleren Antwortkategorien
- subjektiv unzureichendes Wissen
- Antwortalternativen als ungeeignet wahrgenommen
- verringerte Itemvarianz und Verzerrungen
Gegenmaßnahmen:
- keine neutrale (Mittel-)
Kategorie
- Nicht zu extreme Bezeichnungen der Pole
- “Weiß-Nicht” Kategorie
Was ist Akquieszenz?
Zustimmungstendenz
Tendenz, den vorgegebenen Items unkritisch zuzustimmen
lieber positiv formulierter Aussage zustimmen als negativ formulierte abzulehnen
Gegenmaßnahmen:
- Nicht-Items vermeiden, Investierung von Items
- bei Ja/Nein Items am stärksten
- kognitive Fähigkeiten, Müdigkeit, unpersönliche Befragung
Effekte der Itemreihenfolge?
Ankereffekte:
- durch Aufeinanderfolgen von Informationen
- vorheriges Item bietet Hinweise auf Beantwortung des aktuellen Items oder stellt Rahmen dar (Anker)
Konsistenzeffekte/Assimilationseffekte:
- wenn Probanden versuchen, ein konsistentes Bild in ihrem Antwortmuster zu erzeugen
- aufeinanderfolgende Items werden ähnlicher beantwortet, als wenn sie getrennt beantwortet worden wären
Subtraktionseffekte:
- wenn nach mehreren spezifischen Frage eine allgemeine Frage kommt-z.B. Gesprächigkeit in Familie, dann Gesprächigkeit allgemein
- zweite Frage wird nur auf Situationen außerhalb der Familie bezogen
Testlet-Effekte:
- mehrere Fragen zu gemeinsamen Itemstamm
- richtige oder falsche Antworten auf eine der Fragen beeinflusst Beantwortung der weiteren Fragen
Wie läuft die Erprobung der vorläufigen Testversion ab?
unter möglichst realistischen Bedingungen
- nur kleine Stichprobe nötig (5-10)
Ziel:
- Identifikation von problematischen Items
- technische Probleme aufdecken
Retrospektive Befragung
Debriefing
Verhaltenskodierung
kognitives Vortesten
Was ist die Retrospektive Befragung?
nach Bearbeitung des Tests Befragung der Probanden bezüglich problematischer Items
einfachste und zeitlich effektivste Methode
Nachteile:
- Erinnerungen nicht vollständig
- Gedankenabläufe teils unbewusst
- Probleme der Items können nicht adäquat beschrieben werden
Wie funktioniert das Debriefing?
Durchführung von Interviews im Anschluss an Testbearbeitung
Erörterung der von Testleistung beobachteten Probleme
Nachteile:
- keine Nutzung standardisierter Instrumente zur Qualitätsbeurteilung des Test
- Probleme werden von Testleitung definiert
Wie ist die Verhaltenskodierung definiert?
Ergänzung zum Debriefing
bei besonders aufwändiger Testdurchführung
Testsituation von dritter Person beobachtet oder aufgezeichnet
Zuverlässige Methode zur Aufdeckung sichtbarer Schwierigkeiten
Was versteht man unter der Methode des kognitiven Vortestens?
Gedanken, die Probanden während der Testbearbeitung durch den Kopf gehen
-Art und Weise, wie Item verstanden wurde
- Bearbeitungsstrategien
- Verständnis- Interpretationsprobleme
- Probleme mit Antwortformaten
Think aloud, während Bearbeitung
Probing, nach Bearbeitung
