XBlock 2 Flashcards
Schritte der Itemkonstruktion
- wie kommt man auf Itemuniversum
- welche Items wählt man aus Itemuniversum aus
Wie kommt man auf Itemuniversum? (2 Optionen)
intuitiv vs. rational
Strategien Items aus Itemuniversum auswählen 2
external vs. internal
Voraussetzung intuitive Itemkonstruktion
man kennt theoretisches Konstrukt
Itemgenerierung bei intuitiver Itemkonstruktion
geleitet von Intuition & Erfahrung des Testkonstrukteurs
Wann ist eine intuitive Itemkonstruktion sinnvoll?
Wenn theoretischer Kenntnissstand bezüglich des Merkmals gering
Ist rationale Konstruktion einfach?
selten uneingeschränkt möglich
Herangehensweise rationale Konstruktion (2 Schritte)
- Definition & Spezifikation des zu messenden Konstrukts
- deduktive Herleitung der Items aus elaborierten Theorien über Merkmalsunterschiede zwischen Personen
Beispiel für Definition & Spezifikation des zu messenden Konstrukts bei rationaler Konstruktion
Umwandlung konstruktdefinierender Verhaltensweisen in Statements
Wann und warum ist rationale Konstruktion einfach?
Bei Tests über Grundrechenarten, weil Itemuniversum klar
Wann ist rationale Konstruktion schwer?
bei Extroversion, Selbstwirksamkeitserwartung
Andere Bezeichnung für externale Konstruktion
kriteriumsorientiert
Wie funktioniert die externale Konstruktion
empirische Auswahl von Items, die zwischen Gruppen mit unterschiedlichen Merkmalsausprägungen möglichst gut differenzieren können (externes Kriterium, an dem man das auswählen kann)
Wie können systematische Fehler vermieden werden? Durch Stichprobe
Durch die Verwendung verschiedener Testandenstichproben/einer perfekt repräsentativen Stichprobe
welcher systematische Fehler kann bei der externalen Konstruktion auftreten?
Items differenzieren nur bei bestimmter Höhe von Ausprägungen
Beispiel: PC-Wissen nur mit Stichprobe von Alten
Wie beizeichnet man internale Konstruktion noch?
faktorenanalytisch
Welche Art von Faktorenanalyse sollte man bei der internalen Konstruktion nutzen?
Hauptachsenanalyse
Wie werden die Items bei der internalen Konstruktion selektiert?
empirische Auswahl der Items anhand von interner Korrelationsstruktur, z.B. durch Faktorenanalyse
Wie werden die Items zu Skalen zusammengefasst bei der internalen Konstruktion?
Items, die auf einem Faktor laden werden zu Skalen zusammengefasst
Wann ist ein Faktor robust?
Wenn er faktoriell rein ist
Was sind faktoriell komplexe Items
laden auf mehreren Faktoren gleich hoch
Was sollte man mit faktoriell komplexen Items machen?
rausschmeißen
Von wem ist das Konzept der strukturellen Psychometrie
Cattell
Was ist das Konzept der strukturellen Psychometrie?
Faktoriell komplexe Items werden drin gelassen. Die Beiladungen sollen sich durch andere Items mit Beiladungen ausbalancieren
Welcher Test basiert auf dem Konzept der strukturellen Psychometrie
16 PF (Persönlichkeitsfragebogen)i
ist der 16 PF valide, warum
nein die Bedeutung der Faktoren und Skalenstruktur hat sich verschoben je nach Zeit & Stichprobe
Wäre die struktorelle Psychometrie theoretisch möglich=
Ja
In welche Teile unterscheidet man Items
Aufgabenstamm
Antwortmöglichkeiten
Woraus besteht der Aufgabenstamm
Fragen/Problemstellung für die der Testand die Lösung angeben soll
Unterscheidung Aufgabentypen nach Antwortformat Jankisz und Moosbrugger 2007 3
Aufgaben mit freiem Antwortformat
Aufgaben mit gebundenem Antwortformat
Aufgaben mit atypischem Antwortformat
Arten von Aufgaben mit freiem Antwortformat 2
Kurzaufsatzaufgaben
Ergänzungsaufgaben
Nach wem ist die Unterscheidung von Aufgabentypen nach Antwortformat
Jankisz & Moosbrugger 2007
Beispiele für Kurzaufsatzaufgaben 2
Stellung nehmen
begründen
Beispiel Ergänzungsaufgaben
fehlendes Wort hinschreiben
Arten von Aufgaben mit gebundenem Antwortformat 3
Ordnungsaufgaben
Auswahlaufgaben
Beurteilungsaufgaben
Arten von Ordnungsaufgaben 2
Zuordnungsaufgaben
Umordnungsaufgaben
Was sind Umordnungsaufgaben
Reihenfolge
Arten von Auswahlaufgaben
Dichotome Aufgaben
Mehrfachwahlaufgaben
Was sind dichotome Aufgaben
nur ja/nein
Was sind Mehrfachwahlaufgaben
MC
Wofür können Beurteilungsaufgaben eingesetzt werden
typisches Verhalten
Arten von Beurteilungsaufgaben 2
Analogskala-Aufgaben
Ratingskala-Aufgaben
Was sind Analogskala-Aufgaben
Kontinuum
Was gibt es bei Ratingskala-Aufgaben
verschiedene diskrete Abstufungen
Worauf muss man bei der Kunstruktion von Auswahlaufgaben für Leistungstests achten
geiignete Distraktoren
Was müssen Distraktoren sein 2
attraktiv
disjunkt
Was bedeutet disjunkt
Antworten stehen nicht in logischer Beziehung zueinander, die Lösungsweg nahelegt
auch über Items hinweg
muss für Distraktoren & richtige Antwort gelten
Wie müssen Antwortalternativenn bei Persönlichkeitstests sein 2
exhaustiv
disjunkt
Was bedeutet exhaustiv
alle möglichen Reaktionen müssen abgedeckt sein
Beispiel für exhaustive Antworten
Antworten decken Ausmaß an Zustimmung ab
Analogskala
Was ist eine Analogskala
Punkt setzen auf Kontinuum
Was sind Forced-Choice-Items
Sonderform von Auswahlaufgaben
Für eine von mehreren Handlungsoptionen entscheiden
Untergliederung Beurteilungsaufgaben 3
unipolare vs. bipolare Skalen
numerische, verbale oder optische/symbolische Skalen
asymmetrische Beurteilungsskalen
Beispiel unipolare Skala
weniger bis mehr
bipolare Skalen
2 gegensätzliche Kontinuums
Beispiel bipolare Skalen
stimme zu bis lehne ab
numerische Skalen Beispiel
Zustimmung in Zahlen ausdrücken
verbale Skalen Beispiel
z.B. “lehne ich ab”
Sind Kombinationen von Skalen gebräucklich?
ja
Bei welchen Tests kann der Testand absichtlich die nicht seiner Merkmalsausprägung entsprechende Antwortkategorie auswählen
Persönlichkeitstests, nicht Leistungstests
systematische Fehlerquellen bei Itembeantwortung 2
Soziale Erwünschtheit
Antworttendenzen
Arten der Beantwortung entsprechend sozialer Erwünschtheit 2
Fremdtäuschung
Selbsttäuschung
Fachbegriff Fremdtäuschung
Impression Management
Fachbegriff Selbsttäuschung
Self-Deceptive Enhancement
Erklärung Frendtäuschung
kann man verhindern
man weiß, wie man selbst ist und will sich anders darstellen
Selbsttäuschung Erklärung
man stellt sich positiver hin als man objektiv ist, da man glaubt, so positiv zu sein
Sind Antworttendenzen State oder Trait
Trait
Arten der Antworttendenzen 4
Tendenz zur Mitte
Tendenz zu extremen Urteil
Akquieszenz
Konsistenz
Welche Antworttendenzen sind empirisch unterscheidbar
Tendenz zur Mitte
Tendenz zum extremen Urteil
Was kann man gegen Antworttendenzen zur Mitte & zu extremen Urteil machen
rechnerisch von Konstrukten abgrenzen wenn n groß genug
Was ist die Folge aus Tendenz zu extremen Urteil
Test sieht besser aus als er eigentlich ist
hohe Korrelationen
eher problematisch
Was ist Akquieszenz
Zustimmungstendenz
Lösung für Akquieszenz
gegensätzlich gepolte Fragen
historisches Problem bei Akquieszenz
bei Faschismus Skala
Was ist die Antworttendenz Konsistenz
Neigung, sich konsistent festzulegen
Beispiel für Antworttendenz Konsistenz
bei mehreren Fragen, die den gleichen Inhalt haben
Kategorisierung von Itemarten nach Angleitner, John und Löhr 1986 7
Fragen zur Selbstbeschreibung
Fragen zur Fremdbeschreibung
Fragen zu biografischen Fakten
Trait-/Eigenschaftszuschreibungen
motivationale Fragen
Fragen zu Wünschen und Interessen
Fragen zu Einstellungen und Meinungen
Kategorie Itemart nach Angleiter John und Löhr 1986 “ich lache oft”
Fragen zur Selbstbeschreibung
Kategorie Itemart nach Angleiter John und Löhr 1986 “meine Freunde halten mich für eine tüchtige Person”
Fragen zur Fremdbeschreibung
Kategorie Itemart nach Angleiter John und Löhr 1986 “in meiner Jugend habe ich gerne Modellflugzeuge gebaut”
Fragen zu biografischen Fakten
Bestes Item, um spätere Pilotenausbildung vorherzusagen
in meiner Jugend habe ich gerne Modellflugzeuge gebaut
Kategorie Itemart nach Angleiter John und Löhr 1986 “ich halte mich für spontan”
Trait-/Eigenschaftszuschreibungen
Kategorie Itemart nach Angleiter John und Löhr 1986 “ich habe eine besondere Vorliebe für schwierige Aufgaben”
Motivationale Fragen
Kategorie Itemart nach Angleiter John und Löhr 1986 “ich gehe gerne ins Theater”
Fragen zu Wünschen und Interessen
Kategorie Itemart nach Angleiter John und Löhr 1986 “es gibt im Leben wichtigeres als beruflichen Erfolg”
Fragen zu Einstellungen und Meinungen
Kategorisierung Itemarten nach Jankisz und Moosbrugger 2007 5
direkte vs. indirekte Items
hypothetische vs. biografische Itemformulierung
konkrete vs. abstrakte Items
personalisierte vs. depersonalisierte Items
emotionale Neutralität vs. Intensität des Stimulus
Kategorie Itemart nach Jankisz und Moosbrugger 2007 “fühlen Sie sich ängstlich vs. fühlen sie sich nachts unsicher”
direkte vs. indirekte Items
Kategorie Itemart nach Jankisz und Moosbrugger 2007 “würde vs. habe ich etwas getan”
hypothetische vs. biografische Itemformulierung
Kategorie Itemart nach Jankisz und Moosbrugger 2007 “Modellflugzeuge bauen vs. mit Basteleien beschäftischen”
konkrete vs. abstrakte Items
Kategorie Itemart nach Jankisz und Moosbrugger 2007 “ich vs. passiv/man”
personalisierte vs. depersonalisierte Items
wie kann man weniger soziale Erwünschtheit erreichen
mit depersonalisierten Items
Was ist wichtig bei der Itemformulierung
sollte sprachlich verständlich für Anwendungspopulation
Was ist bei der sprachlichen Verständlichkeit zu beachten
Items sollen ohne Mühe verständlich sein
beim ersten Lesen verständlich
Warum ist einfache Veerständlichkeit wichtig
Fehlinterpretationen & Motivationseinbußen vermeiden
Zu beachten bei sprachlicher Verständlichkeit 6
positive Formulierung, Verneinungen meiden, auf keinen Fall doppelte Verneinung
einfache Satzkonstruktionen ohne Verschachtelungen
keine umständlichen Fragen
keine Abkürzungen
Begriffe an Zielpopulation angepasse, idR keine Fachbegrippe
Angaben zu Intensität oder Häufigkeit im Itemstamm vermeiden
wie kann man direkt Verneinungen vermeiden
z.B. durch “vermeiden”
Wann sind Verneinungen besonders problematisch
bei negativen Antwortoptionen
Wann sind Verneinungen gut möglich
in Intelligenztests
Was bekommt man, wenn m an viele verneinte Items nutzt
Verneinungsfaktor
Wie sollten Fragen sein 3
übersichtlich
verständlich
kompakt
Was ist problematisch am Item “ich gehe sehr gerne auf Parties”
Angaben zu Intensität im Itemstamm soll vermieden werden
Wie erreicht man Eindeutigkeit der Formulierung 6
Universalausdrücke (immer alle nie) meiden
notwendige Definitionen vor der Frage geben
Iteminhalt darf nur auf eine Weise interpretierbar sein
nur eine Aussage pro Item, kein double bind
Unabhängigkeit der Antwort von Vorwissen
eindeutige Definitionen von Zeitspannen (nicht zB in letzter Zeit)
Beispiel für double-bind
ich gehe gerne auf Parties, weil man dort neue Leute kennenlernt
Wie sollten die Schwierigkeiten verteilt sein
unterschiedlich bei Leistungs- und Persönlichkeitstests
z.B. auch Items für gering ausgeprägte Eigenschaften
Was sollte man vermeiden bei der Itemformulierung 5
idR Items mit extremer Zustimmungs oder Lösungswahrscheinlichkeit
Items, die schnell veralten könnten
Items, deren Antwort auch von Wertorientierungen abhängen könnte
Items, die konstruktfremde Emotionen evozieren könnten
suggestive Formulierungen
Wann sind Items mit extremer Zustimmungs oder Lösungswahrscheinlichkeit sinnfoll
Infrequenzskala (Items, die prüfen sollen, ob jemand aufmerksam)
Warum sollte man Items mit extremer Zustimmungs oder Lösungswahrscheinlichkeit vermeiden
differenzieren schlecht => haben wenig Varianz
Welche Persönlichkeitsdimensionen sind wertfrei
abstrakte Persönlichkeitsdimensionen: Extraversion, Introversion, Neurotizismus, emotionale Stabilität
Beispiel für konstruktfremde Emotionen, die evoziert werden können
Extraversionsitem dessen Formuliertung Angst vor Spinnen impliziert
was ist problematisch an “denken sie nicht auch, dass”
suggestive Formulierung
Was ist die vorläufige Testversion
Items werden zur empirischen Erprobung dazu zusammengestellt
Itemreihung bei Leistungstests 2
idR aufsteigende Schwierigkeit
eventuell Eisbrecheritem
Itemreihung bei Persönlichkeitstests
möglichst zu verschiedenen Skalen vermischt
Kontexteffekte bei benachbarten Items vermeiden
Wie viele Probanden braucht man für eine Vorerprobung des Tests
Qualität wichtiger als Quantität, 5 kann reichen
Berücksichtigt man Teilnehmede der Vorerprobung
idR nicht
vor allem wenn lautes Denken Items verändert
Ziel der Vorerprobung an kleiner Testandengruppe
Aufdeckung genereller Mängel/Probleme, zum Beispiel Doppeldeutung
Methoden Vorerprobung an kleiner Testandengruppe
retrospektive Befragung
Debriefing
Verhaltenskodierung
kognitives Vortesten/lautes Denken
Wie funktioniert retrospektive Befragung
nach Bearbeitung Testanden fragen, was sie sich dabei gedacht haben, was aufgefallen, Probleme
sollte man mindestens machen
Wie funktioniert Debriefing
nach Test erklären, wozu er gut, danach fragen, was Testanden davon halten, was dabei gedacht
Was ist Verhaltenskodierung
selten
Verhalten während Bearbeitung kodieren
wie funktioniert kognitives Vortesten
man versetzt sich in Testand hinein
wie funktioniert lautes denken
schauen, ob Personen so denken, wie man erwartet
Problem: wenn man laut denkt, denkt man anders
Wie entscheidet man, ob man mit Testvorform zufrieden ist
wenn neue Testanden keine negative Rückmeldung mehr geben
subjektive Entscheidung
Ablauf Testkonstruktion
- vorläufige Testversion
- Test mit mehr Testanden (200, damit Faktorenanalyse möglich) empirisch prüfen
- weitere Änderungen nach genaueren Analysen (idR Itemselektion nach empirischen Kennwerten)
- Normierung an möglichst großer, bevölkerungsrepräsentativer Stichprobe
Test mit mehr Testanden und Normierung möglichst trennen