XBlock 2 Flashcards
1
Q
Schritte der Itemkonstruktion
A
- wie kommt man auf Itemuniversum
- welche Items wählt man aus Itemuniversum aus
2
Q
Wie kommt man auf Itemuniversum? (2 Optionen)
A
intuitiv vs. rational
3
Q
Strategien Items aus Itemuniversum auswählen 2
A
external vs. internal
4
Q
Voraussetzung intuitive Itemkonstruktion
A
man kennt theoretisches Konstrukt
5
Q
Itemgenerierung bei intuitiver Itemkonstruktion
A
geleitet von Intuition & Erfahrung des Testkonstrukteurs
6
Q
Wann ist eine intuitive Itemkonstruktion sinnvoll?
A
Wenn theoretischer Kenntnissstand bezüglich des Merkmals gering
7
Q
Ist rationale Konstruktion einfach?
A
selten uneingeschränkt möglich
8
Q
Herangehensweise rationale Konstruktion (2 Schritte)
A
- Definition & Spezifikation des zu messenden Konstrukts
- deduktive Herleitung der Items aus elaborierten Theorien über Merkmalsunterschiede zwischen Personen
9
Q
Beispiel für Definition & Spezifikation des zu messenden Konstrukts bei rationaler Konstruktion
A
Umwandlung konstruktdefinierender Verhaltensweisen in Statements
10
Q
Wann und warum ist rationale Konstruktion einfach?
A
Bei Tests über Grundrechenarten, weil Itemuniversum klar
11
Q
Wann ist rationale Konstruktion schwer?
A
bei Extroversion, Selbstwirksamkeitserwartung
12
Q
Andere Bezeichnung für externale Konstruktion
A
kriteriumsorientiert
13
Q
Wie funktioniert die externale Konstruktion
A
empirische Auswahl von Items, die zwischen Gruppen mit unterschiedlichen Merkmalsausprägungen möglichst gut differenzieren können (externes Kriterium, an dem man das auswählen kann)
14
Q
Wie können systematische Fehler vermieden werden? Durch Stichprobe
A
Durch die Verwendung verschiedener Testandenstichproben/einer perfekt repräsentativen Stichprobe
15
Q
welcher systematische Fehler kann bei der externalen Konstruktion auftreten?
A
Items differenzieren nur bei bestimmter Höhe von Ausprägungen
Beispiel: PC-Wissen nur mit Stichprobe von Alten
16
Q
Wie beizeichnet man internale Konstruktion noch?
A
faktorenanalytisch
17
Q
Welche Art von Faktorenanalyse sollte man bei der internalen Konstruktion nutzen?
A
Hauptachsenanalyse
18
Q
Wie werden die Items bei der internalen Konstruktion selektiert?
A
empirische Auswahl der Items anhand von interner Korrelationsstruktur, z.B. durch Faktorenanalyse
19
Q
Wie werden die Items zu Skalen zusammengefasst bei der internalen Konstruktion?
A
Items, die auf einem Faktor laden werden zu Skalen zusammengefasst
20
Q
Wann ist ein Faktor robust?
A
Wenn er faktoriell rein ist
21
Q
Was sind faktoriell komplexe Items
A
laden auf mehreren Faktoren gleich hoch
22
Q
Was sollte man mit faktoriell komplexen Items machen?
A
rausschmeißen
23
Q
Von wem ist das Konzept der strukturellen Psychometrie
A
Cattell
24
Q
Was ist das Konzept der strukturellen Psychometrie?
A
Faktoriell komplexe Items werden drin gelassen. Die Beiladungen sollen sich durch andere Items mit Beiladungen ausbalancieren
25
Welcher Test basiert auf dem Konzept der strukturellen Psychometrie
16 PF (Persönlichkeitsfragebogen)i
26
ist der 16 PF valide, warum
nein die Bedeutung der Faktoren und Skalenstruktur hat sich verschoben je nach Zeit & Stichprobe
27
Wäre die struktorelle Psychometrie theoretisch möglich=
Ja
28
In welche Teile unterscheidet man Items
Aufgabenstamm
Antwortmöglichkeiten
29
Woraus besteht der Aufgabenstamm
Fragen/Problemstellung für die der Testand die Lösung angeben soll
30
Unterscheidung Aufgabentypen nach Antwortformat Jankisz und Moosbrugger 2007 3
Aufgaben mit freiem Antwortformat
Aufgaben mit gebundenem Antwortformat
Aufgaben mit atypischem Antwortformat
31
Arten von Aufgaben mit freiem Antwortformat 2
Kurzaufsatzaufgaben
Ergänzungsaufgaben
32
Nach wem ist die Unterscheidung von Aufgabentypen nach Antwortformat
Jankisz & Moosbrugger 2007
33
Beispiele für Kurzaufsatzaufgaben 2
Stellung nehmen
begründen
34
Beispiel Ergänzungsaufgaben
fehlendes Wort hinschreiben
35
Arten von Aufgaben mit gebundenem Antwortformat 3
Ordnungsaufgaben
Auswahlaufgaben
Beurteilungsaufgaben
36
Arten von Ordnungsaufgaben 2
Zuordnungsaufgaben
Umordnungsaufgaben
37
Was sind Umordnungsaufgaben
Reihenfolge
38
Arten von Auswahlaufgaben
Dichotome Aufgaben
Mehrfachwahlaufgaben
39
Was sind dichotome Aufgaben
nur ja/nein
40
Was sind Mehrfachwahlaufgaben
MC
41
Wofür können Beurteilungsaufgaben eingesetzt werden
typisches Verhalten
42
Arten von Beurteilungsaufgaben 2
Analogskala-Aufgaben
Ratingskala-Aufgaben
43
Was sind Analogskala-Aufgaben
Kontinuum
44
Was gibt es bei Ratingskala-Aufgaben
verschiedene diskrete Abstufungen
45
Worauf muss man bei der Kunstruktion von Auswahlaufgaben für Leistungstests achten
geiignete Distraktoren
46
Was müssen Distraktoren sein 2
attraktiv
disjunkt
47
Was bedeutet disjunkt
Antworten stehen nicht in logischer Beziehung zueinander, die Lösungsweg nahelegt
auch über Items hinweg
muss für Distraktoren & richtige Antwort gelten
48
Wie müssen Antwortalternativenn bei Persönlichkeitstests sein 2
exhaustiv
disjunkt
49
Was bedeutet exhaustiv
alle möglichen Reaktionen müssen abgedeckt sein
50
Beispiel für exhaustive Antworten
Antworten decken Ausmaß an Zustimmung ab
Analogskala
51
Was ist eine Analogskala
Punkt setzen auf Kontinuum
52
Was sind Forced-Choice-Items
Sonderform von Auswahlaufgaben
Für eine von mehreren Handlungsoptionen entscheiden
53
Untergliederung Beurteilungsaufgaben 3
unipolare vs. bipolare Skalen
numerische, verbale oder optische/symbolische Skalen
asymmetrische Beurteilungsskalen
54
Beispiel unipolare Skala
weniger bis mehr
55
bipolare Skalen
2 gegensätzliche Kontinuums
56
Beispiel bipolare Skalen
stimme zu bis lehne ab
57
numerische Skalen Beispiel
Zustimmung in Zahlen ausdrücken
58
verbale Skalen Beispiel
z.B. "lehne ich ab"
59
Sind Kombinationen von Skalen gebräucklich?
ja
60
Bei welchen Tests kann der Testand absichtlich die nicht seiner Merkmalsausprägung entsprechende Antwortkategorie auswählen
Persönlichkeitstests, nicht Leistungstests
61
systematische Fehlerquellen bei Itembeantwortung 2
Soziale Erwünschtheit
Antworttendenzen
62
Arten der Beantwortung entsprechend sozialer Erwünschtheit 2
Fremdtäuschung
Selbsttäuschung
63
Fachbegriff Fremdtäuschung
Impression Management
64
Fachbegriff Selbsttäuschung
Self-Deceptive Enhancement
65
Erklärung Frendtäuschung
kann man verhindern
man weiß, wie man selbst ist und will sich anders darstellen
66
Selbsttäuschung Erklärung
man stellt sich positiver hin als man objektiv ist, da man glaubt, so positiv zu sein
67
Sind Antworttendenzen State oder Trait
Trait
68
Arten der Antworttendenzen 4
Tendenz zur Mitte
Tendenz zu extremen Urteil
Akquieszenz
Konsistenz
69
Welche Antworttendenzen sind empirisch unterscheidbar
Tendenz zur Mitte
Tendenz zum extremen Urteil
70
Was kann man gegen Antworttendenzen zur Mitte & zu extremen Urteil machen
rechnerisch von Konstrukten abgrenzen wenn n groß genug
71
Was ist die Folge aus Tendenz zu extremen Urteil
Test sieht besser aus als er eigentlich ist
hohe Korrelationen
eher problematisch
72
Was ist Akquieszenz
Zustimmungstendenz
73
Lösung für Akquieszenz
gegensätzlich gepolte Fragen
74
historisches Problem bei Akquieszenz
bei Faschismus Skala
75
Was ist die Antworttendenz Konsistenz
Neigung, sich konsistent festzulegen
76
Beispiel für Antworttendenz Konsistenz
bei mehreren Fragen, die den gleichen Inhalt haben
77
Kategorisierung von Itemarten nach Angleitner, John und Löhr 1986 7
Fragen zur Selbstbeschreibung
Fragen zur Fremdbeschreibung
Fragen zu biografischen Fakten
Trait-/Eigenschaftszuschreibungen
motivationale Fragen
Fragen zu Wünschen und Interessen
Fragen zu Einstellungen und Meinungen
78
Kategorie Itemart nach Angleiter John und Löhr 1986 "ich lache oft"
Fragen zur Selbstbeschreibung
79
Kategorie Itemart nach Angleiter John und Löhr 1986 "meine Freunde halten mich für eine tüchtige Person"
Fragen zur Fremdbeschreibung
80
Kategorie Itemart nach Angleiter John und Löhr 1986 "in meiner Jugend habe ich gerne Modellflugzeuge gebaut"
Fragen zu biografischen Fakten
81
Bestes Item, um spätere Pilotenausbildung vorherzusagen
in meiner Jugend habe ich gerne Modellflugzeuge gebaut
82
Kategorie Itemart nach Angleiter John und Löhr 1986 "ich halte mich für spontan"
Trait-/Eigenschaftszuschreibungen
83
Kategorie Itemart nach Angleiter John und Löhr 1986 "ich habe eine besondere Vorliebe für schwierige Aufgaben"
Motivationale Fragen
84
Kategorie Itemart nach Angleiter John und Löhr 1986 "ich gehe gerne ins Theater"
Fragen zu Wünschen und Interessen
85
Kategorie Itemart nach Angleiter John und Löhr 1986 "es gibt im Leben wichtigeres als beruflichen Erfolg"
Fragen zu Einstellungen und Meinungen
86
Kategorisierung Itemarten nach Jankisz und Moosbrugger 2007 5
direkte vs. indirekte Items
hypothetische vs. biografische Itemformulierung
konkrete vs. abstrakte Items
personalisierte vs. depersonalisierte Items
emotionale Neutralität vs. Intensität des Stimulus
87
Kategorie Itemart nach Jankisz und Moosbrugger 2007 "fühlen Sie sich ängstlich vs. fühlen sie sich nachts unsicher"
direkte vs. indirekte Items
88
Kategorie Itemart nach Jankisz und Moosbrugger 2007 "würde vs. habe ich etwas getan"
hypothetische vs. biografische Itemformulierung
89
Kategorie Itemart nach Jankisz und Moosbrugger 2007 "Modellflugzeuge bauen vs. mit Basteleien beschäftischen"
konkrete vs. abstrakte Items
90
Kategorie Itemart nach Jankisz und Moosbrugger 2007 "ich vs. passiv/man"
personalisierte vs. depersonalisierte Items
91
wie kann man weniger soziale Erwünschtheit erreichen
mit depersonalisierten Items
92
Was ist wichtig bei der Itemformulierung
sollte sprachlich verständlich für Anwendungspopulation
93
Was ist bei der sprachlichen Verständlichkeit zu beachten
Items sollen ohne Mühe verständlich sein
beim ersten Lesen verständlich
94
Warum ist einfache Veerständlichkeit wichtig
Fehlinterpretationen & Motivationseinbußen vermeiden
95
Zu beachten bei sprachlicher Verständlichkeit 6
positive Formulierung, Verneinungen meiden, auf keinen Fall doppelte Verneinung
einfache Satzkonstruktionen ohne Verschachtelungen
keine umständlichen Fragen
keine Abkürzungen
Begriffe an Zielpopulation angepasse, idR keine Fachbegrippe
Angaben zu Intensität oder Häufigkeit im Itemstamm vermeiden
96
wie kann man direkt Verneinungen vermeiden
z.B. durch "vermeiden"
97
Wann sind Verneinungen besonders problematisch
bei negativen Antwortoptionen
98
Wann sind Verneinungen gut möglich
in Intelligenztests
99
Was bekommt man, wenn m an viele verneinte Items nutzt
Verneinungsfaktor
100
Wie sollten Fragen sein 3
übersichtlich
verständlich
kompakt
101
Was ist problematisch am Item "ich gehe sehr gerne auf Parties"
Angaben zu Intensität im Itemstamm soll vermieden werden
102
Wie erreicht man Eindeutigkeit der Formulierung 6
Universalausdrücke (immer alle nie) meiden
notwendige Definitionen vor der Frage geben
Iteminhalt darf nur auf eine Weise interpretierbar sein
nur eine Aussage pro Item, kein double bind
Unabhängigkeit der Antwort von Vorwissen
eindeutige Definitionen von Zeitspannen (nicht zB in letzter Zeit)
103
Beispiel für double-bind
ich gehe gerne auf Parties, weil man dort neue Leute kennenlernt
104
Wie sollten die Schwierigkeiten verteilt sein
unterschiedlich bei Leistungs- und Persönlichkeitstests
z.B. auch Items für gering ausgeprägte Eigenschaften
105
Was sollte man vermeiden bei der Itemformulierung 5
idR Items mit extremer Zustimmungs oder Lösungswahrscheinlichkeit
Items, die schnell veralten könnten
Items, deren Antwort auch von Wertorientierungen abhängen könnte
Items, die konstruktfremde Emotionen evozieren könnten
suggestive Formulierungen
106
Wann sind Items mit extremer Zustimmungs oder Lösungswahrscheinlichkeit sinnfoll
Infrequenzskala (Items, die prüfen sollen, ob jemand aufmerksam)
107
Warum sollte man Items mit extremer Zustimmungs oder Lösungswahrscheinlichkeit vermeiden
differenzieren schlecht => haben wenig Varianz
108
Welche Persönlichkeitsdimensionen sind wertfrei
abstrakte Persönlichkeitsdimensionen: Extraversion, Introversion, Neurotizismus, emotionale Stabilität
109
Beispiel für konstruktfremde Emotionen, die evoziert werden können
Extraversionsitem dessen Formuliertung Angst vor Spinnen impliziert
110
was ist problematisch an "denken sie nicht auch, dass"
suggestive Formulierung
111
Was ist die vorläufige Testversion
Items werden zur empirischen Erprobung dazu zusammengestellt
112
Itemreihung bei Leistungstests 2
idR aufsteigende Schwierigkeit
eventuell Eisbrecheritem
113
Itemreihung bei Persönlichkeitstests
möglichst zu verschiedenen Skalen vermischt
Kontexteffekte bei benachbarten Items vermeiden
114
Wie viele Probanden braucht man für eine Vorerprobung des Tests
Qualität wichtiger als Quantität, 5 kann reichen
115
Berücksichtigt man Teilnehmede der Vorerprobung
idR nicht
vor allem wenn lautes Denken Items verändert
116
Ziel der Vorerprobung an kleiner Testandengruppe
Aufdeckung genereller Mängel/Probleme, zum Beispiel Doppeldeutung
117
Methoden Vorerprobung an kleiner Testandengruppe
retrospektive Befragung
Debriefing
Verhaltenskodierung
kognitives Vortesten/lautes Denken
118
Wie funktioniert retrospektive Befragung
nach Bearbeitung Testanden fragen, was sie sich dabei gedacht haben, was aufgefallen, Probleme
sollte man mindestens machen
119
Wie funktioniert Debriefing
nach Test erklären, wozu er gut, danach fragen, was Testanden davon halten, was dabei gedacht
120
Was ist Verhaltenskodierung
selten
Verhalten während Bearbeitung kodieren
121
wie funktioniert kognitives Vortesten
man versetzt sich in Testand hinein
122
wie funktioniert lautes denken
schauen, ob Personen so denken, wie man erwartet
Problem: wenn man laut denkt, denkt man anders
123
Wie entscheidet man, ob man mit Testvorform zufrieden ist
wenn neue Testanden keine negative Rückmeldung mehr geben
subjektive Entscheidung
124
Ablauf Testkonstruktion
1. vorläufige Testversion
2. Test mit mehr Testanden (200, damit Faktorenanalyse möglich) empirisch prüfen
3. weitere Änderungen nach genaueren Analysen (idR Itemselektion nach empirischen Kennwerten)
4. Normierung an möglichst großer, bevölkerungsrepräsentativer Stichprobe
Test mit mehr Testanden und Normierung möglichst trennen
125
