2. Testkonstruktion Flashcards

1
Q

Nenne die 10 Phasen der Testkonstruktion

A
  1. Anforderungsanalyse und Problemstellung
  2. Planung
  3. Eingrenzung des Merkmals
  4. Testentwurf
  5. Überprüfung des Testentwurfs
  6. Verteilungsanalyse
  7. Itemanalyse/-selection
  8. Kriterienkontrolle
  9. Revision des Tests
  10. Eichung
How well did you know this?
1
Not at all
2
3
4
5
Perfectly
2
Q

Phasen der Testkonstruktion:

wie können die Phasen 1-3 zusammengefasst warden?

A

“Erarbeiten einer Konstruktdefinition”

How well did you know this?
1
Not at all
2
3
4
5
Perfectly
3
Q

Wie können die Phasen 4-10 zusammengefasst werden?

A

“Entwicklung des Messinstruments”

How well did you know this?
1
Not at all
2
3
4
5
Perfectly
4
Q

Anforderungsanalyse: nenne die 3 Ansätze

A

erfahrungsgeleitet-intuitive Methode
analytisch-empirische Methode
personenbezogen-empirische Methode

How well did you know this?
1
Not at all
2
3
4
5
Perfectly
5
Q

Erfasse kurz was die Phase 1 (Anforderungsanalyse) erfordet?

A

was braucht man für diese Aufgabe?

was muss unser messinstrument leisten?

How well did you know this?
1
Not at all
2
3
4
5
Perfectly
6
Q

Erfasse die erfahrungsgeleitet-intuitive methode

A

annäherung an elemente des messgegenstandes

top-down

How well did you know this?
1
Not at all
2
3
4
5
Perfectly
7
Q

Erfasse die analytisch-empirische methode

A

bottom-up

  • -> identification der elemente des messgegenstandes
  • -> durch standardisierte beobachtungs-/befragungsinstrumente
How well did you know this?
1
Not at all
2
3
4
5
Perfectly
8
Q

Erfasse die personenbezogen-empirische Methode

A
  • basiert auf empirisch abgesicherte zusammenhänge
How well did you know this?
1
Not at all
2
3
4
5
Perfectly
9
Q

Was ist ZIEL der Anforderungsanalyse?

A

Identifikation der Elemente des Messgegenstandes

How well did you know this?
1
Not at all
2
3
4
5
Perfectly
10
Q

nenne phase 2 der testkonstruktion

A

Planung / Literatursuche

How well did you know this?
1
Not at all
2
3
4
5
Perfectly
11
Q

Phase 2: Planung und Literatursuche

A
  • Sichtung existierender Theorie

- theoretische Grundlagen

How well did you know this?
1
Not at all
2
3
4
5
Perfectly
12
Q

Nenne Phase 3 der Testkonstruktion

A

Eingrenzung des Merkmals

How well did you know this?
1
Not at all
2
3
4
5
Perfectly
13
Q

Beschriebe Phase 3 (Eingrenzung des Merkmals)

A

erstellung einer arbeitsdefinition

How well did you know this?
1
Not at all
2
3
4
5
Perfectly
14
Q

Worauf muss man bei Phase 3 der Testkonstruktion achten

A

Merkmalsbereich soll nicht ZU BREIT sein

- zu breite Merkmalsbereiche lassen sich nciht mit 1 Skala erfassen

How well did you know this?
1
Not at all
2
3
4
5
Perfectly
15
Q

Nenne Phase 4 der Testkonstruktion

A

Testentwurf

How well did you know this?
1
Not at all
2
3
4
5
Perfectly
16
Q

Beschreibe den Vorgang der 4. Phase (Testentwurf)

A

a) Festlegung der…
- Zielgruppe
- Art der Info (objektiv/subjektiv)
- Zweck des Tests
- Fragetyp
- Antwortformat
- Itemauswahl

b) Testentwurf testen

How well did you know this?
1
Not at all
2
3
4
5
Perfectly
17
Q

Nenne Phase 5 der Testkonstruktion

A

Überprüfung des Testentwurfs

How well did you know this?
1
Not at all
2
3
4
5
Perfectly
18
Q

Beschreibe Phase 5 (Überprüfung)

A
  • Testentwurf soll an einer geeigneten SP getestet warden

N>100

How well did you know this?
1
Not at all
2
3
4
5
Perfectly
19
Q

Nenne Phase 6

A

Verteilungsanalyse

Normal? 2-gipflig?

How well did you know this?
1
Not at all
2
3
4
5
Perfectly
20
Q

Nenne Phase 7

A

Itemanalyse

How well did you know this?
1
Not at all
2
3
4
5
Perfectly
21
Q

Beschreibe Phase 7 (Itemanalyse)

A

Itemsschwierigkeit?
Streuung?
Trennschärfe?

ausschluss: Items, die von allen oder keinen gelöst werden können

How well did you know this?
1
Not at all
2
3
4
5
Perfectly
22
Q

Nenne Phase 8

A

Kriteriumskontrolle

How well did you know this?
1
Not at all
2
3
4
5
Perfectly
23
Q

Beschreibe Phase 8 (Kriteriumskontrolle)

A

Bestimmung von OBEJKTIVITÄT
RELIABILITÄT
VALIDITÄT
(selten warden ALLE Aspekte bestimmt)

How well did you know this?
1
Not at all
2
3
4
5
Perfectly
24
Q

Nenne Phase 9

A

Revision des Tests

psychometrische Prüfung

How well did you know this?
1
Not at all
2
3
4
5
Perfectly
25
Nenne Phase 10
Eichung (Normierung)
26
Beschreibe Phase 10 (Eichung)
``` Normen erheben (an einer repräsentativen Population)# Cut-off werte bestimmen ```
27
Nenne die 3 Zugangsweisen zur Testkonstruktion (Fragebögen)
1. deduktiver ansatz 2. induktiver ansatz 3. kriteriumsbezogener ansatz
28
wie wird der deduktiver ansatz sonst genannt?
rationale ansatz | korrespondenzansatz
29
wie wird der induktiver ansatz sonst genannt?
internaler ansatz
30
wie wird der kriteriumsbezogener ansatz sonst genannt?
externaler ansatz
31
Kann man verschiedene Ansätze KOMBINIEREN
ja
32
Definiere "Item"
kleinste Analyseeinheit eines Tests
33
Nenne ein Beispiel vom deduktiven Ansatz
HAWIE-R | Intelligenztest von Wechsler
34
Nenne ein Beispiel vom induktiven Ansatz
Neo-FFI | Big 5
35
Kriteriumsbezogener Ansatz: Beispiel
Minnesota Multiphasic Personality Inventory | MMPI
36
Wie viele Items hat der MMPI?
550 (anfangs 1000)
37
Beschreibe den deduktiven Ansatz
- Vorliegen einer Theorie - definition des konstrukts - direkter zusammenhang zwischen item und konstrukt
38
Deduktiver Ansatz: Vorteile
Validitätskriterien z.B: Augenscheinvalidität
39
Deduktiver Ansatz: Nachteil
Selbstdarstellungstendenzen
40
was ist bei dem induktiven ansatz wichtig?
große breite Zahl von Items
41
beschreibe den kriteriumsbezogenen ansatz
- verschiedene personengruppen - große breite zahl von items ZIEL: Differenzierung der Gruppen
42
in Fragebögen: Item =
Itemstamm + Antwortformat
43
Was für Faktoren sollen bei der Festlegung der ANZAHL der Items beachtet werden?
``` Ökonomie Reliabilität der skala Einsatzzweck (indiviueldiagnose/gruppenvergleich?) motivation ermüdung ```
44
bei welcher Art von Mekmale werden mehr items benötigt?
weitdefinierte merkmale
45
in der vorläufigen Testversion werden ____ Items benötigt
MEHR
46
FORMULIERUNG der Fragebögenitems: | "Aphorisms for a questionnaire"
- keep it simple (KISS) - one thing at a time - little words work best - two lines are too many - long is wrong - when in doubt, leave it out - reasons for asking are not reasons for answering - answers are questions
47
FORMULIERUNG der Fragebögenitems: | inhaltlcihe Gesichtspunkte
- Besonderheiten der Zielgruppe beachten - Vermeidung von... - ---- zu intimen items - ---- Fachjargon - ----verletzenden Formulierungen
48
FORMULIERUNG der Fragebögenitems: | Maßnahmen zur Verbesserung
- items nach VERSTÄNDLICHKEIT überprüfen lassen
49
FORMULIERUNG der Fragebögenitems: | wann ist eine überprüfung besonders wichtig?
wenn testersteller nicht teil der zielgruppe ist
50
Nenne die zwei übergeordnete Arten des Antwortformats
- gebunden | - frei
51
Vergleiche gebundene Antworten mit freie Antworten
G: Testpersonen wählen aus 2 oder mehreren Antwortsmöglichkeiten F: Testpersonen generieren Antwort selbst
52
Nenne die Arten von gebundene Antwortformats
- mehrstufige Ratingskalen - richtig-falsch aufgaben - mehrfachwahlaufgaben - zuordnungsaufgaben - umordnungsaufgaben
53
Gebundenes Antwortformat: | Allgemeine Vorteile
- Auswertungsökonomie - Objektivität - Reaktionssicherheit
54
Gebundenes Antwortformat: | Allgemeine Nachteile
- für manche konstrukte schwierig anwendbar - raten - motivation - antworttendenzen
55
Freies Antwortformat: | Allgemeine Vorteile
- erfassung spontaner reaktionen + kreative Leistung - Konstruktion komplexer Aufgaben - wenig Gefahr von Ratetendenzen
56
Freies Antwortformat: | Nenne die verschiedene Antwortmodi und jeweils ein Beispiel
- verbal (HAWI) - schriftlich (IST) - zeichnerisch (LGT)
57
Gebundenes Antwortformat: | Erfasse die Vorteile der mehrstufigen Ratingsskalen
- differenzierte Informationen | - ökonomisch
58
Gebundenes Antwortformat: | Erfasse die Nachteile der mehrstufigen Ratingsskalen
- Abstufungen können subjektiv eingeschätzt werden - Antworttendenzen - Ambivalenz-Indifferenzproblem - optimale anzahl der antwortoptionen unklar
59
was soll bei der mehrstufigen Ratingskala VERMIEDEN werden?
- zu wenige/viele Stufen | 5/7 beste Wahl
60
Beschreibe Mehrstufige Ratingsskalen
- quantitativ - bipolar oder unipolar - mehr als 2 Antwortoptionen - verbal, numerisch oder graphisch - stufen sollen benannt werden (Reliabilität, Validität)
61
richtig-falsch-aufgaben: | VORTEILE
- kurze Bearbeitungs- und Auswertungskeit
62
richtig-falsch-aufgaben: | NACHTEILE
- ja/nein Antworten müssen eindeutig beantwortbar sein - hoher Prozentsatz an Zufallslösungen möglich - wenig differenzierte Infos - ja-sage-tendenz - schwierigkeit bei stat. Analyse
63
Mehrfachwahlaufgaben: VORTEILE
- ökonomisch, zufällige beantwortung weniger problematisch
64
Mehrfachwahlaufgaben: NACHTEILE
- Antwortalternativen schwierig zu finden (da alle falschen Antworten gleich wahrscheinlich gewählt werden sollen) - NUR WIEDERERKENNEN (keine Reproduktion) - Antworten können Hinweise geben
65
Zuordnungsaufgaben: VORTEILE
ökonomisch | zufällige beantwortung unproblematisch
66
Zuordnungsaufgaben: NACHTEILE
- antwortalternativen finden schwierig | - nur wiedererkennen
67
Umordnungsaufgaben: Beschreibe diesen Antwortformat
vorgegebene Fragmente einer Reihenfolge müssen entsprechend sortiert werden
68
Umordnungsaufgaben: VORTEILE
bei Materialbearbeitungstests einsetzbar
69
Umordnungsaufgaben: NACHTEILE
- speziell bei Gruppentestungen: Material muss in größere Stückzahlen verfügbar sein - selten anwendbar
70
Positionseffekte
Bearbeitung eines Items hängt von seiner PLATZIERUNG ab
71
Nenne Beispiele von Positionseffekte
- warming up - Ermüdung - Zeitmangel - Abbruch (Online Fragebögen)
72
Reihenfolgeeffekte
Bearbeitung eines Items hängt von den Items ab, die zuvor beantwortet wurden
73
Nenne Beispiele von Reihenfolgeeffekte
- Übung - Bahnung - motivationale Prozesse
74
Bei was für Tests sind Reihenfolgeeffekte KEIN Problem?
speed tests
75
Maßnahmen gegen sozialer Erwünschtheit
- forced-choice items - skalen zur sozialen erwünschtheit - subtilere Formulierung der Items - Bei konstrukten die sehr anfällig sind: Validierung durch unaufdringlichere Messverfahren
76
Maßnahmen gegen Antworttendenzen
- spezielle Kontrollskalen | z. B. Validitätsskalen des MMPI-II
77
Was sind Item- und Antwort Biases?
systematische Fehler beim Messen
78
Definiere Bias
systematische verzerrungen, die alle Messungen in der gleichen Weise beeinflussen
79
"biasfrei"
Erfolgswahrscheinlichkeit, das Item zu lösen, für alle Personen mit gleicher Fähigkeit und Untergruppe gleich ist
80
methoden zur identifizierung von biases
- ICC-Kurven für 2 SP verglichen | - Vergleich der Rangreihen der Itemschwierigkeiten in 2 SP
81
Eindimensionalität: Testebene
sinnvolle Definition eines hohen/niedrigen Testwerts