2. Testkonstruktion Flashcards

1
Q

Nenne die 10 Phasen der Testkonstruktion

A
  1. Anforderungsanalyse und Problemstellung
  2. Planung
  3. Eingrenzung des Merkmals
  4. Testentwurf
  5. Überprüfung des Testentwurfs
  6. Verteilungsanalyse
  7. Itemanalyse/-selection
  8. Kriterienkontrolle
  9. Revision des Tests
  10. Eichung
How well did you know this?
1
Not at all
2
3
4
5
Perfectly
2
Q

Phasen der Testkonstruktion:

wie können die Phasen 1-3 zusammengefasst warden?

A

“Erarbeiten einer Konstruktdefinition”

How well did you know this?
1
Not at all
2
3
4
5
Perfectly
3
Q

Wie können die Phasen 4-10 zusammengefasst werden?

A

“Entwicklung des Messinstruments”

How well did you know this?
1
Not at all
2
3
4
5
Perfectly
4
Q

Anforderungsanalyse: nenne die 3 Ansätze

A

erfahrungsgeleitet-intuitive Methode
analytisch-empirische Methode
personenbezogen-empirische Methode

How well did you know this?
1
Not at all
2
3
4
5
Perfectly
5
Q

Erfasse kurz was die Phase 1 (Anforderungsanalyse) erfordet?

A

was braucht man für diese Aufgabe?

was muss unser messinstrument leisten?

How well did you know this?
1
Not at all
2
3
4
5
Perfectly
6
Q

Erfasse die erfahrungsgeleitet-intuitive methode

A

annäherung an elemente des messgegenstandes

top-down

How well did you know this?
1
Not at all
2
3
4
5
Perfectly
7
Q

Erfasse die analytisch-empirische methode

A

bottom-up

  • -> identification der elemente des messgegenstandes
  • -> durch standardisierte beobachtungs-/befragungsinstrumente
How well did you know this?
1
Not at all
2
3
4
5
Perfectly
8
Q

Erfasse die personenbezogen-empirische Methode

A
  • basiert auf empirisch abgesicherte zusammenhänge
How well did you know this?
1
Not at all
2
3
4
5
Perfectly
9
Q

Was ist ZIEL der Anforderungsanalyse?

A

Identifikation der Elemente des Messgegenstandes

How well did you know this?
1
Not at all
2
3
4
5
Perfectly
10
Q

nenne phase 2 der testkonstruktion

A

Planung / Literatursuche

How well did you know this?
1
Not at all
2
3
4
5
Perfectly
11
Q

Phase 2: Planung und Literatursuche

A
  • Sichtung existierender Theorie

- theoretische Grundlagen

How well did you know this?
1
Not at all
2
3
4
5
Perfectly
12
Q

Nenne Phase 3 der Testkonstruktion

A

Eingrenzung des Merkmals

How well did you know this?
1
Not at all
2
3
4
5
Perfectly
13
Q

Beschriebe Phase 3 (Eingrenzung des Merkmals)

A

erstellung einer arbeitsdefinition

How well did you know this?
1
Not at all
2
3
4
5
Perfectly
14
Q

Worauf muss man bei Phase 3 der Testkonstruktion achten

A

Merkmalsbereich soll nicht ZU BREIT sein

- zu breite Merkmalsbereiche lassen sich nciht mit 1 Skala erfassen

How well did you know this?
1
Not at all
2
3
4
5
Perfectly
15
Q

Nenne Phase 4 der Testkonstruktion

A

Testentwurf

How well did you know this?
1
Not at all
2
3
4
5
Perfectly
16
Q

Beschreibe den Vorgang der 4. Phase (Testentwurf)

A

a) Festlegung der…
- Zielgruppe
- Art der Info (objektiv/subjektiv)
- Zweck des Tests
- Fragetyp
- Antwortformat
- Itemauswahl

b) Testentwurf testen

How well did you know this?
1
Not at all
2
3
4
5
Perfectly
17
Q

Nenne Phase 5 der Testkonstruktion

A

Überprüfung des Testentwurfs

How well did you know this?
1
Not at all
2
3
4
5
Perfectly
18
Q

Beschreibe Phase 5 (Überprüfung)

A
  • Testentwurf soll an einer geeigneten SP getestet warden

N>100

How well did you know this?
1
Not at all
2
3
4
5
Perfectly
19
Q

Nenne Phase 6

A

Verteilungsanalyse

Normal? 2-gipflig?

How well did you know this?
1
Not at all
2
3
4
5
Perfectly
20
Q

Nenne Phase 7

A

Itemanalyse

How well did you know this?
1
Not at all
2
3
4
5
Perfectly
21
Q

Beschreibe Phase 7 (Itemanalyse)

A

Itemsschwierigkeit?
Streuung?
Trennschärfe?

ausschluss: Items, die von allen oder keinen gelöst werden können

How well did you know this?
1
Not at all
2
3
4
5
Perfectly
22
Q

Nenne Phase 8

A

Kriteriumskontrolle

How well did you know this?
1
Not at all
2
3
4
5
Perfectly
23
Q

Beschreibe Phase 8 (Kriteriumskontrolle)

A

Bestimmung von OBEJKTIVITÄT
RELIABILITÄT
VALIDITÄT
(selten warden ALLE Aspekte bestimmt)

How well did you know this?
1
Not at all
2
3
4
5
Perfectly
24
Q

Nenne Phase 9

A

Revision des Tests

psychometrische Prüfung

How well did you know this?
1
Not at all
2
3
4
5
Perfectly
25
Q

Nenne Phase 10

A

Eichung (Normierung)

How well did you know this?
1
Not at all
2
3
4
5
Perfectly
26
Q

Beschreibe Phase 10 (Eichung)

A
Normen erheben (an einer repräsentativen Population)#
Cut-off werte bestimmen
How well did you know this?
1
Not at all
2
3
4
5
Perfectly
27
Q

Nenne die 3 Zugangsweisen zur Testkonstruktion (Fragebögen)

A
  1. deduktiver ansatz
  2. induktiver ansatz
  3. kriteriumsbezogener ansatz
How well did you know this?
1
Not at all
2
3
4
5
Perfectly
28
Q

wie wird der deduktiver ansatz sonst genannt?

A

rationale ansatz

korrespondenzansatz

How well did you know this?
1
Not at all
2
3
4
5
Perfectly
29
Q

wie wird der induktiver ansatz sonst genannt?

A

internaler ansatz

How well did you know this?
1
Not at all
2
3
4
5
Perfectly
30
Q

wie wird der kriteriumsbezogener ansatz sonst genannt?

A

externaler ansatz

How well did you know this?
1
Not at all
2
3
4
5
Perfectly
31
Q

Kann man verschiedene Ansätze KOMBINIEREN

A

ja

How well did you know this?
1
Not at all
2
3
4
5
Perfectly
32
Q

Definiere “Item”

A

kleinste Analyseeinheit eines Tests

How well did you know this?
1
Not at all
2
3
4
5
Perfectly
33
Q

Nenne ein Beispiel vom deduktiven Ansatz

A

HAWIE-R

Intelligenztest von Wechsler

34
Q

Nenne ein Beispiel vom induktiven Ansatz

A

Neo-FFI

Big 5

35
Q

Kriteriumsbezogener Ansatz: Beispiel

A

Minnesota Multiphasic Personality Inventory

MMPI

36
Q

Wie viele Items hat der MMPI?

A

550 (anfangs 1000)

37
Q

Beschreibe den deduktiven Ansatz

A
  • Vorliegen einer Theorie
  • definition des konstrukts
  • direkter zusammenhang zwischen item und konstrukt
38
Q

Deduktiver Ansatz: Vorteile

A

Validitätskriterien z.B: Augenscheinvalidität

39
Q

Deduktiver Ansatz: Nachteil

A

Selbstdarstellungstendenzen

40
Q

was ist bei dem induktiven ansatz wichtig?

A

große breite Zahl von Items

41
Q

beschreibe den kriteriumsbezogenen ansatz

A
  • verschiedene personengruppen
  • große breite zahl von items

ZIEL: Differenzierung der Gruppen

42
Q

in Fragebögen: Item =

A

Itemstamm + Antwortformat

43
Q

Was für Faktoren sollen bei der Festlegung der ANZAHL der Items beachtet werden?

A
Ökonomie
Reliabilität der skala
Einsatzzweck (indiviueldiagnose/gruppenvergleich?)
motivation
ermüdung
44
Q

bei welcher Art von Mekmale werden mehr items benötigt?

A

weitdefinierte merkmale

45
Q

in der vorläufigen Testversion werden ____ Items benötigt

A

MEHR

46
Q

FORMULIERUNG der Fragebögenitems:

“Aphorisms for a questionnaire”

A
  • keep it simple (KISS)
  • one thing at a time
  • little words work best
  • two lines are too many
  • long is wrong
  • when in doubt, leave it out
  • reasons for asking are not reasons for answering
  • answers are questions
47
Q

FORMULIERUNG der Fragebögenitems:

inhaltlcihe Gesichtspunkte

A
  • Besonderheiten der Zielgruppe beachten
  • Vermeidung von…
  • —- zu intimen items
  • —- Fachjargon
  • —-verletzenden Formulierungen
48
Q

FORMULIERUNG der Fragebögenitems:

Maßnahmen zur Verbesserung

A
  • items nach VERSTÄNDLICHKEIT überprüfen lassen
49
Q

FORMULIERUNG der Fragebögenitems:

wann ist eine überprüfung besonders wichtig?

A

wenn testersteller nicht teil der zielgruppe ist

50
Q

Nenne die zwei übergeordnete Arten des Antwortformats

A
  • gebunden

- frei

51
Q

Vergleiche gebundene Antworten mit freie Antworten

A

G: Testpersonen wählen aus 2 oder mehreren Antwortsmöglichkeiten
F: Testpersonen generieren Antwort selbst

52
Q

Nenne die Arten von gebundene Antwortformats

A
  • mehrstufige Ratingskalen
  • richtig-falsch aufgaben
  • mehrfachwahlaufgaben
  • zuordnungsaufgaben
  • umordnungsaufgaben
53
Q

Gebundenes Antwortformat:

Allgemeine Vorteile

A
  • Auswertungsökonomie
  • Objektivität
  • Reaktionssicherheit
54
Q

Gebundenes Antwortformat:

Allgemeine Nachteile

A
  • für manche konstrukte schwierig anwendbar
  • raten
  • motivation
  • antworttendenzen
55
Q

Freies Antwortformat:

Allgemeine Vorteile

A
  • erfassung spontaner reaktionen + kreative Leistung
  • Konstruktion komplexer Aufgaben
  • wenig Gefahr von Ratetendenzen
56
Q

Freies Antwortformat:

Nenne die verschiedene Antwortmodi und jeweils ein Beispiel

A
  • verbal (HAWI)
  • schriftlich (IST)
  • zeichnerisch (LGT)
57
Q

Gebundenes Antwortformat:

Erfasse die Vorteile der mehrstufigen Ratingsskalen

A
  • differenzierte Informationen

- ökonomisch

58
Q

Gebundenes Antwortformat:

Erfasse die Nachteile der mehrstufigen Ratingsskalen

A
  • Abstufungen können subjektiv eingeschätzt werden
  • Antworttendenzen
  • Ambivalenz-Indifferenzproblem
  • optimale anzahl der antwortoptionen unklar
59
Q

was soll bei der mehrstufigen Ratingskala VERMIEDEN werden?

A
  • zu wenige/viele Stufen

5/7 beste Wahl

60
Q

Beschreibe Mehrstufige Ratingsskalen

A
  • quantitativ
  • bipolar oder unipolar
  • mehr als 2 Antwortoptionen
  • verbal, numerisch oder graphisch
  • stufen sollen benannt werden (Reliabilität, Validität)
61
Q

richtig-falsch-aufgaben:

VORTEILE

A
  • kurze Bearbeitungs- und Auswertungskeit
62
Q

richtig-falsch-aufgaben:

NACHTEILE

A
  • ja/nein Antworten müssen eindeutig beantwortbar sein
  • hoher Prozentsatz an Zufallslösungen möglich
  • wenig differenzierte Infos
  • ja-sage-tendenz
  • schwierigkeit bei stat. Analyse
63
Q

Mehrfachwahlaufgaben: VORTEILE

A
  • ökonomisch, zufällige beantwortung weniger problematisch
64
Q

Mehrfachwahlaufgaben: NACHTEILE

A
  • Antwortalternativen schwierig zu finden (da alle falschen Antworten gleich wahrscheinlich gewählt werden sollen)
  • NUR WIEDERERKENNEN (keine Reproduktion)
  • Antworten können Hinweise geben
65
Q

Zuordnungsaufgaben: VORTEILE

A

ökonomisch

zufällige beantwortung unproblematisch

66
Q

Zuordnungsaufgaben: NACHTEILE

A
  • antwortalternativen finden schwierig

- nur wiedererkennen

67
Q

Umordnungsaufgaben: Beschreibe diesen Antwortformat

A

vorgegebene Fragmente einer Reihenfolge müssen entsprechend sortiert werden

68
Q

Umordnungsaufgaben: VORTEILE

A

bei Materialbearbeitungstests einsetzbar

69
Q

Umordnungsaufgaben: NACHTEILE

A
  • speziell bei Gruppentestungen:
    Material muss in größere Stückzahlen verfügbar sein
  • selten anwendbar
70
Q

Positionseffekte

A

Bearbeitung eines Items hängt von seiner PLATZIERUNG ab

71
Q

Nenne Beispiele von Positionseffekte

A
  • warming up
  • Ermüdung
  • Zeitmangel
  • Abbruch (Online Fragebögen)
72
Q

Reihenfolgeeffekte

A

Bearbeitung eines Items hängt von den Items ab, die zuvor beantwortet wurden

73
Q

Nenne Beispiele von Reihenfolgeeffekte

A
  • Übung
  • Bahnung
  • motivationale Prozesse
74
Q

Bei was für Tests sind Reihenfolgeeffekte KEIN Problem?

A

speed tests

75
Q

Maßnahmen gegen sozialer Erwünschtheit

A
  • forced-choice items
  • skalen zur sozialen erwünschtheit
  • subtilere Formulierung der Items
  • Bei konstrukten die sehr anfällig sind: Validierung durch unaufdringlichere Messverfahren
76
Q

Maßnahmen gegen Antworttendenzen

A
  • spezielle Kontrollskalen

z. B. Validitätsskalen des MMPI-II

77
Q

Was sind Item- und Antwort Biases?

A

systematische Fehler beim Messen

78
Q

Definiere Bias

A

systematische verzerrungen, die alle Messungen in der gleichen Weise beeinflussen

79
Q

“biasfrei”

A

Erfolgswahrscheinlichkeit, das Item zu lösen, für alle Personen mit gleicher Fähigkeit und Untergruppe gleich ist

80
Q

methoden zur identifizierung von biases

A
  • ICC-Kurven für 2 SP verglichen

- Vergleich der Rangreihen der Itemschwierigkeiten in 2 SP

81
Q

Eindimensionalität: Testebene

A

sinnvolle Definition eines hohen/niedrigen Testwerts