2. Testkonstruktion Flashcards
Nenne die 10 Phasen der Testkonstruktion
- Anforderungsanalyse und Problemstellung
- Planung
- Eingrenzung des Merkmals
- Testentwurf
- Überprüfung des Testentwurfs
- Verteilungsanalyse
- Itemanalyse/-selection
- Kriterienkontrolle
- Revision des Tests
- Eichung
Phasen der Testkonstruktion:
wie können die Phasen 1-3 zusammengefasst warden?
“Erarbeiten einer Konstruktdefinition”
Wie können die Phasen 4-10 zusammengefasst werden?
“Entwicklung des Messinstruments”
Anforderungsanalyse: nenne die 3 Ansätze
erfahrungsgeleitet-intuitive Methode
analytisch-empirische Methode
personenbezogen-empirische Methode
Erfasse kurz was die Phase 1 (Anforderungsanalyse) erfordet?
was braucht man für diese Aufgabe?
was muss unser messinstrument leisten?
Erfasse die erfahrungsgeleitet-intuitive methode
annäherung an elemente des messgegenstandes
top-down
Erfasse die analytisch-empirische methode
bottom-up
- -> identification der elemente des messgegenstandes
- -> durch standardisierte beobachtungs-/befragungsinstrumente
Erfasse die personenbezogen-empirische Methode
- basiert auf empirisch abgesicherte zusammenhänge
Was ist ZIEL der Anforderungsanalyse?
Identifikation der Elemente des Messgegenstandes
nenne phase 2 der testkonstruktion
Planung / Literatursuche
Phase 2: Planung und Literatursuche
- Sichtung existierender Theorie
- theoretische Grundlagen
Nenne Phase 3 der Testkonstruktion
Eingrenzung des Merkmals
Beschriebe Phase 3 (Eingrenzung des Merkmals)
erstellung einer arbeitsdefinition
Worauf muss man bei Phase 3 der Testkonstruktion achten
Merkmalsbereich soll nicht ZU BREIT sein
- zu breite Merkmalsbereiche lassen sich nciht mit 1 Skala erfassen
Nenne Phase 4 der Testkonstruktion
Testentwurf
Beschreibe den Vorgang der 4. Phase (Testentwurf)
a) Festlegung der…
- Zielgruppe
- Art der Info (objektiv/subjektiv)
- Zweck des Tests
- Fragetyp
- Antwortformat
- Itemauswahl
b) Testentwurf testen
Nenne Phase 5 der Testkonstruktion
Überprüfung des Testentwurfs
Beschreibe Phase 5 (Überprüfung)
- Testentwurf soll an einer geeigneten SP getestet warden
N>100
Nenne Phase 6
Verteilungsanalyse
Normal? 2-gipflig?
Nenne Phase 7
Itemanalyse
Beschreibe Phase 7 (Itemanalyse)
Itemsschwierigkeit?
Streuung?
Trennschärfe?
ausschluss: Items, die von allen oder keinen gelöst werden können
Nenne Phase 8
Kriteriumskontrolle
Beschreibe Phase 8 (Kriteriumskontrolle)
Bestimmung von OBEJKTIVITÄT
RELIABILITÄT
VALIDITÄT
(selten warden ALLE Aspekte bestimmt)
Nenne Phase 9
Revision des Tests
psychometrische Prüfung
Nenne Phase 10
Eichung (Normierung)
Beschreibe Phase 10 (Eichung)
Normen erheben (an einer repräsentativen Population)# Cut-off werte bestimmen
Nenne die 3 Zugangsweisen zur Testkonstruktion (Fragebögen)
- deduktiver ansatz
- induktiver ansatz
- kriteriumsbezogener ansatz
wie wird der deduktiver ansatz sonst genannt?
rationale ansatz
korrespondenzansatz
wie wird der induktiver ansatz sonst genannt?
internaler ansatz
wie wird der kriteriumsbezogener ansatz sonst genannt?
externaler ansatz
Kann man verschiedene Ansätze KOMBINIEREN
ja
Definiere “Item”
kleinste Analyseeinheit eines Tests
Nenne ein Beispiel vom deduktiven Ansatz
HAWIE-R
Intelligenztest von Wechsler
Nenne ein Beispiel vom induktiven Ansatz
Neo-FFI
Big 5
Kriteriumsbezogener Ansatz: Beispiel
Minnesota Multiphasic Personality Inventory
MMPI
Wie viele Items hat der MMPI?
550 (anfangs 1000)
Beschreibe den deduktiven Ansatz
- Vorliegen einer Theorie
- definition des konstrukts
- direkter zusammenhang zwischen item und konstrukt
Deduktiver Ansatz: Vorteile
Validitätskriterien z.B: Augenscheinvalidität
Deduktiver Ansatz: Nachteil
Selbstdarstellungstendenzen
was ist bei dem induktiven ansatz wichtig?
große breite Zahl von Items
beschreibe den kriteriumsbezogenen ansatz
- verschiedene personengruppen
- große breite zahl von items
ZIEL: Differenzierung der Gruppen
in Fragebögen: Item =
Itemstamm + Antwortformat
Was für Faktoren sollen bei der Festlegung der ANZAHL der Items beachtet werden?
Ökonomie Reliabilität der skala Einsatzzweck (indiviueldiagnose/gruppenvergleich?) motivation ermüdung
bei welcher Art von Mekmale werden mehr items benötigt?
weitdefinierte merkmale
in der vorläufigen Testversion werden ____ Items benötigt
MEHR
FORMULIERUNG der Fragebögenitems:
“Aphorisms for a questionnaire”
- keep it simple (KISS)
- one thing at a time
- little words work best
- two lines are too many
- long is wrong
- when in doubt, leave it out
- reasons for asking are not reasons for answering
- answers are questions
FORMULIERUNG der Fragebögenitems:
inhaltlcihe Gesichtspunkte
- Besonderheiten der Zielgruppe beachten
- Vermeidung von…
- —- zu intimen items
- —- Fachjargon
- —-verletzenden Formulierungen
FORMULIERUNG der Fragebögenitems:
Maßnahmen zur Verbesserung
- items nach VERSTÄNDLICHKEIT überprüfen lassen
FORMULIERUNG der Fragebögenitems:
wann ist eine überprüfung besonders wichtig?
wenn testersteller nicht teil der zielgruppe ist
Nenne die zwei übergeordnete Arten des Antwortformats
- gebunden
- frei
Vergleiche gebundene Antworten mit freie Antworten
G: Testpersonen wählen aus 2 oder mehreren Antwortsmöglichkeiten
F: Testpersonen generieren Antwort selbst
Nenne die Arten von gebundene Antwortformats
- mehrstufige Ratingskalen
- richtig-falsch aufgaben
- mehrfachwahlaufgaben
- zuordnungsaufgaben
- umordnungsaufgaben
Gebundenes Antwortformat:
Allgemeine Vorteile
- Auswertungsökonomie
- Objektivität
- Reaktionssicherheit
Gebundenes Antwortformat:
Allgemeine Nachteile
- für manche konstrukte schwierig anwendbar
- raten
- motivation
- antworttendenzen
Freies Antwortformat:
Allgemeine Vorteile
- erfassung spontaner reaktionen + kreative Leistung
- Konstruktion komplexer Aufgaben
- wenig Gefahr von Ratetendenzen
Freies Antwortformat:
Nenne die verschiedene Antwortmodi und jeweils ein Beispiel
- verbal (HAWI)
- schriftlich (IST)
- zeichnerisch (LGT)
Gebundenes Antwortformat:
Erfasse die Vorteile der mehrstufigen Ratingsskalen
- differenzierte Informationen
- ökonomisch
Gebundenes Antwortformat:
Erfasse die Nachteile der mehrstufigen Ratingsskalen
- Abstufungen können subjektiv eingeschätzt werden
- Antworttendenzen
- Ambivalenz-Indifferenzproblem
- optimale anzahl der antwortoptionen unklar
was soll bei der mehrstufigen Ratingskala VERMIEDEN werden?
- zu wenige/viele Stufen
5/7 beste Wahl
Beschreibe Mehrstufige Ratingsskalen
- quantitativ
- bipolar oder unipolar
- mehr als 2 Antwortoptionen
- verbal, numerisch oder graphisch
- stufen sollen benannt werden (Reliabilität, Validität)
richtig-falsch-aufgaben:
VORTEILE
- kurze Bearbeitungs- und Auswertungskeit
richtig-falsch-aufgaben:
NACHTEILE
- ja/nein Antworten müssen eindeutig beantwortbar sein
- hoher Prozentsatz an Zufallslösungen möglich
- wenig differenzierte Infos
- ja-sage-tendenz
- schwierigkeit bei stat. Analyse
Mehrfachwahlaufgaben: VORTEILE
- ökonomisch, zufällige beantwortung weniger problematisch
Mehrfachwahlaufgaben: NACHTEILE
- Antwortalternativen schwierig zu finden (da alle falschen Antworten gleich wahrscheinlich gewählt werden sollen)
- NUR WIEDERERKENNEN (keine Reproduktion)
- Antworten können Hinweise geben
Zuordnungsaufgaben: VORTEILE
ökonomisch
zufällige beantwortung unproblematisch
Zuordnungsaufgaben: NACHTEILE
- antwortalternativen finden schwierig
- nur wiedererkennen
Umordnungsaufgaben: Beschreibe diesen Antwortformat
vorgegebene Fragmente einer Reihenfolge müssen entsprechend sortiert werden
Umordnungsaufgaben: VORTEILE
bei Materialbearbeitungstests einsetzbar
Umordnungsaufgaben: NACHTEILE
- speziell bei Gruppentestungen:
Material muss in größere Stückzahlen verfügbar sein - selten anwendbar
Positionseffekte
Bearbeitung eines Items hängt von seiner PLATZIERUNG ab
Nenne Beispiele von Positionseffekte
- warming up
- Ermüdung
- Zeitmangel
- Abbruch (Online Fragebögen)
Reihenfolgeeffekte
Bearbeitung eines Items hängt von den Items ab, die zuvor beantwortet wurden
Nenne Beispiele von Reihenfolgeeffekte
- Übung
- Bahnung
- motivationale Prozesse
Bei was für Tests sind Reihenfolgeeffekte KEIN Problem?
speed tests
Maßnahmen gegen sozialer Erwünschtheit
- forced-choice items
- skalen zur sozialen erwünschtheit
- subtilere Formulierung der Items
- Bei konstrukten die sehr anfällig sind: Validierung durch unaufdringlichere Messverfahren
Maßnahmen gegen Antworttendenzen
- spezielle Kontrollskalen
z. B. Validitätsskalen des MMPI-II
Was sind Item- und Antwort Biases?
systematische Fehler beim Messen
Definiere Bias
systematische verzerrungen, die alle Messungen in der gleichen Weise beeinflussen
“biasfrei”
Erfolgswahrscheinlichkeit, das Item zu lösen, für alle Personen mit gleicher Fähigkeit und Untergruppe gleich ist
methoden zur identifizierung von biases
- ICC-Kurven für 2 SP verglichen
- Vergleich der Rangreihen der Itemschwierigkeiten in 2 SP
Eindimensionalität: Testebene
sinnvolle Definition eines hohen/niedrigen Testwerts
