3 - Planung und Entwicklung von Tests und Fragebogen

Question 1

Überlegungen vor der Testkonstruktion

Answer 1

• Merkmalsarten (Quantitativ / qualitativ etc)
• Testarten (Leistung, Persönlichkeit, Projektive Verfahren etc)
• Geltungsbereich (Zielgruppe –> spielt auch eine Rolle bei der Analysestichprobe; Auswahl der Eichstichprobe –> zum überprüfen der Kriteriumsvalidität und zur Gewinnung von Normtabellen)
• Testlänge (ist abhängig vom Geltungsbereich. Ist generell ein Kompromiss zwischen Reliabilität und Zumutbarkeit für die Probanden)
• Testadministration (paper-pencil vs Computer, Einzel- vs Gruppentestung)

Question 2

Strategien zur Testkonstruktion

Answer 2

Konstruktionsstrategien:

- Intuitiv / Induktiv (evtl sind die beiden auch getrennt, weiß nicht den Unterschied)

• Verwendung bei Fehlen einer Theorie
• Intuition und Erfahrung
• Neue Forschungszweige

- Deduktiv / Rational

• Deduktives Verfahren
• Ausgehend von einer Theorie wird ein Test konstruiert
• Wichtig! Konstrukt muss ausreichend definiert und spezifiziert sein

- External / Kriteriumsorientiert

• Aufgaben eines Tests sollten bestmöglich differenzieren

- Internal / Faktoranalytisch

• Theoriegeleitet, aber auf Basis eines Pools an Aufgaben wird auf Basis von faktoranalytischen Methoden eine Auswahl getroffen

Question 3

Antwortformate

Answer 3

• freie Antwortformate
• gebundene Antwortformate:
• (Zu-)Ordnungsaufgaben
• Auswahlaufgaben
• Beurteilungsaufgaben
• atypische Antwortformate

Question 4

Freie Antwortformate

Answer 4

Proband generiert Antwort selbst

• Ergänzungsaufgaben
• keine Vorgaben von Antwortalternativen, nur über Umfang und Art der Antwort

Auswertung:

• Kodierung der Antworten anhand von Kategorienschema
• Zuordnung von Zahlencode/Quantifizierung
• Ermittlung der Übereinstimmung (z.B. Cohens Kappa)
• Vorteil: Reproduktion von Wissen; Zufällig richtige Antworten nicht möglich
• Problem: Objektivität der Auswertung!

Question 5

Gebundene Antwortformate

Answer 5

• Proband wählt aus vorgegebenen Alternativen aus
• Hohe Ökonomie (Durchführung wie auch Auswertung) und hohe Auswertungsobjektivität
• Arten gebundener Antwortformate:
• (Zu-)Ordnungsaufgaben
• Auswahlaufgaben
• Beurteilungsaufgaben

Question 6

Gebundene Antwortformate - Ordnungsaufgaben

Answer 6

Richtige Zuordnung von jeweils zwei Elementen (Worte, Zahlen, Zeichnungen)

• Z.B.: Ordnen Sie jedem Land die richtige Hauptstadt zu

Vorteile:

• Durchführung und Auswertung sind ökonomisch.
• Geringe Ratewahrscheinlichkeit.
• Zuordnungsaufgaben eignen sich auch zur Überprüfung von Wissen.

Nachteile:

• Statt Reproduktion wird nur Wiedererkennen von Material verlangt, was nicht für alle Konstrukte sinnvoll ist.
• Antwortalternativen sind nicht unabhängig voneinander. Mit jeder richtigen Zuordnung verringern sich die Freiheitsgrade, aber Wahrscheinlichkeit zufallsbedingter richtiger Antwort steigt

Question 7

Gebundene Antwortformate - Auswahlaufgaben

Answer 7

Aus mehreren vorgegeben Antwortalternativen soll die richtige bzw. zutreffende Antwort identifiziert werden

• Varianten:
• pick k of n
• pick any of n
• Einsatz bei Leistungstests –> Auswahl derjenigen Antwortalternative, die richtig ist
• Voraussetzung: Wahl geeigneter Distraktoren
• Voraussetzung: Disjunktheit der Antwortalternativen (Existenz genau einer richtigen Antwort)
• Einsatz bei Persönlichkeitstests –> Auswahl derjenigen Antwortalternative, die individuell zutreffend ist
• Voraussetzung: Exhaustivität (Vollständigkeit) der Antwortalternativen (Ausschöpfung aller Verhaltensvarianten)

Vorteile:

• Ähnlich ökonomisch wie dichotome Aufgaben
• Ratewahrscheinlichkeit verringert (bei Leistungstests)

Nachteile:

• Reine Wiedererkennen-Aufgaben
• Mängel bei Distraktoren verursachen Verzerrungen

Question 8

Gebundene Antwortformate - Beurteilungsaufgaben

Answer 8

Erfassen den Zustimmungs- oder Ablehnungsgrad zu einer im Aufgabenstamm vorgelegten Aussage als Indikator für die Ausprägung des untersuchten Persönlichkeitsmerkmals

• Arten von Beurteilungsskalen:
• unipolar (gleiche Dimension von geringer bis hoher Ausprägung, z.B. gar nicht zufrieden - sehr zufrieden, 0 bis 10) vs bipolar (zwei versch. gegensätzliche Dimensionen, z. B. negativ - positiv, -5 bis 5)
• analog (kontinuierlich) vs diskret
• Weitere zu beachtende Aspekte
• Anzahl an Skalenstufen
• Bezeichnung der Skalenstufen
• Verwendung einer neutralen Mittelkategorie?
• Verwendung einer „Weiß nicht“-Kategorie?
• Verwendung asymmetrischer Beurteilungsskalen?

Question 9

Systematische Fehlerquellen bei der Itembeantwortung

Answer 9

Systematische Fehlerquellen = common method variance –> Verminderung der Validität der Items

• systematische Varianz, die durch die Messmethode, nicht dem Konstrukt, welches gemessen werden soll, verursacht wird
• im Optimalfall würde nur das latente Merkmal die systematische Varianz in den Itemantworten verursachen (ist aber nie zu 100% so, es gibt viele systematische biases). Die zufällige Varianz (=Messfehler) existiert aber auch in dieser Traumwelt (–> warum???)
• Beispiele:
• soziale Erwünschtheit
• Antworttendenzen

Die Beantwortung eines Items ist ein Prozess und an mehreren Zeitpunkten in diesem Prozess können systematische biases entstehen:

1. Lesen + Verstehen (Fehlerquelle: Item ist mehrdeutig formuliert)
2. Abruf aus dem Gedächtnis (Fehlerquelle: momentane Stimmung, Kontext, an welcher Stelle ist das Item platziert, priming effects, uvm)
3. Urteil (Fehlerquelle: consistency motif, priming effects, uvm)
4. Antwortauswahl (Fehlerquelle: Ankereffekte)
5. Ankreuzen (Fehlerquelle: consistency motif, demand characteristics, leniency bias, social desirability, uvm)

Question 10

Fehlerquelle - Soziale Erwünschtheit

Answer 10

• Selbsttäuschung und Fremdtäuschung
• Es werden eher Meinungen und Einstellungen geäußert, die mit den sozialen Normen und Werten der Gesellschaft übereinstimmen
• Effekt wird verringert, wenn über den Untersuchungsgegenstand aufgeklärt und Anonymität zugesichert wird.
• Einsatz von Kontrollskalen/Lügenskalen

Question 11

Fehlerquelle - Antworttendenzen

Answer 11

• Tendenz zur Mitte/Tendenz zum extremen Urteil –> Vermeidung einer Mittelkategorie und extremer Bezeichnungen der Pole
• Akquieszenz (Zustimmungstendenz) –> Verwendung invertierter Items

Question 12

Stufen der Testkonstruktion

Answer 12

1. Anforderungsanalyse und Problemstellung
2. Planung und Literatursuche
3. Eingrenzung des Merkmals und Arbeitsdefinition
4. Testentwurf
5. Überprüfung des Testentwurfs
6. Verteilungsanalyse
7. Itemanalyse und Itemselektion
8. Kriterienkontrolle
9. Revision des Tests
10. Eichung/Cutt-off-Werte