03 Praxis der Testkonstruktion Flashcards
1
Q
Schritte der Testkonstruktion
A
- Planungsphase
- Aufgabenkonstruktion
- Itemanalyse
- Erstellung der Testendform, Kontrolle der Testgütekriterien
- Normierung
- Manualerstellung und Publikation
- Testpflege
2
Q
Aufgabenarten
A
- Anwortformate:
gebunden, frei, atypisch - Reizvorlage:
sprachlich, Bilder, Videos, Symbole usw.
3
Q
Auswahlstrategien: Konstruktion der Items
A
- Übernahme aus vergleichbaren Verfahren
- Eigenkonstruktion
4
Q
Itemformulierung und -gestaltung
A
- Sprachliche Gestaltung: Vermeidung von
- Mehrdeutigen und schwierigen Begriffen
- Verallgemeinerungen
- Umständlichem langen Items, aber kein Telegrammstil - Antworttendenzen:
- Positions- und seriale Effekte
- Tendenz zur unkritischen Zustimmung bzw. Ablehnung
- Soziale Erwünschtheit, Simulation bzw. Dissimulation
- Tendenz zur Mitte oder zu extremen Antworten
5
Q
Provisorischer Test
A
- Vorläufige Fassung des Tests für weitere Konstruktion, soll weitgehend endgültiger Version entsprechen
- Wird von repräsentativen Konstruktionsstichprobe bearbeitet
- Dient v.a. für Generierung von Daten für weitere Konstruktionsschritte
- Feedback der Probanden
6
Q
Konstruktionsstrategien
A
Strategien zur Zuordnung von Items zu Skalen
- Rationale Strategie: (deduktiv)
- Zuordnung der Items zum Konstrukt auf Grundlage vorliegender Theorien
- Items, die aus theoretischen Gründen zusammengehören, werden zu Subskala zusammengefasst - Intuitive Strategie: (deduktiv)
- Konstruktion geleitet durch Intuition und Erfahrung des Testautors (keine theoretischen Modelle zur Verfügung)
- Oft später ergänzt durch empirische Strategien - Kriteriumsorientierte Strategie: (induktiv, external)
- Empirische Auswahl der Items unter Bezugnahme externer Kriterien
- Items, die bzgl. eines externen Kriteriums gut trennen, werden zu Subskala zusammengefasst
- Skalen eher heterogen
- Validität: Kriterienbezogene Validität
- Somit entstehen eher heterogene Skalen - Faktorenanalytische Strategie: (induktiv, internal)
- Items, die auf jeweiligen Faktoren hoch laden und empirisch zusammengehören, werden zu Subskala zusammengefasst
- Skalen zwangsläufig homogen
- Validität: Konstruktvalidität
- Geschieht per Faktorenanalyse
7
Q
Faktorenanalyse
A
- Statistische Methode zur Datenreduktion
- Ziel: Abbildung Vielzahl an Einzelvariablen durch wenige allgemeine Dimensionen (Faktoren)
In Testkonstruktion: Items zu Subskalen bilden - Faktor: Gemeinsame, Dimension, die mehreren Variablen zugrunde liegt
- Ausgangspunkt: Interkorrelationsmatrix
- Vorgehen:
1. Schrittweise Extraktion orthogonaler Faktoren, solange diese bedeutsame Informationsmenge bilden
2. Rotation der Faktoren und inhaltliche Interpretation
8
Q
Itemanalyse
A
- Ziel: Bestimmung der Qualität eines Items bzgl. der jeweiligen Skala
- Drei zentrale Itemkennwerte: Schwierigkeit, Trennschärfe, Homogenität
- Danach Itemselektion
9
Q
Schwierigkeit
A
- Gibt an, wie schwer bzw. leicht ein Item von betreffenden Zielpopulation gelöst werden kann
- Bei PT: Richtige Lösung bezieht sich darauf, ob Item in Indexrichtung beantwortet wird
- Je höher P, desto leichter ist Item zu lösen
- Schwierigkeit bei Ratingskalen: Negativ gepolte Items müssen VOR Itemanalyse in Indexrichtung umgepolt werden
- Bei mehrstufigen Ratingskalen kann Mittelwert herangezogen werden
- Erwünschte Schwierigkeiten:
Items ungeeignet, wenn alle oder niemand Item löst
-> Gewisse Heterogenität der Schwierigkeiten angestrebt, dass nicht nur im Mittelbereich differenziert wird: Differenzierung über gesamte Breite/ im typischen Bereich vs. Differenzierung im extremen Merkmalsbereich
10
Q
Itemvarianz
A
- Bei Verwendung von Mittelwerten bzw. P als Indikator der Schwierigkeit ist Berücksichtigung der Varianz erforderlich
- Varianz abhängig von Antwortskala
- Bei dichotomen Antworten ist eigenständige Betrachtung der Varianz nicht nötig
- Maximale Varianz bei P = 50 erreicht (an Extremen geringer)
11
Q
Trennschärfe
A
- Wichtigster Itemkennwert
- Wie gut trennt Item Pb mit niedriger Merkmalsausprägung von denen mit hoher?
- Als Kriterium für Merkmalsausprägung wird Gesamtskalenwert herangezogen
- > Inwieweit ist Itemantwort repräsentativ für Gesamtskala?
- Bestimmung: Korrelation des Itemwertes i mit Gesamttestwert t -> rit
- Problem: Item geht selbst in Gesamtwert ein (Selbstkorrelation) –> “Part-Whole-Korrektur”
- Konvergente Trennschärfe: Items sollen hoch mit eigener Skala korrelieren
- Diskriminante Trennschärfe: Items sollen niedrig mit anderen (fremden) Skalen korrelieren
- Zusammenhang von P und rit: Bei mittlerem P höchste Trennschärfe rit
- Eigentreffnschärfe: rit bezieht Item auf eigene Skala (internes Kriterium) -> bedeutsam für Homogenität und Reliabilität einer Testskala
- Fremdtrennschärfe: Bezug auf externes Kriterium -> bedeutsam für (kriterienbezogene) Validität einer Testskala
12
Q
Homogenität
A
- Ausmaß, in dem Items tatsächlich exakt dasselbe erfassen -> vollständige Homogenität nicht erwünscht (Items sollen unters. Facetten erfassen)
- In KTT: Homogenität = Aufgabeninterkorrelation
Für einzelnes Item: Mittlere Korrelation der Items mit anderen Items
Für Gesamtskala: Mittlere Interkorrelation aller Items untereinander
-> Je höher Itemkorrelation, desto homogener sind Items - Homogenität eng mit Trennschärfe verbunden:
Wenn Intemkorrelation untereinander 1, dann auch Trennschärfe von 1
13
Q
Itemselektion
A
- Elimination bzw. Auswahl geeigneten Itemsatzes für Testskala (Ergebnisse der Itemanalyse)
- Wie viele Items behalten?
Festgelegte Maximalzahl vs. Angestrebte Mindestanzahl - Welche Items behalten? -> Statistische Kriterien
- P (je nach Zielsetzung)
- rit möglichst hoch
- Mindestanforderungen
- Hohe Homogenität
- Abwägen von rit und P -> Selektionskennwert
- Methoden zur Auswahl geeigneter Items:
Sel, Quartilmethode, Gulliksentechnik
14
Q
Selektionskennwert
A
- Reine Orientierung an Trennschräfe kann zu übermäßig homogenen Skalen führen
- Sel berücksichtigt, dass Items mit extremerem P weniger rit-Potenzial haben
- Bei gleicher Trennschärfe bevorzugt Sel extreme Items -> Auflockerung der Skalen
- Bei gleichem P bevorzugt Sel trennschärfere Items
- Wichtig:
Sel sollte nicht rein schematisch befolgt werden
Beste Strategie durch Abwägung der Einzelkriterien
Auch differenzierte Betrachtung einzelner Itemeigenschaften nützlich
15
Q
Quartilmethode
A
- Relativ einfache Vorgehensweise: Verteilung der Löser über Quartile
- v.a. wenn sich zwei Items in P und rit übereinstimmen
