3. VL Testkonstruktion II: Entwicklung der Testitems Flashcards
Was ist ein AufgabenSTAMM und was ist ein AufgabenFORMAT?
Aufgabenstamm: Stimulusteil - Frage
Aufgabenformat: Reaktionsteil - Antwort
Welche 3 verschiedenen Aufgabenformate bzw. Aufgabentypen können unterschieden werden?
- Aufgabe mit FREIEM Antwortformat
- Aufgabe mit GEBUNDENEM Antwortformat
- Aufgaben mit ATYPISCHEN Antwortformat
- Aufgabe mit freiem Antwortformat: Welche beiden Aufgaben gibt es?
- 1 Kurzaufsatzaufgabe: Antwort in Form von einem Kurzaufsatz
- 2 Ergänzungsaufgabe: Sinnvolle Ergänzung des Aufgabenstamms durch Schlüsselworte oder kurze Darstellung oder Oberbegriffe finden
Nenne die Vor- und Nachteile von Items mit freiem Antwortformat:
Vorteile:
- Reproduktion von Wissen, nicht zufällig richtige Antwort
- detaillierte Information
- gut zur Erfassung der Kreativität oder Motiven
- gut in frühen Phasen der Theorie (Testentwicklung)
Nachteile:
- zeitaufwändig in Erhebung und Auswertung
- eingeschränkte Auswertungsobjektivität
- sprachliche Fertigkeiten beeinflussen die Leistung
- Ergänzungsaufgaben testen vor allem das Faktenwissen
- Welche 3 Typen gibt es bei den gebundenen Antwortformaten?
- 1 Ordnungsaufgaben
- 2 Auswahlaufgaben
- 3 Beurteilungsaufgaben
2.1 Beschreibe die beiden Ordnungsaufgaben:
- 1.1 Zuordnungsaufgaben: Zeichen/Inhalte anderen Zeichen/Inhalte zuordnen.
- 1.2 Umordnungsaufgabe: Bilder oder Inhalte in logische Reihenfolge bringen.
2.1 Nenne die Vor- und Nachteile der Ordnungsaufgaben:
Vorteile:
- objektiv und einfach
- weniger beeinflusst durch Lesefähigkeit
- zufällige Beantwortung weniger problematisch als bei Auswahlaufgaben
- eignet sich auch zur Überprüfung von Wissen (v.a bei Zuordnungsaufgabe), Schlussfolgerungen sowie Ursache-Wirkung (v.a bei Umordnungsaufgaben)
- ökonomisch (v.a Zuordnungsaufgabe)
Nachteile:
- statt freie Reproduktion: nur Wiedererkennen
- nach jeder richtigen Antwort nehmen die Freiheitsgrade ab (eigentlich nach allen!)
- Materialverbrauch ist bei Umordnungsaufgaben hoch!
2.2 Auswahlaufgaben: Nenne die beiden Typen!
- 2.1 Dichotome Aufgabe: Richtig/Falsch Aufgaben
2. 2.2 Mehrfachwahlaufgabe: Multiple Choice Aufgaben (A-Typ und K-Typ)
2.2.1 Nenne die Vor- und Nachteile der Dichotomen Aufgaben
Vorteile:
- kurze Bearbeitungs-, Auswertungs- und Lösungszeit
- Testinstruktion ist in der Regel leicht zu verstehen
Nachteile:
- wenig differenzierte Informationen
- Zufallslösung bei 50%
- Ja/Nein-Items müssen so formuliert werden, dass sie eindeutig beantwortet werden können
- erhöhte Ja-Sager-Tendenz bei Ja/Nein-Items
2.2.2 Nenne die Vor- und Nachteile der Mehrfachauswahlaufgaben:
Vorteile:
- Durchführung und Auswertung sind ökonomisch & objektiv
- je mehr Antwortalternativen, umso weniger problematisch eine zufällige Beantwortung
Nachteile:
- geeignete Antwortalternativen zu finden ist oft schwierig (alle “falschen” Antworten sollten gleich wahrscheinlich gewählt werden)
- Aufgabenstellung (und/oder Distraktoren) können schon Hinweise auf die richtige Lösung enthalten
- Wiedererkennen anstatt Reproduktion wird verlangt
- nicht für alle Konstrukte sinnvoll
2.2 Auswahlaufgaben: Erkläre den Begriff Distraktor
Distraktor: Falsche Antwortalternative
Sollten ähnlich sein, so dass der Auswahlprozess für die Probanden ohne Kenntnis schwierig wird.
- sollten plausibel aussehen
- alle Alternativen ähnliche Länge & gramm. Struktur
- Alternativen möglichst kurz halten
- nicht mehrere Distraktoren mit gleichem Inhalt
- Position der korrekten Antwort soll variieren
- Antwort soll mit Stamm übereinstimmen
- “All of the above” und “none of the above” eher sparsam und gezielt benutzen
Merke: Muss also deutlich von den guten Studenten auch gut gelöst werden können!
2.2 Auswahlaufgaben: Erkläre Disjunktheit
Disjunktheit: Antwortalternativen sollten sich gegenseitig ausschliessen.
Beispiel: Geben sie ihren Zivilstand an:
disjunkt:
ledig, verheiratet, verwitwet, getrennt, geschieden
nicht disjunkt:
ledig, offene Partnerschaft, monogame Partnerschaft, mit einem Partner lebend, verwitwet
2.2 Auswahlaufgaben: Erkläre Exhausivität
Exhausivität: Vollständigkeit der Antwortalternativen
Bsp. Welche Aussage passt zu ihrer Beziehung:
offene - monogame - andere
Spezialfall: Forced Choice
2.3 Welche beiden Typen gibt es bei den Beurteilungsaufgaben?
- 3.1 Analogskala-Aufgaben
- 3.2 Ratingskala-Aufgaben
Persönlichkeitstest (Ausprägung des Merkmals):
- Zustimmungs- oder Ablehnungsgrad zu einer im Aufgabenstamm vorgelegten Aussage
- Antwortkategorien sind Item-unspezifisch formuliert, sie gelten einheitlich für alle Items des Tests
Direkt gestufte Ratingskala:
- mehrstufige Ratingskalen: Es handelt sich um mehr als zwei abgestufte Antwortkategorien, die eine Rangordnung darstellen sollen.
Kontinuierliche Analogskala:
- Messung von psychometrischen Merkmalen
2.3.2 Ratingskala: Wie viele Stufen sollte eine Skala haben?
In der Regel werden 3-7 Stufen verwendet, je nach dem vermuteten Grad der kognitiven Differenziertheit des zu testenden Konstruktes!
Spezialfall: Visuelle (Bsp. Smileys)