3. VL Testkonstruktion II: Entwicklung der Testitems Flashcards
Was ist ein AufgabenSTAMM und was ist ein AufgabenFORMAT?
Aufgabenstamm: Stimulusteil - Frage
Aufgabenformat: Reaktionsteil - Antwort
Welche 3 verschiedenen Aufgabenformate bzw. Aufgabentypen können unterschieden werden?
- Aufgabe mit FREIEM Antwortformat
- Aufgabe mit GEBUNDENEM Antwortformat
- Aufgaben mit ATYPISCHEN Antwortformat
- Aufgabe mit freiem Antwortformat: Welche beiden Aufgaben gibt es?
- 1 Kurzaufsatzaufgabe: Antwort in Form von einem Kurzaufsatz
- 2 Ergänzungsaufgabe: Sinnvolle Ergänzung des Aufgabenstamms durch Schlüsselworte oder kurze Darstellung oder Oberbegriffe finden
Nenne die Vor- und Nachteile von Items mit freiem Antwortformat:
Vorteile:
- Reproduktion von Wissen, nicht zufällig richtige Antwort
- detaillierte Information
- gut zur Erfassung der Kreativität oder Motiven
- gut in frühen Phasen der Theorie (Testentwicklung)
Nachteile:
- zeitaufwändig in Erhebung und Auswertung
- eingeschränkte Auswertungsobjektivität
- sprachliche Fertigkeiten beeinflussen die Leistung
- Ergänzungsaufgaben testen vor allem das Faktenwissen
- Welche 3 Typen gibt es bei den gebundenen Antwortformaten?
- 1 Ordnungsaufgaben
- 2 Auswahlaufgaben
- 3 Beurteilungsaufgaben
2.1 Beschreibe die beiden Ordnungsaufgaben:
- 1.1 Zuordnungsaufgaben: Zeichen/Inhalte anderen Zeichen/Inhalte zuordnen.
- 1.2 Umordnungsaufgabe: Bilder oder Inhalte in logische Reihenfolge bringen.
2.1 Nenne die Vor- und Nachteile der Ordnungsaufgaben:
Vorteile:
- objektiv und einfach
- weniger beeinflusst durch Lesefähigkeit
- zufällige Beantwortung weniger problematisch als bei Auswahlaufgaben
- eignet sich auch zur Überprüfung von Wissen (v.a bei Zuordnungsaufgabe), Schlussfolgerungen sowie Ursache-Wirkung (v.a bei Umordnungsaufgaben)
- ökonomisch (v.a Zuordnungsaufgabe)
Nachteile:
- statt freie Reproduktion: nur Wiedererkennen
- nach jeder richtigen Antwort nehmen die Freiheitsgrade ab (eigentlich nach allen!)
- Materialverbrauch ist bei Umordnungsaufgaben hoch!
2.2 Auswahlaufgaben: Nenne die beiden Typen!
- 2.1 Dichotome Aufgabe: Richtig/Falsch Aufgaben
2. 2.2 Mehrfachwahlaufgabe: Multiple Choice Aufgaben (A-Typ und K-Typ)
2.2.1 Nenne die Vor- und Nachteile der Dichotomen Aufgaben
Vorteile:
- kurze Bearbeitungs-, Auswertungs- und Lösungszeit
- Testinstruktion ist in der Regel leicht zu verstehen
Nachteile:
- wenig differenzierte Informationen
- Zufallslösung bei 50%
- Ja/Nein-Items müssen so formuliert werden, dass sie eindeutig beantwortet werden können
- erhöhte Ja-Sager-Tendenz bei Ja/Nein-Items
2.2.2 Nenne die Vor- und Nachteile der Mehrfachauswahlaufgaben:
Vorteile:
- Durchführung und Auswertung sind ökonomisch & objektiv
- je mehr Antwortalternativen, umso weniger problematisch eine zufällige Beantwortung
Nachteile:
- geeignete Antwortalternativen zu finden ist oft schwierig (alle “falschen” Antworten sollten gleich wahrscheinlich gewählt werden)
- Aufgabenstellung (und/oder Distraktoren) können schon Hinweise auf die richtige Lösung enthalten
- Wiedererkennen anstatt Reproduktion wird verlangt
- nicht für alle Konstrukte sinnvoll
2.2 Auswahlaufgaben: Erkläre den Begriff Distraktor
Distraktor: Falsche Antwortalternative
Sollten ähnlich sein, so dass der Auswahlprozess für die Probanden ohne Kenntnis schwierig wird.
- sollten plausibel aussehen
- alle Alternativen ähnliche Länge & gramm. Struktur
- Alternativen möglichst kurz halten
- nicht mehrere Distraktoren mit gleichem Inhalt
- Position der korrekten Antwort soll variieren
- Antwort soll mit Stamm übereinstimmen
- “All of the above” und “none of the above” eher sparsam und gezielt benutzen
Merke: Muss also deutlich von den guten Studenten auch gut gelöst werden können!
2.2 Auswahlaufgaben: Erkläre Disjunktheit
Disjunktheit: Antwortalternativen sollten sich gegenseitig ausschliessen.
Beispiel: Geben sie ihren Zivilstand an:
disjunkt:
ledig, verheiratet, verwitwet, getrennt, geschieden
nicht disjunkt:
ledig, offene Partnerschaft, monogame Partnerschaft, mit einem Partner lebend, verwitwet
2.2 Auswahlaufgaben: Erkläre Exhausivität
Exhausivität: Vollständigkeit der Antwortalternativen
Bsp. Welche Aussage passt zu ihrer Beziehung:
offene - monogame - andere
Spezialfall: Forced Choice
2.3 Welche beiden Typen gibt es bei den Beurteilungsaufgaben?
- 3.1 Analogskala-Aufgaben
- 3.2 Ratingskala-Aufgaben
Persönlichkeitstest (Ausprägung des Merkmals):
- Zustimmungs- oder Ablehnungsgrad zu einer im Aufgabenstamm vorgelegten Aussage
- Antwortkategorien sind Item-unspezifisch formuliert, sie gelten einheitlich für alle Items des Tests
Direkt gestufte Ratingskala:
- mehrstufige Ratingskalen: Es handelt sich um mehr als zwei abgestufte Antwortkategorien, die eine Rangordnung darstellen sollen.
Kontinuierliche Analogskala:
- Messung von psychometrischen Merkmalen
2.3.2 Ratingskala: Wie viele Stufen sollte eine Skala haben?
In der Regel werden 3-7 Stufen verwendet, je nach dem vermuteten Grad der kognitiven Differenziertheit des zu testenden Konstruktes!
Spezialfall: Visuelle (Bsp. Smileys)
2.3.2 Ratingskala: Was bedeutet Unipolar und Bipolar?
Unipolar: Geht von einem “Nullpunkt” aus und nur in eine Richtung. Bsp: Wie oft fahren sie Auto?
nie - selten - manchmal - oft - sehr oft
Bipolar: Geht von einem negativen Pol über einen Nullpunkt (Indifferenz: weder noch) bis zu einem positiven Pol.
Bsp. Ich fühle mich oft angespannt und nervös.
geht von starke Ablehnung - starke Zustimmung
Spezialfall: Bipolare Adjektive
2.3.2 Ratingskala: Welche Bezeichnung der Skalen gibt es?
- Numerisch
- Verbal
- Optisch
- Gemischt
Merke: Die verbale hat den Vorteil, dass sie durch sprachliche Umschreibung einheitlich ist, aber eine Benennung mit Zahlen soll oftmals bewirken, dass die Ratingskala wie eine Intervallskala benutzt wird.
Bei einer Kombination der beiden erhofft man sich die Vorteile von beiden.
2.3.2 Ratingskala: Was ist eine neutrale Mittelkategorie und eine Weiss-Nicht-Kategorie?
Neutrale Mittelkategorie:
- nicht immer eindeutig interpretierbar
- Unentschiedenheit, versteht Item nicht, hält Item für unpassend, verweigert die Antwort, Unmotiviertheit
Bsp. “stimme mässig zu”
Weiss-Nicht-Kategorie:
Bsp. Essen sie gerne Sushi?
Ja - Nein - Weiss nicht
2.3.2 Ratingskala: Was sind Reverse kodierte (interverierte) Items?
Items mit einer negativen Valenz, d.h sie gehen in die umgekehrte Richtung in der Erfassung des Merkmals.
d.h. Selbes Merkmal in die andere Richtung testen. Falls die Person z.B demotiviert ist, wird sie trotzdem immer Ja klicken.
Von 1-5 wird dann 5-1 –> Item hat also immer noch denselben Score. (p. 34)
2.3.2 Ratingskala: Was ist bei der Intensität und Häufigkeit der Items zu beachten?
Bei Meinungsumfragen sollten negative und positive Einstellung gleich verteilt sein, um Verzerrungen in eine positive oder negative Richtung zu vermeiden.
2.3.2 Ratingskala: Was bedeutet eine Asymmetrische Beurteilungsskala?
Asymmertrische Beurteilungsskala: Die Häufigkeitsabstufungen sind ungleich gross.
2.3.2 Nenne die Vor- und Nachteile der Beurteilungsaufgaben mit mehrstufigen Ratingskala
Vorteile:
- ökonomisch in der Durchführung
- kürzere Bearbeitungszeit
- relativ differenzierte Informationen
Nachteile:
- Konstruktion kann sehr aufwändig sein
- subjektiv unterschiedliche Auffassung der Abstufungen (eigentlich ordinalskaliert)
- mittlere oder neutrale Antwortkategorien kann problematisch sein
- Verfälschungen (z.B Antworttendenzen)
Welche Allgemeinen Probleme kann es bei der Itembeantwortung geben?
- Systematische Fehler - vermindert die Validität
- absichtlich Fälschen (Simulation)
- Verfälschung durch Optimizing-Satisficing Motivation
- Soziale Erwünschtheit
- Antworttendenzen
Beschreibe das Optimizing-Satisficing-Modell:
Optimizing: Positiver Grund als Motivation für Teilnahme (Bsp. Selbstbild, Altruismus, Belohnung) –> zwar gründliche Bearbeitung, aber Verzerrung
Satisficing: zur Teilnahme verpflichtet / beiläufige Teilnahme. –> oberflächliche Beantwortung der Items
Beschreibe die soziale Erwünschtheit?
- Selbst- vs. Fremdtäuschung
- Verringerung durch Aufklärung des Untersuchungsgegenstandes, Anonymität ect.
Was versteht man unter Antworttendenzen und welche gibt es?
Antworttendenzen (response sets) … die von der zu messenden Personeneigenschaft unabhängige Neigung einer Person, die Ratingskala in eine bestimmte Art und Weise zu gebrauchen.
Bsp:
- Tendenz zur Mitte
- Akquieszenz (Ja-Sager-Tendenz)
