3. VL Testkonstruktion II: Entwicklung der Testitems Flashcards

1
Q

Was ist ein AufgabenSTAMM und was ist ein AufgabenFORMAT?

A

Aufgabenstamm: Stimulusteil - Frage
Aufgabenformat: Reaktionsteil - Antwort

How well did you know this?
1
Not at all
2
3
4
5
Perfectly
2
Q

Welche 3 verschiedenen Aufgabenformate bzw. Aufgabentypen können unterschieden werden?

A
  1. Aufgabe mit FREIEM Antwortformat
  2. Aufgabe mit GEBUNDENEM Antwortformat
  3. Aufgaben mit ATYPISCHEN Antwortformat
How well did you know this?
1
Not at all
2
3
4
5
Perfectly
3
Q
  1. Aufgabe mit freiem Antwortformat: Welche beiden Aufgaben gibt es?
A
  1. 1 Kurzaufsatzaufgabe: Antwort in Form von einem Kurzaufsatz
  2. 2 Ergänzungsaufgabe: Sinnvolle Ergänzung des Aufgabenstamms durch Schlüsselworte oder kurze Darstellung oder Oberbegriffe finden
How well did you know this?
1
Not at all
2
3
4
5
Perfectly
4
Q

Nenne die Vor- und Nachteile von Items mit freiem Antwortformat:

A

Vorteile:

  • Reproduktion von Wissen, nicht zufällig richtige Antwort
  • detaillierte Information
  • gut zur Erfassung der Kreativität oder Motiven
  • gut in frühen Phasen der Theorie (Testentwicklung)

Nachteile:

  • zeitaufwändig in Erhebung und Auswertung
  • eingeschränkte Auswertungsobjektivität
  • sprachliche Fertigkeiten beeinflussen die Leistung
  • Ergänzungsaufgaben testen vor allem das Faktenwissen
How well did you know this?
1
Not at all
2
3
4
5
Perfectly
5
Q
  1. Welche 3 Typen gibt es bei den gebundenen Antwortformaten?
A
  1. 1 Ordnungsaufgaben
  2. 2 Auswahlaufgaben
  3. 3 Beurteilungsaufgaben
How well did you know this?
1
Not at all
2
3
4
5
Perfectly
6
Q

2.1 Beschreibe die beiden Ordnungsaufgaben:

A
  1. 1.1 Zuordnungsaufgaben: Zeichen/Inhalte anderen Zeichen/Inhalte zuordnen.
  2. 1.2 Umordnungsaufgabe: Bilder oder Inhalte in logische Reihenfolge bringen.
How well did you know this?
1
Not at all
2
3
4
5
Perfectly
7
Q

2.1 Nenne die Vor- und Nachteile der Ordnungsaufgaben:

A

Vorteile:

  • objektiv und einfach
  • weniger beeinflusst durch Lesefähigkeit
  • zufällige Beantwortung weniger problematisch als bei Auswahlaufgaben
  • eignet sich auch zur Überprüfung von Wissen (v.a bei Zuordnungsaufgabe), Schlussfolgerungen sowie Ursache-Wirkung (v.a bei Umordnungsaufgaben)
  • ökonomisch (v.a Zuordnungsaufgabe)

Nachteile:

  • statt freie Reproduktion: nur Wiedererkennen
  • nach jeder richtigen Antwort nehmen die Freiheitsgrade ab (eigentlich nach allen!)
  • Materialverbrauch ist bei Umordnungsaufgaben hoch!
How well did you know this?
1
Not at all
2
3
4
5
Perfectly
8
Q

2.2 Auswahlaufgaben: Nenne die beiden Typen!

A
  1. 2.1 Dichotome Aufgabe: Richtig/Falsch Aufgaben

2. 2.2 Mehrfachwahlaufgabe: Multiple Choice Aufgaben (A-Typ und K-Typ)

How well did you know this?
1
Not at all
2
3
4
5
Perfectly
9
Q

2.2.1 Nenne die Vor- und Nachteile der Dichotomen Aufgaben

A

Vorteile:

  • kurze Bearbeitungs-, Auswertungs- und Lösungszeit
  • Testinstruktion ist in der Regel leicht zu verstehen

Nachteile:

  • wenig differenzierte Informationen
  • Zufallslösung bei 50%
  • Ja/Nein-Items müssen so formuliert werden, dass sie eindeutig beantwortet werden können
  • erhöhte Ja-Sager-Tendenz bei Ja/Nein-Items
How well did you know this?
1
Not at all
2
3
4
5
Perfectly
10
Q

2.2.2 Nenne die Vor- und Nachteile der Mehrfachauswahlaufgaben:

A

Vorteile:

  • Durchführung und Auswertung sind ökonomisch & objektiv
  • je mehr Antwortalternativen, umso weniger problematisch eine zufällige Beantwortung

Nachteile:

  • geeignete Antwortalternativen zu finden ist oft schwierig (alle “falschen” Antworten sollten gleich wahrscheinlich gewählt werden)
  • Aufgabenstellung (und/oder Distraktoren) können schon Hinweise auf die richtige Lösung enthalten
  • Wiedererkennen anstatt Reproduktion wird verlangt
  • nicht für alle Konstrukte sinnvoll
How well did you know this?
1
Not at all
2
3
4
5
Perfectly
11
Q

2.2 Auswahlaufgaben: Erkläre den Begriff Distraktor

A

Distraktor: Falsche Antwortalternative
Sollten ähnlich sein, so dass der Auswahlprozess für die Probanden ohne Kenntnis schwierig wird.

  • sollten plausibel aussehen
  • alle Alternativen ähnliche Länge & gramm. Struktur
  • Alternativen möglichst kurz halten
  • nicht mehrere Distraktoren mit gleichem Inhalt
  • Position der korrekten Antwort soll variieren
  • Antwort soll mit Stamm übereinstimmen
  • “All of the above” und “none of the above” eher sparsam und gezielt benutzen

Merke: Muss also deutlich von den guten Studenten auch gut gelöst werden können!

How well did you know this?
1
Not at all
2
3
4
5
Perfectly
12
Q

2.2 Auswahlaufgaben: Erkläre Disjunktheit

A

Disjunktheit: Antwortalternativen sollten sich gegenseitig ausschliessen.

Beispiel: Geben sie ihren Zivilstand an:

disjunkt:
ledig, verheiratet, verwitwet, getrennt, geschieden

nicht disjunkt:
ledig, offene Partnerschaft, monogame Partnerschaft, mit einem Partner lebend, verwitwet

How well did you know this?
1
Not at all
2
3
4
5
Perfectly
13
Q

2.2 Auswahlaufgaben: Erkläre Exhausivität

A

Exhausivität: Vollständigkeit der Antwortalternativen

Bsp. Welche Aussage passt zu ihrer Beziehung:
offene - monogame - andere

Spezialfall: Forced Choice

How well did you know this?
1
Not at all
2
3
4
5
Perfectly
14
Q

2.3 Welche beiden Typen gibt es bei den Beurteilungsaufgaben?

A
  1. 3.1 Analogskala-Aufgaben
  2. 3.2 Ratingskala-Aufgaben

Persönlichkeitstest (Ausprägung des Merkmals):

  • Zustimmungs- oder Ablehnungsgrad zu einer im Aufgabenstamm vorgelegten Aussage
  • Antwortkategorien sind Item-unspezifisch formuliert, sie gelten einheitlich für alle Items des Tests

Direkt gestufte Ratingskala:
- mehrstufige Ratingskalen: Es handelt sich um mehr als zwei abgestufte Antwortkategorien, die eine Rangordnung darstellen sollen.

Kontinuierliche Analogskala:
- Messung von psychometrischen Merkmalen

How well did you know this?
1
Not at all
2
3
4
5
Perfectly
15
Q

2.3.2 Ratingskala: Wie viele Stufen sollte eine Skala haben?

A

In der Regel werden 3-7 Stufen verwendet, je nach dem vermuteten Grad der kognitiven Differenziertheit des zu testenden Konstruktes!
Spezialfall: Visuelle (Bsp. Smileys)

How well did you know this?
1
Not at all
2
3
4
5
Perfectly
16
Q

2.3.2 Ratingskala: Was bedeutet Unipolar und Bipolar?

A

Unipolar: Geht von einem “Nullpunkt” aus und nur in eine Richtung. Bsp: Wie oft fahren sie Auto?
nie - selten - manchmal - oft - sehr oft

Bipolar: Geht von einem negativen Pol über einen Nullpunkt (Indifferenz: weder noch) bis zu einem positiven Pol.
Bsp. Ich fühle mich oft angespannt und nervös.
geht von starke Ablehnung - starke Zustimmung
Spezialfall: Bipolare Adjektive

17
Q

2.3.2 Ratingskala: Welche Bezeichnung der Skalen gibt es?

A
  • Numerisch
  • Verbal
  • Optisch
  • Gemischt

Merke: Die verbale hat den Vorteil, dass sie durch sprachliche Umschreibung einheitlich ist, aber eine Benennung mit Zahlen soll oftmals bewirken, dass die Ratingskala wie eine Intervallskala benutzt wird.
Bei einer Kombination der beiden erhofft man sich die Vorteile von beiden.

18
Q

2.3.2 Ratingskala: Was ist eine neutrale Mittelkategorie und eine Weiss-Nicht-Kategorie?

A

Neutrale Mittelkategorie:
- nicht immer eindeutig interpretierbar
- Unentschiedenheit, versteht Item nicht, hält Item für unpassend, verweigert die Antwort, Unmotiviertheit
Bsp. “stimme mässig zu”

Weiss-Nicht-Kategorie:
Bsp. Essen sie gerne Sushi?
Ja - Nein - Weiss nicht

19
Q

2.3.2 Ratingskala: Was sind Reverse kodierte (interverierte) Items?

A

Items mit einer negativen Valenz, d.h sie gehen in die umgekehrte Richtung in der Erfassung des Merkmals.

d.h. Selbes Merkmal in die andere Richtung testen. Falls die Person z.B demotiviert ist, wird sie trotzdem immer Ja klicken.

Von 1-5 wird dann 5-1 –> Item hat also immer noch denselben Score. (p. 34)

20
Q

2.3.2 Ratingskala: Was ist bei der Intensität und Häufigkeit der Items zu beachten?

A

Bei Meinungsumfragen sollten negative und positive Einstellung gleich verteilt sein, um Verzerrungen in eine positive oder negative Richtung zu vermeiden.

21
Q

2.3.2 Ratingskala: Was bedeutet eine Asymmetrische Beurteilungsskala?

A

Asymmertrische Beurteilungsskala: Die Häufigkeitsabstufungen sind ungleich gross.

22
Q

2.3.2 Nenne die Vor- und Nachteile der Beurteilungsaufgaben mit mehrstufigen Ratingskala

A

Vorteile:

  • ökonomisch in der Durchführung
  • kürzere Bearbeitungszeit
  • relativ differenzierte Informationen

Nachteile:

  • Konstruktion kann sehr aufwändig sein
  • subjektiv unterschiedliche Auffassung der Abstufungen (eigentlich ordinalskaliert)
  • mittlere oder neutrale Antwortkategorien kann problematisch sein
  • Verfälschungen (z.B Antworttendenzen)
23
Q

Welche Allgemeinen Probleme kann es bei der Itembeantwortung geben?

A
  • Systematische Fehler - vermindert die Validität
  • absichtlich Fälschen (Simulation)
  • Verfälschung durch Optimizing-Satisficing Motivation
  • Soziale Erwünschtheit
  • Antworttendenzen
24
Q

Beschreibe das Optimizing-Satisficing-Modell:

A

Optimizing: Positiver Grund als Motivation für Teilnahme (Bsp. Selbstbild, Altruismus, Belohnung) –> zwar gründliche Bearbeitung, aber Verzerrung

Satisficing: zur Teilnahme verpflichtet / beiläufige Teilnahme. –> oberflächliche Beantwortung der Items

25
Q

Beschreibe die soziale Erwünschtheit?

A
  • Selbst- vs. Fremdtäuschung

- Verringerung durch Aufklärung des Untersuchungsgegenstandes, Anonymität ect.

26
Q

Was versteht man unter Antworttendenzen und welche gibt es?

A

Antworttendenzen (response sets) … die von der zu messenden Personeneigenschaft unabhängige Neigung einer Person, die Ratingskala in eine bestimmte Art und Weise zu gebrauchen.

Bsp:

  • Tendenz zur Mitte
  • Akquieszenz (Ja-Sager-Tendenz)