Planung und Entwicklung von Tests Fragebögen Flashcards
1
Q
Worin unterscheiden sich Aufgabentyen (Itemtypen) ?
A
- Antwortformat
- klassifiziert nach ihrem Strukturiertheitsgrad: frei, gebunden, atypisch
- Beispiel: “1-2-3-4-5” - Aufgabenstamm
- Leistungstest: Frage- /Problemstellung, für die der Pb eine Lösung finden soll
- Persönlichkeitstest: Frage/ Aussage, zu der der Pb Stellung nehmen soll
- Beispiel: “Manche leute halten mich für kalt und berechnend.”
2
Q
Welche Aufgabentypen und Antwortformate gibt es?
A
- Freies Antwortformat:
- Kurzaufsatzaufg.
- Ergänzungsaufg. - Gebundenes Antwortformat:
- Ordnungsaufg. (Zuordnung, Umordnung)
- Auswahlaufg. (Dichtom, Merfachwahl)
- Beurteilungsaufg. (Analogskalen, Ratingskalen) - Atypisches Antwortformat
3
Q
Nenne Beispiel für Kurzaufsatzaufgaben.
A
- Ideenreichtum
Geben Sie so viele kreative Ideen wie möglich an, was man mit einer Garnrolle und einem Nagel machen könnte. - Projektive Verfahren
Was meinst Du wohl, was der Junge oder das Mädchen auf dem Bilde darauf antwortet? Schreib immer die erste Antwort, die Dir dazu einfällt, in das freigelassene Viereck.
4
Q
Nenne Vorteile von Kurzaufsatzaufgaben.
A
- Reproduktion von Wissen bzw. selbst erzeugte Antwort
2. Keine zufällig richtigen Antworten möglich, keine Auswahl aus vorgefertigtenAntworten
5
Q
Nenne Nachteile von Kurzaufsatzaufgaben.
A
- Zeitaufwendig für Pbn und Testauswerter
- Eingeschränkte Auswertungsobjektivität
- Stark an sprachliche Fähigkeiten gebunden
- Mehrdeutige Antworten
- > Genaue Angaben des Testkonstrukteurs bezüglich richtiger Kodierung der Antworten unerlässlich!
6
Q
Nenne Beispiele von Ergänzungsaufgaben.
A
- Specht und Ente sind: ________
2. Depression und ________ sind die dominierenden Emotionen bei _________ Störungen.
7
Q
Nenne Vorteile von Ergänzungsaufgaben.
A
- Reproduktion gespeicherten Wissens notwendig, nicht nur Wiedererkennung
- keine „zufällig“ richtigen Antworten
- Objektivität gewährleistet wenn Instruktion und Auswertung standardisiert sind
- Auswertung des Lösungswegs
8
Q
Nenne Nachteile von Ergänzungsaufgaben.
A
- Nur Faktenwissen
- Suggestivwirkungen
- Auswertungsobjektivität ggf. eingeschränkt
- Zeitaufwändige Bearbeitung und Auswertung
9
Q
Nenne ein Beispiel für eine Zuordnungsaufgabe.
A
Ordnen Sie jedem Land die entsprechende Hauptstadt zu…
-> Distraktoren vermindern die Ratewahrscheinlichkeit.
10
Q
Nenne Vorteile von Zuordnungsaufgaben.
A
- Einfach, ökonomisch, objektiv
- Geringe Ratewahrscheinlichkeit, solange die Zahl der Antwortalternativen die Zahl der Fragen
übersteigt
11
Q
Nenne ein Beispiel für Umordnungsaufgaben.
A
Ordne die Bilder so, dass sie eine sinnvolle Reihenfolge ergeben…
12
Q
Nenne Vorteile von Umordnungsaufgaben.
A
- Nicht auf verbales Material beschränkt (bei beeinträchtigter Lesefähigkeit)
- Konstrukte Leistungsbereich:
Schlussfolgerndes Denken,
Abstraktionsfähigkeit
13
Q
Nenne Nachteile von Umordnungsaufgaben.
A
- Hoher Materialverbrauch
- Beschränkte Einsatzmöglichkeiten
- Nur bedingt in Gruppen anwendbar
14
Q
Beschreibe den Zusammenhang von Ratewahrscheinlichkeit und Distraktoren bei Auswahlaufgaben.
A
Je mehr Distraktoren vorgegeben werden, desto mehr wird das Antwortverhalten auf die verschiedenen Antwortalternativen auseinandergezogen und desto geringer ist die Wahrscheinlichkeit für zufällig richtige Lösungen.
15
Q
Nach welchen Gesichtspunkten sollten Distraktoren ausgewählt werden?
A
- Ähnlichkeit mit korrekter Antwortalternative
- Plausibilität
- Attraktivität (Auswahlwahrscheinlichkeit)
16
Q
Was bedeutet Disjunktheit bei Antwortalternativen?
A
- die Antwortalternativen schließen sich gegenseitig aus
- es gibt genau 1 richtige Antwortalternative
17
Q
Was bedeutet Exhaustivität bei Antwortalternativen?
A
- Vollständigkeit der Antwortalternativen
- bei Persönlichkeitstests: Ausschöpfung aller Verhaltensvarianten
18
Q
Was sind dichotome Aufgaben?
A
- Aufgaben mit 2 Antwortalternativen
- ja/nein, stimmt/stimmt nicht, richtig/falsch
19
Q
Nennne Vorteile von dichotomen Auswahlaufgaben.
A
- Einfach und ökonomisch
2. Relativ kurze Lösungszeit
20
Q
Nenne Nachteile von dichotomen Auswahlaufgaben.
A
- Ratewahrscheinlichkeit 50%
- Wiedererkennungsleistung, keine Reproduktion
- Erhöhte Akquieszenz bei Persönlichkeitsfragebögen
- ungeeignet für komplexe Inhalte
- > selten im Leistungskontext, wegen Ratewahrscheinlichkeit
21
Q
Was bedeutet Akquieszenz?
A
Zustimmungstendenz
22
Q
Was bedeutet “Forced Choice”?
A
- Pbn werden gebeten, die Antwortalternative auszusuchen, die am ehesten auf sie zutrifft
- Mittel, um soziale Erwünschtheit zu reduzieren
23
Q
Wie nennen sich Auwahlaufgaben mit >2 Antwortalternativen?
A
Mehrfachwahlaufgaben
24
Q
Nenne Vorteile von Mehrfachwahlaufgaben.
A
- Einfach, ökonomisch
- Hohe Objektivität
- Ratewahrscheinlichkeit erheblich verringert, v.a. bei
„Pick any out of n“
25
Nenne Nachteile von Mehrfachwahlaufgaben.
1. Lediglich Rekognitionsleistung
- > Nicht sinnvoll für Erfassung von Kreativität
2. Verzerrungen durch Mängel in Distraktoren möglich
26
Was sind Beurteilungsaufgaben?
- Anwendungskontext: Persönlichkeitstests
- Indikator für die Merkmalsausprägung: Grad der Zustimmung vs Ablehnung zu einer im Aufgabenstamm vorgelegten Aussage
- Antwortkategorien: kein richtig/ falsch, einheitlich, nicht aufgabenspezifisch
- Punktevergabe: nach zuvor festgelgtem Schema
27
Nenne die 6 Aspekte der Konstruktion bei Beurteilungsaufgaben.
1. Skalenstufen- ja/nein
2. Polarität- unipolar/bipolar
3. Bezeichnung der Skalenpunkte
4. Neutrale mittlere Kategorie- ja/nein
5. Weiß nicht Kategorie- ja/nein
6. Asymetrische Beurteilungsskalen- ja/nein
28
Was wird mit der Wahl der Skalenstufen festgelegt?
- die Differenziertheit einer Beurteilungsskala
| - die Anzahl der Skalenstufen
29
Welche Arten von Skalenstufen gibt es bei Beurteilungsaufgaben?
1. Visuelle Analogskala
- kontinuierliche Skala ohne konkrete Skalenstufen
- computergestützt leicht anwendbar
- in Praxis eher selten, da die Differenziertheit der Messung i.d.R. nicht der Differenziertheit des Urteils entspricht
2. Diskret gestufte Ratingskala
- konkret abgestufte Skalenpunkte
- bei > 7 Skalenpunkten: kein Informationsgewinn
- Antworttendenzen, response sets: z.B. bei wenigen
Antwortkategorien ist die Tendenz zum extremen Urteil weniger stark
30
Welche Arten der Polarität gibt es bei Beurteilungsaufgaben?
1. Unipolare Skalen
- Bezugspunkt („Nullpunkt“): Geringstes Ausmaß an Zustimmung (bzw. Ablehnung)
- Pol (positiv bzw. negativ): Stärkste Zustimmung bzw. Ablehnung
- Richtung: Intensität, Häufigkeit, Grad an Zustimmung / Ablehnung steigt nur in 1 Richtung
- Beispiel: nie ------------------------------------ immer
- Beispiel: gar nicht- sehr wenig-etwas-viel-sehr viel
2. Bipolare Skalen
- Positiver und negativer Pol, Indifferenzbereich
- Positiv: Zustimmung oder Zutreffen
- Negativ: Ablehnung oder Nicht-Zutreffen
- Beispiel: trifft gar nicht zu ---------------- trifft voll zu
- Beispiel: lehne vollst. ab-lehne ab-lehne eher ab-stimm eher zu-stimme vollständig zu
31
Welche Skalenart ist das?
| nie ------------------------------------ immer
unipolare Skala
32
Welche Skalenart ist das?
| gar nicht- sehr wenig-etwas-viel-sehr viel
unipolare Skala
33
Welche Skalenart ist das?
| trifft gar nicht zu ---------------- trifft voll zu
bipolare Skala
34
Welche Skalenart ist das?
| lehne vollst. ab-lehne ab-lehne eher ab-stimm eher zu-stimme vollständig zu
bipolare Skala
35
Nach welchen Aspekten wird über die passende Art der Polarität entschieden?
1. Iteminhalt
| 2. Merkmal
36
Welche Bezeichnungen der Skalenpunkte gibt es bei Beurteilungsaufgaben?
1. Numerische Ratingskala
2. Verbale Ratingskala
3. Optische und Symbolskalen
4. Kombinierte Skala
37
Was ist eine numerische Ratingskala?
- Stufen sind mit Zahlen markiert
- Suggeriert Intervallskalenniveau, aber:
- Gleiche Abstände auf Skala stellen nicht gleiche Abstände im Urteil der Pbn sicher
- Wahl der Zahlen oft willkürlich
- Verschiebung der Antworten durch Wahl der Nummerierung möglich
- Beispiel: -3,-2,-1,0,+1,+2,+3
38
Was ist eine verbale Ratingskala?
- Skalenpunkte sind mit Worten bezeichnet: Bewertungen, Häufigkeits- und Intensitätsangaben, Wahrscheinlichkeiten
- Intersubjektiv einheitlichere Interpretation der Skalenpunkte, verbindlich und interpersonell vergleichbar
- Beispiel: nie-selten-manchmal-oft-immer
39
Was sind optische und Symbolskalen?
- Symbole verhindern Unklarheiten bezgl. Bedeutung sprachlicher Bezeichnungen
- Einsatz, um Eindruck einer mathematischen Exaktheit zu vermeiden, die de facto nicht sichergestellt werden kann
- Beispiel: (--),(-),(-+),(+),(++)
- beispiel: Dreieck
40
Was sind kombinierte Skalen?
- kombinierte Skalenarten
- Beispiel: verbal-numerische Skala
- Beispiel: optisch-numerische Skala
41
Wofür steht eine neutrale mittlere Kategorie und als was wird sie häufig missverstanden?
- Instruktion: mittlere Merkmalsausprägung
- Missverständnis: Ausweichoption
-> Konfundierung des Konstrukts mit konstruktfremdenm Antwortverhalten
-> Validitätsproblem
-> Verzerrung der Interpretation
=> besser weglassen
42
Was ist Validität?
Ein Test gilt dann als valide (gültig), wenn er das Merkmal, das er messen
soll, auch wirklich misst und nicht irgendein anderes.
43
Wie und wofür wird eine "Weiß-nicht" Kategorie verwendet?
- explizite Ausweichoption: weiß nicht, kann ich nicht beantworten
- Ziel: Verringerung der konstruktfremden Verwendung der neutralen Mittelkategorie
-> sinnvoll, wenn Pbn nicht über die nötige Kompetenz zur
konstruktgetreuen Beurteilung der Aufgabe verfügen
44
Was sind asymmetrische Beurteilsskalen und wann wrden sie verwendet?
- Skalen mit asymmtrischen Antwortstufen
- häufig in Marktforschung, um z.B. den Genuss von Schokolade zu differenzieren
- itemspezifische Antwortformate werden generiert um die Stufen dem Iteminhalt anzupassen (häufig bei demographischen Daten)
- geringere Antworttendenzen
- Beispiel: täglich, mehrmals die Woche, 1x pro Woche, 1x pro Monat, seltener
45
Nenne Vorteile von Beurteilungsaufgaben.
1. Einfach und ökonomisch
| 2. Kürzere Bearbeitungsdauer (einheitlicher Antwortmodus)
46
Nenne Nachteile von Beurteilungsaufgaben.
1. Häufig numerische Bezeichnung der Antwortkategorien und Nutzung als Intervallskala (obwohl lediglich ordinalskaliert)
2. Messtheoretische Probleme bei Anwendung statistischer Auswertungsverfahren, die Intervallskalenniveau voraussetzen
47
Was ist ein atyoisches Antwortformat?
- z.B. Kombination aus freien und gebundenen Antworttypen
| - Beispiel: Verbinden Sie die Zahlen in aufsteigender Reihenfolge.
48
Welche Aspekte werden für die wahl eines Aufgabentyps herangezogen?
- Leichte Verständlichkeit
- Einfache Durchführbarkeit
- Kurze Lösungszeit
- Geringer Material- bzw. Papierverbrauch
- Leichte Auswertung
- Geringe Häufigkeit von Zufallslösungen
49
Welche Kategorien gibt es bezüglich der Itemarten?
1. Direkte vs indirekte Fragen
2. Hypothetische vs biografiebezogene Fragen
3. Konkrete vs abstrakte Fragen
4. Personalisierte vs depersonalisierte Fragen
5. Stimulusqualität- intensität emotional neutral vs emotional geladen
6. Aufgabeninhalte
50
Nenne Beispiele für die Kategorien: Direkte vs indirekte Fragen der Itemarten.
1. „Sind Sie ängstlich?“
| 2. „Fühlen Sie sich unsicher, wenn Sie nachts allein auf der Straße sind?“ (leichter zu interpretieren)
51
Nenne Beispiele für die Kategorien: Hypothetische vs biografiebezogene Fragen der Itemarten.
1. „Stellen Sie sich vor… Was würden Sie dagegen unternehmen?“ (Gefahr der Fehleinschätzung)
2. „Wie haben Sie sich bei der letzten Auseinandersetzung mit einem Kollegen verhalten?“
52
Nenne Beispiele für die Kategorien: Konkrete vs abstrakte Fragen der Itemarten.
1. „Wie verhalten Sie sich, wenn Sie einen Streit schlichten müssen?“
2. „Wie belastend schätzen Sie Ihren Arbeit ein?“
53
Nenne Beispiele für die Kategorien: Personalisierte vs depersonalisierte Fragen der Itemarten.
1. „Benutzen Sie Kondome?“ (evtl. verletzend)
| 2. „Sollte man Kondome benutzen?“
54
Nenne Beispiele für die Kategorien: Stimulusqualität- intensität emotional neutral vs emotional geladen der Itemarten.
1. „Halten Sie sich für einen ängstlichen Menschen?“
| 2. „Bekommen Sie Herzklopfen, wenn Ihnen jemand nachts auf der Straße folgte?“
55
Nenne Beispiele für die Kategorien: Aufgabeninhalte der Itemarten.
1. Fragen zur Selbstbeschreibung
„Ich lache oft“
2. Fragen zur Fremdbeschreibung
„Meine Freunde halten mich für eine tüchtige Person“
56
Was sollte bei der Wahl der Itemkategorien beachtet werden?
Das Vermischen der Kategorien innerhalb eines Tests kann zu methodischen Artefakten führen.
