Planung und Konstruktion eines Tests

Question 1

Information zur Testplanung und Konstruktion: 1. Testplanung: Annahme

Answer 1

Verhalten von Personen kann mit Hilfe von individuellen Merkmalen gemessen werden, diese sollen mit einem Test erfasst werden

Question 2

Information zur Testplanung und Konstruktion: 1. Testplanung: Geltungsbereich

Answer 2

Mit dem Geltungsbereich werden die Anwendungsmöglichkeiten von Tests angebenen. Es sollte auf inhaltiche Validität geachtet werden (Übereinstimmung zwischen dem zu messenden Merkmal und seiner Operationsalisierung mittels des Testitems)

Question 3

Information zur Testplanung und Konstruktion:1. Testplanung: Zielgruppe

Answer 3

Über welchen Personenkreis sollen mit den Tests Aussagen getroffen werden ?

Question 4

Information zur Testplanung und Konstruktion: 1. Testplanung: Testlänge (Anzahl der Items)

Answer 4

1. je breiter der Geltungsbereich, desto länger wird der Test
2. Mit zunehmender Anzahl an Items zur Erfassung eines Merkmalbereichs wird das Ergebnis präziser (denn Messfehler wird geringer, Reliabilität steigt). Dieser Zugewinnn wird ab einer gewissen Länge aber von Störvariablen (Erschöpfung, nachlassende Motivaton, Konzentrationsfähigkeit) überlagert

Question 5

Information zur Testplanung und Konstruktion: 1. Testplanung: Aufgabentypen und Antwortformate

Answer 5

1. Die Aufgabenstellung besteht auf zwei Teilen:
   a) Aufgabenstamm: die Aufgabe an sich, bei Persönlichkeitstests eine Frage oder Statment
   b) Antwortformat: die ver. Itemtypen / Aufgabentypen können anhand des Antwortvormates unterschieden werden (offen/ gebunden)

Question 6

2. Testkonstruktion: Aspekte, die bei der Konstruktion von Beurteilungsaufgaben beachtet werden sollen - Verwendung der Skalenstufen

Answer 6

Verwendung von Skalenstufen: bei der Verwendung von Skalenstufen, sollte der Grad der differenziertheit des urteils berücksichtigt werden (wie viele Abstufungen?) —> visuelle Analogskala vs. diskret gestufe Ratingskala?

Question 7

2. Testkonstruktion: Aspekte, die bei der Konstruktion von Beurteilungsaufgaben beachtet werden sollen - 3. Bezeichnung von Skalenpunkten

Answer 7

1. nummerisch: mit zahlen markiert Skala, erweckt den Eindruck einer intervallskalierten Skala, wobei die Wahl der Nummerierung eine Verschiebung der Antworten verursachen kann
2. Verbal: mit Worten bezeichnet –> hier ist es vorteilhaft, dass die Skalenpunkte intersubketiv einheitlich interpretiert werden
3. optische Skala: kommen ohne Markierungen aus
4. Symbolskala: dienen lediglich Symbole zur Beurteilung

–> Alle Skalen können jedoch ebenso miteinander kombiniert werden s. Handout

Question 8

2. Testkonstruktion: Aspekte, die bei der Konstruktion von Beurteilungsaufgaben beachtet werden sollen - 2. Polarität der Antwortskala

Answer 8

a) bipolare Skala: der Bereich der Zustimmung bzw. Ablehnung geht von einem positiven zu einem negativen Pol
b) unipolare Skala: besitzt einen “Nullpunkt” (z.B.: von “nie” bis “Immer”)
–> Die Entscheidung darüber hängt von den Inteminahlt bzw. von der zu erfassenden Eigenschaft ab, Beispiel s. Handout

Question 9

2. Testkonstruktion: Aspekte, die bei der Konstruktion von Beurteilungsaufgaben beachtet werden sollen

Answer 9

1. Verwendung von Skalenstufen
2. Polarität der Antwortskala
3. Bezeichnung von Skalenpunkten
4. neutrale Mittelkategorie?
5. “Weiß-nicht”-Kategorie?
6. asymmetrische Skala

Question 10

2. Testkonstruktion: Aspekte, die bei der Konstruktion von Beurteilungsaufgaben beachtet werden sollen - 4. Neutrale Mittelkategorie

Answer 10

1. dient häufig als Ausweichoption, wird als “normal” eingestuft und deshalt gewählt oder gänzlich gemieden.
2. Nachteile: Dies kann zu erheblichen Verzerrungen führen und spricht gegen die Verwendung.
3. Vorteile: Wenn es allerdingt keine neutrale Mittelkategorie gibt, werden Probant*innen zu einem Urteil gezwungen, selbst dann, wenn ihre Einstellung eigentlich neutral ist oder das gefragt Merkmal durchschnittlich/ mittel ausgeprägt ist –> dies kann eben so zu Validitätseinschränkungen führen

Question 11

2. Testkonstruktion: Aspekte, die bei der Konstruktion von Beurteilungsaufgaben beachtet werden sollen - 5. “Ich-Weiß-nicht” -Kategorie

Answer 11

1. Seperat: dient als seperate Antwortalternative und ist optisch von den anderen Kategorien getrennt.
2. Verwendung: kann angekreuzt werden, wenn Probanden das Item nicht verstanden haben, keine Meinung zu dem item haben oder sie ein Statment/ eine Frage nicht beurteilen können –> daher kann sie häufig sinnvoll sein
3. Nachteile: das Ankreuzen einer “Ich-Weiß-nicht” Kategorie führt zu einem fehlenden Messwert, was sie negativ auf Reliabilität und Validität einer Skala auswirken kann –> bei zu vielen Fehlenden Messwerten ist es nicht mehr möglich eine Aussage über die Ausprägung einer Eigenschaft einer Person zu treffen

Question 12

2. Testkonstruktion: Aspekte, die bei der Konstruktion von Beurteilungsaufgaben beachtet werden sollen - 6. Verwendung asymmetrischer Skalen

Answer 12

ist dann in Betracht zu ziehen, wenn keine symmetrisches Antwortspekturm erwartet wird, dadruch kann eine höhere Differenzierung ermöglicht werden. In der Psychologie selten vertreten –> z.B.: Itemspezifisches Antwortformat s. Handout s. 2

Question 13

2. Testkonstruktion: Fehlerhafte Itembeantwortung bei Beurteilungsaufgaben - Definition und Arten

Answer 13

1. Definition: systematische, nicht-zufällige Fehler, die bei der Itembearbeitung entstehen. Erschweren die Interpretation der Untersuchungsergebnisse
2. Arten:
   a) Soziale Erwünschtheit
   b) Tendenz zur Mitte
   c) Akquieszenz (Zustimmungstendenz)

Question 14

2. Testkonstruktion: Fehlerhafte Itembeantwortung - 1. Soziale Erwünschtheit: Definition, Arten & Lösung

Answer 14

Häufig poitivere Darstellung/ Übereinstimmung mit Normen & WErten der Gesellschaft. Tenden als günstig erarchete Merkmale in den Vordergrund zu stellen und gleichteitig als unerwüscht vermutete Merkmale zu verbergen

Question 15

2. Testkonstruktion: Fehlerhafte Itembeantwortung -2. Tendenz zur Mitte: Definition & Lösungen

Answer 15

1. Definition: Bewusste oder unbewusste Bevorzugung der mittleren (neutralen) Antwort.
2. Lösung:
   a) keine neutrale Mittelkategorie
   b) keine extremen sprachlichen Bezeichnungen der beiden Pole
   c) eine “ich-weiß-nicht”-Kategorie
   –> Aber Härte-Effekt: Tendenz zu Extremurteilen ebenfalls möglich!

Question 16

2. Testkonstruktion: Fehlerhafte Itembeantwortung - 3. Akquieszenz - Definition

Answer 16

–> Zustimmungstendenz
1. Definition: Tendenz Fragen/Statments unkritisch zuzustimmen –> ebenfalls gibt es Ablehnungstendenz

Question 17

2. Testkonstruktion: Itemkonstruktion - wichtige Punkte

Answer 17

1. Sprachliche Verständlichkeit
2. Eindeutigkeit des iteminhalts
3. Varianz des Antwortverhaltens und Itemsschwierigkeit
4. Weitere Aspekte

Question 18

2. Testkonstruktion: Itemkonstruktion - 1. Sprachliche Verständlichkeit

Answer 18

1. oberste Priorität = Klarheit (Verständnis möglichst schon nach einmaligem Lesen)
2. Richtlinien:
   a) Items eher positiv formulieren & (doppelte) Verneinung vermeiden
   b) komplizierte Satzkonstruktionen vermeiden
   c) Wortabkürzungen vermeiden
   d) Fachbegriffe & Fremdworte vermeiden (Zielgruppe beachteten!)
   e) Achtung bei Angaben von Intensitäten und Häufigkeiten: sie die Antworten im Sinne des zu erfassenden Konstrukts interpretierbar?
   f) Sinnvolle und erschöpfende Antwortmöglichkeiten evlt. offenes Antwortformat mit klaren Maßheinheiten (z.B.: _h pro Woche)

Question 19

2. Testkonstruktion: Itemkonstruktion - 2. Eindeutigkeit des Iteminhalts

Answer 19

1. Alle VP sollten das gleiche Verständnis des iteminhalts haben
2. Richtlinien:
   a) keine Universalausdrücke (“nie” oder “immer”)
   b) schwierige Begriffe definieren
   c) Mehrdeutigkeit vermeiden
   d) nur eine Aussage pro item
   e) Vorwissen der VP berücksichtigen
   f) Zeitspannen klar angeben

Question 20

2. Testkonstruktion: Itemkonstruktion - 3. Varianz des Antwortverhatlens und Itemschwierigkeit

Answer 20

1. Items sollten interindividuelle Unterschiede abbilden (zwischen unterschiedlichen Merkmalsausprägungen differenzieren)
2. ITems vermeiden, die die meisten Menschen lösen/ bejahen bzw. nicht lösen/verneinen würden
   –> Ausnahme: im klinischen Bereich, um Störungen diagnostizieren zu können)
3. Bei Leistungstests: genung ver. Items, um auch im unteren und oberen Bereich gut differenzieren zu können

Question 21

2. Testkonstruktion: Itemkonstruktion -4. weitere Aspekte

Answer 21

1. Aktualität: der Items, v.a. bei Wissensfragen
2. Wertfreiheit: Vorsicht bei Fragen, die von sich aus Wertung enthalten oder mit konstruktfremden Emotionen kondunfiert sind
3. keine Suggesivfragen
4. Festlegung der Antwortrichtung:
   a) was bedeutet Zustimmung/Ablehnung für die Ausprägung des interessierenden Merkmals?
   b) Kann jedes items mit dem einheitlichen Antwortformat schlüssig beantwortet werden?

Question 22

2. Testkonstruktion: Erstellung einer vorläufigen Testversion - Überblick

Answer 22

1. Reihenfolger der Items:
   a) Aufsteigende Schwierigkeit
   b) Aktualisierungseffekte beachten
   c) Konsistenzeffekte
2. Instruktion

Question 23

2. Testkonstruktion: Erstellung einer vorläufigen Testversion: 1. Reihenfolge der Items

Answer 23

1. Aufsteigende Schwierigkeit
2. Aktualisierungseffekte beachten
3. Konsistenzeffekte

Question 24

2. Testkonstruktion: Erstellung einer vorläufigen Testversion - Merkmale einer guten Instruktion

Answer 24

Eine gute Instruktion solle:
1. zur Mitarbeit animieren
2. Klare Handlungsanweisungen geben
3. den Antwortmodus erläutern
4. ein Beispielitem enthalten
5. Aufforderung enthalten spontan, wahrheitsgetreu und vollständig zu antworten
6. Anonymität der VP gewährleisten
7. Zusätzlich zur Imstruktion: Angaben einer Ansprechperson für Rückfragen, Demopraphische Variablen

Question 25

Prinzipien der Itemformulierung

Answer 25

1. Einfachheit
2. Einfache Sätze
3. Kurz
4. Einen Gedanken
5. Absolute Wörter vermeiden
6. “Nur”, “Gerade”, “Kaum”
7. Keine Fremdwörter
8. positive Formulierung
9. Konstruktfremde Emotionen
10. Häufigkeit/Intensität
11. Zeitspanne

Question 26

Testkonstruktion: Fehlerhafte Itembeantwortung - 1. Soziale Erwünschtheit: Arten

Answer 26

1. Selbsttäuschung: selfdeceptiv enhancement
   häufig eher unbewusst
2. Fremdtäuschung: impression management
   erzeugt Fehleindruck wird häufig zur Täuschung anderer bewusst eingesetzt

Question 27

. Testkonstruktion: Fehlerhafte Itembeantwortung - 1. Soziale Erwünschtheit: Lösung

Answer 27

1. Aufklärung über Untersuchungszweck
2. Anonymität
3. Kontrollskala: VP müssen Stellung zu negativer, weit verbreiteter Verhaltensweise beziehen –> Verneinung deutet auf hohe Tendenz der sozialen Erwünschtheit hin

Question 28

. Testkonstruktion: Fehlerhafte Itembeantwortung - Aquieszenz - Lösung

Answer 28

positive und negative formulierte Items

ABER:
1. Gefahr von Effekten der Itempolung, da positiven Items häufiger zugestimmt wird und negative Items häufiger verneint werden

2. Probleme bei der statistischen Analyse können auftreten –> z.B.: bilden negativ gepolte Items häufig eigene Faktoren bei der Faktorenanalyse oder wenn vergessen wird sie zu recodieren hängen sie ngativ mit den anderen Items zusammen und wirken sich somit stark negativ auf die Reliabilität aus

Question 29

2. Testkonstruktion: Erstellung einer vorläufigen Testversion: 1. Reihenfolge der Items -1. Aufsteigende Schwierigkeit - Warum?

Answer 29

1. um Überforderung der Vp zu vermeiden
2. “Eisbrecherfunktion” von leicht lösbaren Items am Anfang

Question 30

2. Testkonstruktion: Erstellung einer vorläufigen Testversion: 1. Reihenfolge der Items - Akualisierungseffekt Definition

Answer 30

logische und inhaltliche Zusammenhänge zwischen den Items, die dazu führen, dass sich die Items gegenseitig erschweren oder erleichtern vermeiden (Beispiel s. Handout s. 4)

Question 31

2. Testkonstruktion: Erstellung einer vorläufigen Testversion: 1. Reihenfolge der Items - Konsistenzeffekte - Definition und Lösung

Answer 31

1. Definition: “stimmige Antwort” durch Vermutung, dass Items das gleiche Merkmal abdecken
2. Lösung:
   a) Pufferaufgaben: zur Verschleierung der Messintention
   b) Ausbalancieren: durch Randomisierung oder spezifisches Arrangement der Reihenfolge der Items
   c) Nichtssagende Testbeschreibungen oder offene Mittleiung des Erhebungsziels: zur Vorbeugung von Kotexteffekten

Question 32

Prinzipien der Itemformulierung: 1. Eindeutigkeit

Answer 32

Items sollte eindeutig, klar und einfach formuliert sein

Question 33

Prinzipien der Itemformulierung: 2. Einfache Sätze

Answer 33

Items sollten aus einem einfachen Satz mit einer klaren Aussage und nicht aus verschachtelten Satzgefügen / Verbindungen bestehen

Question 34

Prinzipien der Itemformulierung: 3. Kurz

Answer 34

Items sollten kurz sein und nur ausnahmsweise 20 Wörter überschreiten

Question 35

Prinzipien der Itemformulierung: 4. Ein Gedanken

Answer 35

Items sollten immer nur einen vollständigen Gedanken haben, der in einem Satz formuliert wird

Question 36

Prinzipien der Itemformulierung: 5. Absolute Wörter vermeiden

Answer 36

items sollten keine Wörter wie “immer”, “nie” und “niemad” enthalten

Question 37

Prinzipien der Itemformulierung: 6. “Nur”, “Gerade”, “kaum”

Answer 37

sollten nur vorsichtig und ausnahmsweise verwendet werden

Question 38

Prinzipien der Itemformulierung: 7. Keine Fremdwörter

Answer 38

oder Wörter, die der befragten Person fremd sein könnten (Fremdwörter, Fachwörter, Abkürzungen)
–> Auf Alter, Geschlecht, Bildungsstand achten, …

Question 39

Prinzipien der Itemformulierung: 8. konstruktfremde Emotionen

Answer 39

sollen vermieden werden auszulösen. Dabei muss ggf.auch auf Alter, Geschlecht, Bildungsstand, ethische Herkunft, und Vertrautheit mit dem Untersuchungsgegenstand geachtet werden

Question 40

Prinzipien der Itemformulierung: 9. positive Formulierung

Answer 40

und keine doppelte Verneinung

Question 41

Prinzipien der Itemformulierung: 10. Häufigkeit/ Intensität

Answer 41

Items sollen Angaben zur Häufigkeit/Intensität eines Merkmals nur enthalten, wenn sie eindeutig interpretierbar sind und üver das Antwortformat auch korekt eingeschätzt werden können

Question 42

Prinzipien der Itemformulierung: 11. Zeitspannen

Answer 42

Sollen immer eindeutig interpretierbar sein (“im letzen Monat” statt “in letzter Zeit”)