Planung und Konstruktion eines Tests Flashcards
Information zur Testplanung und Konstruktion: 1. Testplanung: Annahme
Verhalten von Personen kann mit Hilfe von individuellen Merkmalen gemessen werden, diese sollen mit einem Test erfasst werden
Information zur Testplanung und Konstruktion: 1. Testplanung: Geltungsbereich
Mit dem Geltungsbereich werden die Anwendungsmöglichkeiten von Tests angebenen. Es sollte auf inhaltiche Validität geachtet werden (Übereinstimmung zwischen dem zu messenden Merkmal und seiner Operationsalisierung mittels des Testitems)
Information zur Testplanung und Konstruktion:1. Testplanung: Zielgruppe
Über welchen Personenkreis sollen mit den Tests Aussagen getroffen werden ?
Information zur Testplanung und Konstruktion: 1. Testplanung: Testlänge (Anzahl der Items)
- je breiter der Geltungsbereich, desto länger wird der Test
- Mit zunehmender Anzahl an Items zur Erfassung eines Merkmalbereichs wird das Ergebnis präziser (denn Messfehler wird geringer, Reliabilität steigt). Dieser Zugewinnn wird ab einer gewissen Länge aber von Störvariablen (Erschöpfung, nachlassende Motivaton, Konzentrationsfähigkeit) überlagert
Information zur Testplanung und Konstruktion: 1. Testplanung: Aufgabentypen und Antwortformate
- Die Aufgabenstellung besteht auf zwei Teilen:
a) Aufgabenstamm: die Aufgabe an sich, bei Persönlichkeitstests eine Frage oder Statment
b) Antwortformat: die ver. Itemtypen / Aufgabentypen können anhand des Antwortvormates unterschieden werden (offen/ gebunden)
- Testkonstruktion: Aspekte, die bei der Konstruktion von Beurteilungsaufgaben beachtet werden sollen - Verwendung der Skalenstufen
Verwendung von Skalenstufen: bei der Verwendung von Skalenstufen, sollte der Grad der differenziertheit des urteils berücksichtigt werden (wie viele Abstufungen?) —> visuelle Analogskala vs. diskret gestufe Ratingskala?
- Testkonstruktion: Aspekte, die bei der Konstruktion von Beurteilungsaufgaben beachtet werden sollen - 3. Bezeichnung von Skalenpunkten
- nummerisch: mit zahlen markiert Skala, erweckt den Eindruck einer intervallskalierten Skala, wobei die Wahl der Nummerierung eine Verschiebung der Antworten verursachen kann
- Verbal: mit Worten bezeichnet –> hier ist es vorteilhaft, dass die Skalenpunkte intersubketiv einheitlich interpretiert werden
- optische Skala: kommen ohne Markierungen aus
- Symbolskala: dienen lediglich Symbole zur Beurteilung
–> Alle Skalen können jedoch ebenso miteinander kombiniert werden s. Handout
- Testkonstruktion: Aspekte, die bei der Konstruktion von Beurteilungsaufgaben beachtet werden sollen - 2. Polarität der Antwortskala
a) bipolare Skala: der Bereich der Zustimmung bzw. Ablehnung geht von einem positiven zu einem negativen Pol
b) unipolare Skala: besitzt einen “Nullpunkt” (z.B.: von “nie” bis “Immer”)
–> Die Entscheidung darüber hängt von den Inteminahlt bzw. von der zu erfassenden Eigenschaft ab, Beispiel s. Handout
- Testkonstruktion: Aspekte, die bei der Konstruktion von Beurteilungsaufgaben beachtet werden sollen
- Verwendung von Skalenstufen
- Polarität der Antwortskala
- Bezeichnung von Skalenpunkten
- neutrale Mittelkategorie?
- “Weiß-nicht”-Kategorie?
- asymmetrische Skala
- Testkonstruktion: Aspekte, die bei der Konstruktion von Beurteilungsaufgaben beachtet werden sollen - 4. Neutrale Mittelkategorie
- dient häufig als Ausweichoption, wird als “normal” eingestuft und deshalt gewählt oder gänzlich gemieden.
- Nachteile: Dies kann zu erheblichen Verzerrungen führen und spricht gegen die Verwendung.
- Vorteile: Wenn es allerdingt keine neutrale Mittelkategorie gibt, werden Probant*innen zu einem Urteil gezwungen, selbst dann, wenn ihre Einstellung eigentlich neutral ist oder das gefragt Merkmal durchschnittlich/ mittel ausgeprägt ist –> dies kann eben so zu Validitätseinschränkungen führen
- Testkonstruktion: Aspekte, die bei der Konstruktion von Beurteilungsaufgaben beachtet werden sollen - 5. “Ich-Weiß-nicht” -Kategorie
- Seperat: dient als seperate Antwortalternative und ist optisch von den anderen Kategorien getrennt.
- Verwendung: kann angekreuzt werden, wenn Probanden das Item nicht verstanden haben, keine Meinung zu dem item haben oder sie ein Statment/ eine Frage nicht beurteilen können –> daher kann sie häufig sinnvoll sein
- Nachteile: das Ankreuzen einer “Ich-Weiß-nicht” Kategorie führt zu einem fehlenden Messwert, was sie negativ auf Reliabilität und Validität einer Skala auswirken kann –> bei zu vielen Fehlenden Messwerten ist es nicht mehr möglich eine Aussage über die Ausprägung einer Eigenschaft einer Person zu treffen
- Testkonstruktion: Aspekte, die bei der Konstruktion von Beurteilungsaufgaben beachtet werden sollen - 6. Verwendung asymmetrischer Skalen
ist dann in Betracht zu ziehen, wenn keine symmetrisches Antwortspekturm erwartet wird, dadruch kann eine höhere Differenzierung ermöglicht werden. In der Psychologie selten vertreten –> z.B.: Itemspezifisches Antwortformat s. Handout s. 2
- Testkonstruktion: Fehlerhafte Itembeantwortung bei Beurteilungsaufgaben - Definition und Arten
- Definition: systematische, nicht-zufällige Fehler, die bei der Itembearbeitung entstehen. Erschweren die Interpretation der Untersuchungsergebnisse
- Arten:
a) Soziale Erwünschtheit
b) Tendenz zur Mitte
c) Akquieszenz (Zustimmungstendenz)
- Testkonstruktion: Fehlerhafte Itembeantwortung - 1. Soziale Erwünschtheit: Definition, Arten & Lösung
Häufig poitivere Darstellung/ Übereinstimmung mit Normen & WErten der Gesellschaft. Tenden als günstig erarchete Merkmale in den Vordergrund zu stellen und gleichteitig als unerwüscht vermutete Merkmale zu verbergen
- Testkonstruktion: Fehlerhafte Itembeantwortung -2. Tendenz zur Mitte: Definition & Lösungen
- Definition: Bewusste oder unbewusste Bevorzugung der mittleren (neutralen) Antwort.
- Lösung:
a) keine neutrale Mittelkategorie
b) keine extremen sprachlichen Bezeichnungen der beiden Pole
c) eine “ich-weiß-nicht”-Kategorie
–> Aber Härte-Effekt: Tendenz zu Extremurteilen ebenfalls möglich!
- Testkonstruktion: Fehlerhafte Itembeantwortung - 3. Akquieszenz - Definition
–> Zustimmungstendenz
1. Definition: Tendenz Fragen/Statments unkritisch zuzustimmen –> ebenfalls gibt es Ablehnungstendenz
- Testkonstruktion: Itemkonstruktion - wichtige Punkte
- Sprachliche Verständlichkeit
- Eindeutigkeit des iteminhalts
- Varianz des Antwortverhaltens und Itemsschwierigkeit
- Weitere Aspekte
- Testkonstruktion: Itemkonstruktion - 1. Sprachliche Verständlichkeit
- oberste Priorität = Klarheit (Verständnis möglichst schon nach einmaligem Lesen)
- Richtlinien:
a) Items eher positiv formulieren & (doppelte) Verneinung vermeiden
b) komplizierte Satzkonstruktionen vermeiden
c) Wortabkürzungen vermeiden
d) Fachbegriffe & Fremdworte vermeiden (Zielgruppe beachteten!)
e) Achtung bei Angaben von Intensitäten und Häufigkeiten: sie die Antworten im Sinne des zu erfassenden Konstrukts interpretierbar?
f) Sinnvolle und erschöpfende Antwortmöglichkeiten evlt. offenes Antwortformat mit klaren Maßheinheiten (z.B.: _h pro Woche)
- Testkonstruktion: Itemkonstruktion - 2. Eindeutigkeit des Iteminhalts
- Alle VP sollten das gleiche Verständnis des iteminhalts haben
- Richtlinien:
a) keine Universalausdrücke (“nie” oder “immer”)
b) schwierige Begriffe definieren
c) Mehrdeutigkeit vermeiden
d) nur eine Aussage pro item
e) Vorwissen der VP berücksichtigen
f) Zeitspannen klar angeben
- Testkonstruktion: Itemkonstruktion - 3. Varianz des Antwortverhatlens und Itemschwierigkeit
- Items sollten interindividuelle Unterschiede abbilden (zwischen unterschiedlichen Merkmalsausprägungen differenzieren)
- ITems vermeiden, die die meisten Menschen lösen/ bejahen bzw. nicht lösen/verneinen würden
–> Ausnahme: im klinischen Bereich, um Störungen diagnostizieren zu können) - Bei Leistungstests: genung ver. Items, um auch im unteren und oberen Bereich gut differenzieren zu können
- Testkonstruktion: Itemkonstruktion -4. weitere Aspekte
- Aktualität: der Items, v.a. bei Wissensfragen
- Wertfreiheit: Vorsicht bei Fragen, die von sich aus Wertung enthalten oder mit konstruktfremden Emotionen kondunfiert sind
- keine Suggesivfragen
- Festlegung der Antwortrichtung:
a) was bedeutet Zustimmung/Ablehnung für die Ausprägung des interessierenden Merkmals?
b) Kann jedes items mit dem einheitlichen Antwortformat schlüssig beantwortet werden?
- Testkonstruktion: Erstellung einer vorläufigen Testversion - Überblick
- Reihenfolger der Items:
a) Aufsteigende Schwierigkeit
b) Aktualisierungseffekte beachten
c) Konsistenzeffekte - Instruktion
- Testkonstruktion: Erstellung einer vorläufigen Testversion: 1. Reihenfolge der Items
- Aufsteigende Schwierigkeit
- Aktualisierungseffekte beachten
- Konsistenzeffekte
- Testkonstruktion: Erstellung einer vorläufigen Testversion - Merkmale einer guten Instruktion
Eine gute Instruktion solle:
1. zur Mitarbeit animieren
2. Klare Handlungsanweisungen geben
3. den Antwortmodus erläutern
4. ein Beispielitem enthalten
5. Aufforderung enthalten spontan, wahrheitsgetreu und vollständig zu antworten
6. Anonymität der VP gewährleisten
7. Zusätzlich zur Imstruktion: Angaben einer Ansprechperson für Rückfragen, Demopraphische Variablen
Prinzipien der Itemformulierung
- Einfachheit
- Einfache Sätze
- Kurz
- Einen Gedanken
- Absolute Wörter vermeiden
- “Nur”, “Gerade”, “Kaum”
- Keine Fremdwörter
- positive Formulierung
- Konstruktfremde Emotionen
- Häufigkeit/Intensität
- Zeitspanne
Testkonstruktion: Fehlerhafte Itembeantwortung - 1. Soziale Erwünschtheit: Arten
- Selbsttäuschung: selfdeceptiv enhancement
häufig eher unbewusst - Fremdtäuschung: impression management
erzeugt Fehleindruck wird häufig zur Täuschung anderer bewusst eingesetzt
. Testkonstruktion: Fehlerhafte Itembeantwortung - 1. Soziale Erwünschtheit: Lösung
- Aufklärung über Untersuchungszweck
- Anonymität
- Kontrollskala: VP müssen Stellung zu negativer, weit verbreiteter Verhaltensweise beziehen –> Verneinung deutet auf hohe Tendenz der sozialen Erwünschtheit hin
. Testkonstruktion: Fehlerhafte Itembeantwortung - Aquieszenz - Lösung
positive und negative formulierte Items
ABER:
1. Gefahr von Effekten der Itempolung, da positiven Items häufiger zugestimmt wird und negative Items häufiger verneint werden
- Probleme bei der statistischen Analyse können auftreten –> z.B.: bilden negativ gepolte Items häufig eigene Faktoren bei der Faktorenanalyse oder wenn vergessen wird sie zu recodieren hängen sie ngativ mit den anderen Items zusammen und wirken sich somit stark negativ auf die Reliabilität aus
- Testkonstruktion: Erstellung einer vorläufigen Testversion: 1. Reihenfolge der Items -1. Aufsteigende Schwierigkeit - Warum?
- um Überforderung der Vp zu vermeiden
- “Eisbrecherfunktion” von leicht lösbaren Items am Anfang
- Testkonstruktion: Erstellung einer vorläufigen Testversion: 1. Reihenfolge der Items - Akualisierungseffekt Definition
logische und inhaltliche Zusammenhänge zwischen den Items, die dazu führen, dass sich die Items gegenseitig erschweren oder erleichtern vermeiden (Beispiel s. Handout s. 4)
- Testkonstruktion: Erstellung einer vorläufigen Testversion: 1. Reihenfolge der Items - Konsistenzeffekte - Definition und Lösung
- Definition: “stimmige Antwort” durch Vermutung, dass Items das gleiche Merkmal abdecken
- Lösung:
a) Pufferaufgaben: zur Verschleierung der Messintention
b) Ausbalancieren: durch Randomisierung oder spezifisches Arrangement der Reihenfolge der Items
c) Nichtssagende Testbeschreibungen oder offene Mittleiung des Erhebungsziels: zur Vorbeugung von Kotexteffekten
Prinzipien der Itemformulierung: 1. Eindeutigkeit
Items sollte eindeutig, klar und einfach formuliert sein
Prinzipien der Itemformulierung: 2. Einfache Sätze
Items sollten aus einem einfachen Satz mit einer klaren Aussage und nicht aus verschachtelten Satzgefügen / Verbindungen bestehen
Prinzipien der Itemformulierung: 3. Kurz
Items sollten kurz sein und nur ausnahmsweise 20 Wörter überschreiten
Prinzipien der Itemformulierung: 4. Ein Gedanken
Items sollten immer nur einen vollständigen Gedanken haben, der in einem Satz formuliert wird
Prinzipien der Itemformulierung: 5. Absolute Wörter vermeiden
items sollten keine Wörter wie “immer”, “nie” und “niemad” enthalten
Prinzipien der Itemformulierung: 6. “Nur”, “Gerade”, “kaum”
sollten nur vorsichtig und ausnahmsweise verwendet werden
Prinzipien der Itemformulierung: 7. Keine Fremdwörter
oder Wörter, die der befragten Person fremd sein könnten (Fremdwörter, Fachwörter, Abkürzungen)
–> Auf Alter, Geschlecht, Bildungsstand achten, …
Prinzipien der Itemformulierung: 8. konstruktfremde Emotionen
sollen vermieden werden auszulösen. Dabei muss ggf.auch auf Alter, Geschlecht, Bildungsstand, ethische Herkunft, und Vertrautheit mit dem Untersuchungsgegenstand geachtet werden
Prinzipien der Itemformulierung: 9. positive Formulierung
und keine doppelte Verneinung
Prinzipien der Itemformulierung: 10. Häufigkeit/ Intensität
Items sollen Angaben zur Häufigkeit/Intensität eines Merkmals nur enthalten, wenn sie eindeutig interpretierbar sind und üver das Antwortformat auch korekt eingeschätzt werden können
Prinzipien der Itemformulierung: 11. Zeitspannen
Sollen immer eindeutig interpretierbar sein (“im letzen Monat” statt “in letzter Zeit”)
