Stufen der Testkonstruktion Flashcards
Wie viele Stufen gibt es in der Testentwicklung?
10
Welche Fragen sollen im Prozess der Testkonstruktion beantwortet werden?
Für wen soll der Test geeignet sein, wer soll ihn bearbeiten?
Wie soll der Test durchgeführt werden?
Welchen Verwendungszweck hat der Test?
Was versteht der Testautor genau unter dem zu erfassenden Material?
Benenne die 10 Stufen der Testentwicklung
(Aufeinander aufbauend)
1. Fragestellung mit Problem- und Anforderungsanalyse
2. Planung und Literaturrecherche
3. Merkmalsbestimmung und Arbeitsdefinition
4. Testentwurf
5. Pre-Test
6. Verteilungsanalyse
7. Itemanalyse und Itemselektion
8. Kriterienkontrolle
9. Testrevision
10. Eichung / Cut-Off-Werte
Beschreibe die 1. Stufe der Testkonstruktion
Fragestellung mit Problem- und Anforderungsanalyse
Grundlegende Entscheidungen, die vor der eigentlichen Testkonstruktion getroffen werden
Festlegung der Zielgruppe und des Geltungsbereichs (für wen ein Test gelten soll)
Einfluss auf Schwierigkeit, Formulierung der Fragen und das Testformat (je nach Zielgruppe)
Beschreibe die 2. Stufe der Testkonstruktion
Planung und Literaturrecherche
Recherche der eigenen Theorie/ des zu untersuchenden Merkmals in zB Metaanalysen, Expertenbefragung oder Beobachtung an kleiner Stichprobe
psychologische Merkmalsanalyse durch Sammlung und Analyse von informationen zum Themenbereich
Beschreibe die 3. Stufe der Testkonstruktion
Merkmalsbestimmung und Arbeitsdefinition
zentral: psychologische Merkmalsanalyse durch Sammlung und Analyse von informationen zum Themenbereich (Stufe 2)
Ziel: genaue Bestimmung des mit dem Testverfahren zu bestimmenden Merkmals
(Arbeits-)Definition des zu erhebenden Konstruktes, wenn in Stufe 2 keine gefunden wurde
Beispiel: Welche Eigenschaften muss (ein Sekretär) besitzen?
1., 2., 3., 4.
Beschreibe die 4. Stufe der Testkonstruktion
Testentwurf
Wahl einer (oder mehrerer) Konstruktionsstrategie (Intuitive, Rationale, Kriteriumsorientierte Konstruktionsstrategie)
Die Kombination der drei Strategien ist erwünscht und üblich
Zu beachten bei der Zusammenstellung der Items zu einer vorläufigen Testversion sind: Reihenfolge, Instruktion, Layout, Antwortformat
Nenne 3 Konstruktionsstrategien und in welcher Stufe der Testkonstruktion sie angewendet werden
Intuitive, Rationale, Kriteriumsorientierte
Intuitive: bei kleinem theoretischen Kenntnisstand (neues Gebiet) - Intuition und Erfahrung des Testkonstrukteurs leiten die Itemformulierung
Rationale: Itemformulierung nach einer vorgegebenen Theorie. Items werden weiter geprüft (Voraussetzung: gute theoretische Vorkenntnisse)
Kriteriumsorientierte: Auswahl der Items, die zwischen Gruppen mit unterschiedlichen Merkmalsausprägungen unterscheiden
- Stufe, die Testkonstruktion
Beschreibe die 5. Stufe der Testkonstruktion
Pre-Test
Erprobung der Vorläufigen Testform aus Stufe 4
Ziel: unpassende Items entdecken
idealerweise mindestens 100 Probanden, die der Zielgruppe entsprechen unter möglichst realistischen Testbedingungen
Methoden: Kognitives Vortesten/Lautes Denken und retrospektive Befragung
(Fragen, welche Items mit Problemen verbunden waren)
Beschreibe die 6. Stufe der Testkonstruktion
Verteilungsanalyse
Ziel: Items an möglichst Zielgruppen-repräsentierender Stichprobe einer deskriptivstatistischen Evaluation unterziehen
wichtig: Entscheidung für KTT oder IRT
KTT: Untersuchung anhand von Median, Mittelwert, Modalwert, Varianz, Spannweite, Schiefe
IRT: Trennschärfe als Steigung am steilsten Punkt der logistischen Funktion- nicht auf maximal 1 beschränkt wie bei KTT
Beschreibe die 7. Stufe der Testkonstruktion
Itemanalyse und Itemselektion
Schwierigkeitsanalyse, Itemvarianzanalyse, Trennschärfeanalyse
Itemselektion ist die gleichzeitige Betrachtung der Ergebnisse dieser Analysen.
Items mit geeigneter Schwierigkeit, hohe Varianz und hinreichende Trennschärfe (nahe 0 ist ungeeignet)
Beschreibe die 3 Bereiche einer Itemanalyse im Rahmen der 7. Stufe der Testentwicklung
Schwierigkeit: Aussagekraft von extrem schwierigen und extrem leichten Items gering (alle gleich oder garnicht beantwortet)- Rolle des “Schwierigkeitsindex “P””
Schwierigkeitsindex ist eigentlich der Leichtigkeitsindex- höher, je mehr richtige Antworten
Itemvarianz: Differenzierungsfähigkeit von Items in Bezug auf die getestete Stichprobe
Trennschärfeanalyse
Trennschärfe: wie stark differenziert ein Item zwischen Probanden verschiedener Merkmalsausprägungen (im Bezug zum Gesamttest) hoch positiv= trennt ähnlich wie der Gesamttest
Wie setzt sich der Schwierigkeitsindex zusammen und wo ist er relevant?
Relevant für Schwierigkeitsanalyse im Rahmen von Stufe 7 (Itemanalyse /-selektion)
Schwierigkeitsindex P(Item i)= Quotient erreichter Punktsumme / maximale Punktzahl aller n Probanden *100
gibt eigentlich “Leichtigkeit” oder “Lösbarkeit” einer Aufgabe an
Ist ein sehr hoher Trennschärfeparameter erwünscht?
Problematik: Ein Item sehr hoher Trennschärfe unterscheidet nicht zwischen hoher und sehr hoher Ausprägung
Beschreibe die 8. Stufe der Testkonstruktion
Kriterienkontrolle
Eliminierung oder Umformulierung der Items, die den vorher festgelegten Kriterien nicht entsprechen
