Stufen der Testkonstruktion Flashcards
Wie viele Stufen gibt es in der Testentwicklung?
10
Welche Fragen sollen im Prozess der Testkonstruktion beantwortet werden?
Für wen soll der Test geeignet sein, wer soll ihn bearbeiten?
Wie soll der Test durchgeführt werden?
Welchen Verwendungszweck hat der Test?
Was versteht der Testautor genau unter dem zu erfassenden Material?
Benenne die 10 Stufen der Testentwicklung
(Aufeinander aufbauend)
1. Fragestellung mit Problem- und Anforderungsanalyse
2. Planung und Literaturrecherche
3. Merkmalsbestimmung und Arbeitsdefinition
4. Testentwurf
5. Pre-Test
6. Verteilungsanalyse
7. Itemanalyse und Itemselektion
8. Kriterienkontrolle
9. Testrevision
10. Eichung / Cut-Off-Werte
Beschreibe die 1. Stufe der Testkonstruktion
Fragestellung mit Problem- und Anforderungsanalyse
Grundlegende Entscheidungen, die vor der eigentlichen Testkonstruktion getroffen werden
Festlegung der Zielgruppe und des Geltungsbereichs (für wen ein Test gelten soll)
Einfluss auf Schwierigkeit, Formulierung der Fragen und das Testformat (je nach Zielgruppe)
Beschreibe die 2. Stufe der Testkonstruktion
Planung und Literaturrecherche
Recherche der eigenen Theorie/ des zu untersuchenden Merkmals in zB Metaanalysen, Expertenbefragung oder Beobachtung an kleiner Stichprobe
psychologische Merkmalsanalyse durch Sammlung und Analyse von informationen zum Themenbereich
Beschreibe die 3. Stufe der Testkonstruktion
Merkmalsbestimmung und Arbeitsdefinition
zentral: psychologische Merkmalsanalyse durch Sammlung und Analyse von informationen zum Themenbereich (Stufe 2)
Ziel: genaue Bestimmung des mit dem Testverfahren zu bestimmenden Merkmals
(Arbeits-)Definition des zu erhebenden Konstruktes, wenn in Stufe 2 keine gefunden wurde
Beispiel: Welche Eigenschaften muss (ein Sekretär) besitzen?
1., 2., 3., 4.
Beschreibe die 4. Stufe der Testkonstruktion
Testentwurf
Wahl einer (oder mehrerer) Konstruktionsstrategie (Intuitive, Rationale, Kriteriumsorientierte Konstruktionsstrategie)
Die Kombination der drei Strategien ist erwünscht und üblich
Zu beachten bei der Zusammenstellung der Items zu einer vorläufigen Testversion sind: Reihenfolge, Instruktion, Layout, Antwortformat
Nenne 3 Konstruktionsstrategien und in welcher Stufe der Testkonstruktion sie angewendet werden
Intuitive, Rationale, Kriteriumsorientierte
Intuitive: bei kleinem theoretischen Kenntnisstand (neues Gebiet) - Intuition und Erfahrung des Testkonstrukteurs leiten die Itemformulierung
Rationale: Itemformulierung nach einer vorgegebenen Theorie. Items werden weiter geprüft (Voraussetzung: gute theoretische Vorkenntnisse)
Kriteriumsorientierte: Auswahl der Items, die zwischen Gruppen mit unterschiedlichen Merkmalsausprägungen unterscheiden
- Stufe, die Testkonstruktion
Beschreibe die 5. Stufe der Testkonstruktion
Pre-Test
Erprobung der Vorläufigen Testform aus Stufe 4
Ziel: unpassende Items entdecken
idealerweise mindestens 100 Probanden, die der Zielgruppe entsprechen unter möglichst realistischen Testbedingungen
Methoden: Kognitives Vortesten/Lautes Denken und retrospektive Befragung
(Fragen, welche Items mit Problemen verbunden waren)
Beschreibe die 6. Stufe der Testkonstruktion
Verteilungsanalyse
Ziel: Items an möglichst Zielgruppen-repräsentierender Stichprobe einer deskriptivstatistischen Evaluation unterziehen
wichtig: Entscheidung für KTT oder IRT
KTT: Untersuchung anhand von Median, Mittelwert, Modalwert, Varianz, Spannweite, Schiefe
IRT: Trennschärfe als Steigung am steilsten Punkt der logistischen Funktion- nicht auf maximal 1 beschränkt wie bei KTT
Beschreibe die 7. Stufe der Testkonstruktion
Itemanalyse und Itemselektion
Schwierigkeitsanalyse, Itemvarianzanalyse, Trennschärfeanalyse
Itemselektion ist die gleichzeitige Betrachtung der Ergebnisse dieser Analysen.
Items mit geeigneter Schwierigkeit, hohe Varianz und hinreichende Trennschärfe (nahe 0 ist ungeeignet)
Beschreibe die 3 Bereiche einer Itemanalyse im Rahmen der 7. Stufe der Testentwicklung
Schwierigkeit: Aussagekraft von extrem schwierigen und extrem leichten Items gering (alle gleich oder garnicht beantwortet)- Rolle des “Schwierigkeitsindex “P””
Schwierigkeitsindex ist eigentlich der Leichtigkeitsindex- höher, je mehr richtige Antworten
Itemvarianz: Differenzierungsfähigkeit von Items in Bezug auf die getestete Stichprobe
Trennschärfeanalyse
Trennschärfe: wie stark differenziert ein Item zwischen Probanden verschiedener Merkmalsausprägungen (im Bezug zum Gesamttest) hoch positiv= trennt ähnlich wie der Gesamttest
Wie setzt sich der Schwierigkeitsindex zusammen und wo ist er relevant?
Relevant für Schwierigkeitsanalyse im Rahmen von Stufe 7 (Itemanalyse /-selektion)
Schwierigkeitsindex P(Item i)= Quotient erreichter Punktsumme / maximale Punktzahl aller n Probanden *100
gibt eigentlich “Leichtigkeit” oder “Lösbarkeit” einer Aufgabe an
Ist ein sehr hoher Trennschärfeparameter erwünscht?
Problematik: Ein Item sehr hoher Trennschärfe unterscheidet nicht zwischen hoher und sehr hoher Ausprägung
Beschreibe die 8. Stufe der Testkonstruktion
Kriterienkontrolle
Eliminierung oder Umformulierung der Items, die den vorher festgelegten Kriterien nicht entsprechen
Beschreibe die 9. Stufe der Testkonstruktion
Testrevision
Erstellung einer tragfähigen Testendfassung
Diese meist revidierte Testversion wird erneut einer Stichprobe zur Testung vorgelegt
Beschreibe die 10. Stufe der Testkonstruktion
Eichung/ Cut-off-Werte
nicht immer notwendig (zB wenn nur Forschungszweck)
wichtig für Messungen an einzelnen Personen, um die Testwerte valide interpretierbar zu machen.
normorientierte oder kriteriumsorientierte Interpretation (Vergleichsmaßstäbe)
norm: an anderen vergleichbaren Personen (bzw zum Durchschnitt)
kriterium: Abgleich mit psychologisch inhaltlichen Beschreibungen, die die Bedeutung der Rohwerte charakterisieren
Cut-off-Werte: ab welcher Puktzahl ein Syndrom wahrscheinlich vorliegt
Wozu wird der letzte Schritt der Testentwicklung benötigt?
Testrohwerte sind nicht unbedingt direkt interpretierbar. Der letzte Schritt sorgt für unabhängigere Interpretierbarkeit (?)
Was ist Normwertorientierte Interpretation
Der Normwert positioniert die Person hinsichtlich ihrer Merkmalsausprägung innerhalb einer Bezugsgruppe
Grundlage für die Ermittlung eines Normwertes ist die Normierung des Testverfahrens
Die Normierung erfolgt anhand einer eigens gezogenen Eichstichprobe
(wichtig: muss eine andere sein als die Konstruktionsstichprobe)
Welchen Zweck erfüllt eine Eichstichprobe?
wird zur Normierung der Daten verwendet
muss repräsentativ für die Population sein, die mit dem Test erfasst werden soll, und möglichst umfangreich
genaue Größe wird nach Einzelfall entschieden
Nenne verschiedene Normskalen (7) und ihren Erwartungswert/ Mittelwert
z-Standardwerte 0
IQ-Skala 100
T-Skala 50
Z-Skala 100
Stanine-Skala STN 5
Std. Schulnoten: SN 3
Prozentrang-Skala PR 50
alle normalverteilt
Welchen Zweck erfüllen Normskalen?
Zur Beantwortung der Fragestellung, wie hoch die Merkmalsausprägung eines Probanden in Relation zu anderen ist.
Welche Quellen wurden in der 2. Stufe der Testkonstruktion des PFK 9-14 herangezogen
Darstellungen über die Persönlichkeit als Aggregat mehrerer Einzeldimensionen,
Ergebnisse empirischer Einzelarbeiten (vor allem im Bezug auf Erziehungsschwierigkeiten, Verhalten und -sschwierigkeiten in inner- und außerschulischen Kontexten),
Sichtung diagnostischer Stellungnahmen, die in der Praxis über Kinder mit Schulschwierigkeiten und mit Verhaltensauffälligkeiten abgegeben werden
Trennschärfe Definition nach Buch just in case jesus christ
Die Trennschärfe gibt an, wie stark die Differenzierung zwischen den Probanden auf Basis des jeweiligen Items mit der Differenzierung zwischen den Probanden auf Basis des mit allen Items gebildeten Testwertes übereinstimmt“
