03 Grundlagen der klassischen Testtheorie Flashcards
Welche Testtheorien gibt es?
- klassische Testtheorie KTT (85% der Testverfahren) -> diese Veranstaltung geht darauf ein
- probabilistische Testtheorie IRT (wachsend)
Definiere den Begriff Test gemäss Aussage J. Hoffmann
Alle psychologisch-diagnostischen Routineverfahren, die
* nach den psychologischen & diagnostischen Gütekriterien entwickelt wurden
* standardisiert ist
* zur Erfassung eines bestimmten Konstruktes oder Gegenstandsbereiches dient
Definiere den Begriff Testtheorie
- Testtheorien befassen sich entweder mit dem Zusammenhang von Testverfahren und dem zu erfassendem psychischen Merkmal oder mit
der Frage, in welche Bestandteile sich Messwerte aufgliedern (Bühner, 2011; Rost, 2004) - Eine Testtheorie beschäftigt sich mit der Frage, wie aus einer Anzahl von Verhaltensbeobachtungen xvi von Testperson v in bestimmten Situationen i auf die wahre Ausprägung („true score“) Tv eines Persönlichkeitsmerkmals von Testperson v geschlossen werden könnte.
Was ist eine reine Messfehlertheorie?
- z.B. die Klassische Testtheorie
- jede Testung ergibt unterschiedliche Testwerte, weil unterschiedliche Messfehler vorliegen)
- Messungen bestehen aus a) wahren Werten und b) Fehlerwerten -> Messfehler
Was ist die Definition eines Tests gemäss Lienert& Raatz, 1994
Ein Test ist ein wissenschaftliches Routineverfahren zur Untersuchung einer oder mehrerer empirisch abgrenzbarer
Persönlichkeitsmerkmale mit dem Ziel einer möglichst quantitativen Aussage über den relativen Grad der individuellen
Merkmalsausprägung
Was ist der Torrents Test of Creative Thinking?
- ein Messverfahren für Kreativität
- Es werden abigue Reizvorlagen vorgegeben: Eine Zeichnung soll komplettiert werden
- das Manual zeigt auf, welche Zeichnungen originell sind und welche nicht
Was sind Items?
Indikatoren der Konstrukte
Welche Arten von Idikatoren gibt es?
- Reflektive Indikatoren
- Formative Indikatoren
Was sind reflektive Indikatoren?
- Die latente Variable beeinflusst das Antwortverhalten.
- Wiederspiegeln Unterschiede im Antwortverhalten zwischen Personen
- z.B. bei EPQ reflektieren hohe Punktwerte hohe Extraversion
Warum müssen bei Testverfahren mit reflektiven Indikatioren die Items miteinander korrelieren?
weil man davon aus geht, dass alle Items dieselbe latente Variable messen.
Warum ist lokale Unabhängigkeit eine wichtige Eigenschaft der RI?
Wenn in der latenten Variable keine Variation ist (z.B. latente Variable ist IQ, alle haben IQ 100) liegt keine Korrelation zwischen den Items = keine Korrelation = lokale Unabhängigkeit
-> sollten trotz fehlender Variation der latenten Variable unterschiede im Antwortverhalten (und damit Korrelationen) festgestellt werden, handelt es sich um Residualkorrelationen.
Was sind Residualkorrelationen?
Korrelationen unter den Items, obwohl die latente Variable konstant gehalten wurde. D.h. eine andere Variable ist für die Korrelation verantwortlich.
Warum gibt es Residualkorrelationen?
- z.B. weil auch andere Variablen für Unterschiede im Antwortverhalten verantwortlich sind (z.B. Psychotizismus spielt auch in die Items über Extraversion)
Warum ist Eindimensionalität in Tests so wichtig? (=Items sind nur auf eine latente Variable zurückzuführen)
Nur wenn nur eine latente Variable für die unterschiede im Antwortverhalten verantwortlich ist können diagnostische Fragestellungen beantwortet werden.
Kann die psychometrische Eindimensionalität geprüft werden?
Nein, nur die psychologische Eindimensionalität kann geprüft werden. -> kann nur logisch begründet und nicht direkt bewiesen werden
Was sind formative Indikatoren FI?
Die Items formen das Konstrukt (umgekehrt als reflektive Variablen), z.B. die Qualität der Fernuni, Abschlusklausur,…
Müssen formative Indikatoren hoch miteinander korrelieren?
Nein, die können auch unabhängig sein, weil sie zum Teil verschiedene Aspekte messen (anders als bei reflektiven Indikatoren)
Wie läuft die KTT ab?
- Messwert aus der Testung
- Score über die Items wird gebildet
- Schätzung des Messfehlers
- Berechnung des wahren Wertes aus dem Messwert minus dem Messfehler
Was sind Axiome?
Grundannahmen
bzw. Aussagen, die nicht begründet werden müssen, sondern von sich aus offensichtlich richtig sind.
Welche Axiome der klassischen Testtheorie werden im Buch erwähnt?
- Konstruktion des wahren Wertes (Existenzaxiom)
- Konstruktion des Messfehlers
Was ist die Konstruktion des wahren Wertes / das Existenzaxiom?
Der wahre Wert (Tau, t) einer Person (v) ist als Mittelwert über unenendlich oft wiederholte unabhängige Messungen (t) der beobachteten Werte (x) einer Person (v) definiert.
(=Erwartungswert (E(x))
Was bedeutet die Konstruktion des Messfehlers?
Der Messfehler (Epsilon, E) einer Person (v) zu einem Zeitpunkt (t) setzt sich aus der Differenz zwischen dem beobachteten Messwert (x) und dem konstanten, über Zeitpunkte hinweg nicht variierenden, wahren Wert (Tau, t) zusammen.
-> Er repräsentiert alle unkontrollierten, unsystematischen Störeinflüsse
Welche Folgerungen ergeben sich aus den beiden Axiomen?
- Messfehlervarianz: Varianz der beobachteten (mehreren) Messwerte einer Person entspricht der Messfehlervarianz
- Verknüpfungsaxiom: Beobachteter Wert ist wahrer Wert plus Fehler
- Der Erwartungswert des Messfehlers für jede Person und alle Personen ist 0 -> es darf keinen systematischen Messfehler geben.
- Es gibt keine Korrelation von den Messfehlern zweier verschiedener Tests einer oder aller Personen
- Varianz der beobachteten Werte setzt sich aus der Varianz wahren Werten und der Fehlervarianz zusammen -> Grundlage für Reliabilität
- Der Messfehler eines Tests A korreliert nicht mit wahrem Wert von Test B
Welche Zusatzannahme zum Messfehler gibt es?
Messfehler eines Tests A weist in der Population keinen Zusammenhang mit den Messfehlern eines anderen Tests (der ein anderes Merkmal erfasst)
Welche Implikationen ergeben sich aus den Folgerungen und Zusatzannahmen?
Die klassische Testtheorie ist nur für Werte definiert, die für die Berechnung von Differenzen sinnvoll ist -> mind. Intervallskala!
Was sind die Schwächen der KTT?
- Die KTT ist “nur” eine Messfehlertheorie (= sie stellt nicht sicher, dass wahre Werte ein sinnvolles Konstrukt wiederspiegeln)
- Die Eindimensionalität der Messung wird nicht überprüft (Mehrdimensionalität könnte unerkannt bleiben)
- Die Annahmen der Theorie sind nicht überprüfbar bzw. schwer Messbar
- Die KTT-Kennwerte sind Stichprobenabhängig
Was ist der Hauptkritikpunkt an der KTT?
Nicht alle Fehler sind unsystematisch. Es gibt z.B. auch Übungs- und Transfereffekte, die systematisch sind.
Warum sind die Kennwerte in der KTT Stichprobenabhängig?
Weil sie von Korrelationen abhängig sind, welche durch die Stichprobe beeinflusst werden können
Was sind die Unterschiede zwischen formativen und reflektiven Indikatoren?
- Formative Indikatoren formen das Konstrukt, bei reflektiven Indikatoren ist es umgekehrt
- formative Indikatoren haben eine niedrige Korrelation, reflektive sollten eine hohe Korrelation haben
- beim formativen Indikatoren muss im Gegensatz zu reflektiven keine Eindimensionalität vorliegen
- bei formativen Indikatoren ist die vollständigkeit der Items wichtig
Was ist das Verknüpfungsaxiom?
Das Verknüpfungsaxiom besagt, dass jede Messung Xti aus einem wahren Wert Ƭti und einem
zufälligen Fehlerwert Ɛti zusammengesetzt ist.
-> Es ist Bestandteil der “Folgerungen”
Was ist das Unabhängigkeitsaxiom?
Fehlerwerte und wahre Werte sind unabhängig voneinan- der! (Teil der Folgerungen)
Wie werden Konstrukte in der Testtheorie häufig genannt?
latente variable (latent = verborgen)
Wie werden Items in der Testtheorie auch genannt?
manifeste/beobachtbare Variable
-> Items dienen als Indikatoren von latenten Variablen
Ist die klassische Testtheorie (KTT) für formative Indikatoren angemessen?
Nein
Warum sind wiederholte Messungen sinnvoll?
Weil sie die Messgenauigkeit erhöhen.
Was ist der Erwartungswert?
Der Mittelwert einer Person über unendlich viele Messungen.
Wie kann in der KTT eine Schätzung des Messfehlers gemacht werden?
Mit der Berechnung der Reliabilität. (1 = perfekt, 0 = keine Reliabilität)
