W3: Grundlagen der Klassischen Testtheorie (KTT) Flashcards
Was bedeutet KTT?
Klassische Testtheorie
Welche verschiedenen Arten von Testtheorien gibt es?
- Klassische Testtheorie (KTT)
- Probabilistische Testtheorie (item response theory)
Was ist der Unterschied zwischen KTT und Probabilistische Testtheorie?
Bei der probabilistischen Testtheorie möchte man die einzelnen Items gut verstehen. Die KTT setzt eher beim Gesamtwert eines Testverfahrens an. Sprich es werden keine Aussagen gemacht, wie die Items beantwortet werden resp. wie die Leistung zu Stande kommt.
Welche Theorie wird mehrheitlich verwendet?
KTT - die probabilistische Testtheorie ist langsam auf dem Vormarsch.
Was ist speziell an der KTT?
Man rechnet immer mit einem bestimmten Fehler, der Test ist nie perfekt. Bspw. ein IQ-Test, gibt immer Verzerrungen - unsystematische Fehlereinflüsse. Der beobachtete Wert setzt sich zusammen auf dem wahren Wert und einem Messfehler, der geschätzt wird. Dies ist der grösste Kritikpunkt an der KTT.
- meist verbreitete Testtheorie
- Messfehlertheorie (Schwerpunkt liegt auf der Grösse des jeweiligen Messfehlers)
- versucht zu klären, wie anhand eines Testwerts auf die wahre Ausprägung des zu messenden Persönlichkeitsmerkmals geschlossen werden kann,
- Kausalität und Eindimensionalität wird angenommen
Was ist ein Test?
Jedes wissenschaftliche Routineverfahren, das zur Erfassung von eines bestimmten Konstruktes oder Gegenstandes dient - alle psychologische diagnostische Verfahren (egal ob Leistungstests oder Persönlichkeitsverfahren etc.)
- Routineverfahren
- abgrenzbar
- quantitative Aussage über den relativen Grad der individuellen Merkmalsausprägung - Zahlenwert gibt Auskunft über die Merkmalsausprägung, damit Vergleiche gemacht werden können
Was ist die Definition der Testtheorie?
Testtheorien befassen sich mit dem Zusammenhang von Testverfahren und dem zu erfassenden psychischen Merkmal.
Beispiel Podcast mit Kreativitätests, wo gemessen wird, wie originell eine Person eine angefangene Zeichnung weiterführt. Dabei wird angenommen, dass die Kreativität, die wir besitzen, ursächlich verantwortlich ist für unsere Leistung im zeichnerischen Kreativitätstest. Wir haben also eine Kausalitätsannahme = dass Kreativität ursächlich verantwortlich ist.
Was ist das Postulat der Eindimensionalität?
Da wird angenommen, das ein Resultat oder eine Leistung in einem Test nur aufgrund einem Faktor zustande gekommen ist - z.B. Kreativität. Wenn man annimmt, dass es Kreativität und Intelligenz ist, wird es schwierig, dies zu messen resp. auseinander zu nehmen. Nur mit der Eindimensionalität können Testverfahren sinnvoll angewendet werden.
Weshalb wird Eindimensionalität kritisch betrachtet?
Ist es wirklich möglich, dass das Antwortverhalten auf Items tatsächlich nur auf eine latente Variable zurückzuführen ist? Dies muss logisch begründet werden.
Was sind reflektive Indikatoren (RI)?
Gemäss Beispiel im Podcast W3: Messung einer latenten Variable (z.B. Intelligenz, Extraversion). Wenn jemand bei einer Testung viele Items richtig beantworten, sind dies reflektive Indikatoren resp. weisen darauf auf die Ausprägung der latenten Variable hin (bspw. hohe Intelligenz) - reflektierend / widerspiegelnd. Alle Items sollten hoch miteinander korrelieren. Wenn die Korrelation der Items aber zu hoch ist (0.8 +), dann sind die Fragen wohl zu ähnlich gestellt.
Kurz: Reflektive Indikatoren sind “Repräsentanten” der latenten Variable.
Wenn ich also in einem Intelligenztest ein sehr gutes Resultat erziele, wiederspiegelt dies meine hohe Ausprägung im Konstrukt Intelligenz (reflektierend - wiederspiegelt den Zusammenhang zwischen der latenten Variablen und den beobachtbaren Werten).
Was ist ein weiteres Beispiel für reflektive Indikatoren (RI)?
Beispiel Eysenck Erfassung latente Variable Extraversion. Mögliche Items (reflektive Indikatoren) für Extraversion:
- Sind sie sehr gesprächig?
- Sind sie lebhaft?
- Machen Sie gerne neue Bekanntschaften?
Nun wird angenommen, dass die Extraversion dafür verantwortlich ist, ob ich diese Fragen mit JA oder NEIN beantworte. JA erhalten 1P, Nein 0P. Bei der Auswertung erhalte ich einen Summenwert, der die Ausprägung der Extraversion widerspiegeln sollte. Hohe Werte = hohe Extraversion.
Was ist lokale Unabhängigkeit?
Wenn keine Korrelation zwischen den Items vorliegt - Items sind unabhängig voneinander.
Z.B. wenn alle Personen einen den genau gleichen IQ haben resp. im Test alle Antwort gleich beantworten, werden alle Itemantworten somit zu Konstanten. Wenn alle Items Konstanten sind, gibt es keine Varianz mehr, die Korrelation ist nicht mehr definiert (positiv oder negativ).
(Vorher hätten weniger intelligente Personen Items falsch beantwortet, intelligente Personen hätten sie richtig beantwortet - diese Korrelationen verschwinden jedoch, wenn alle Personen genau gleich schlau sind und alles genau gleich beantworten - keine Variation im Antwortverhalten)
Was versteht man unter Residualkorrelationen?
Dass Korrelationen zwischen Items nicht auf die latente Variable zurückzuführen ist. Dies kann in der Praxis vorkommen, ist aber nicht erwünscht.
Beispiel latente Variable Extraversion: wie man sich auf Parties verhält kann u.U. nicht nur durch Extraversion erklärt werden, sondern auch durch Psychotizismus.
Was sind formative Indikatoren?
Die Items formen das Konstrukt (Gegenteil zu reflektiven Indikatoren). Bspw. bei der Evaluation der FernUni: dabei wird angenommen,dass verschiedene Faktoren verantwortlich sind, wie gut wir die FernUni finden. Hier gehen wir nicht mehr davon aus, dass die Items hoch miteinander korrelieren, weil diese können ja unabhängig zur Zufriedenheit mit der FernUni beitragen.
Was ist ein Index?
Grösse, die den Inahlt einer definierten Itemmenge anzeigt (z.B. Index zur Erfassung der Qualität in der medizinischen Pflege im Rahmen einer Studie zur Evalutation der Pflegesituation in einem Krankenhaus). Zentrales Kriterium: Vollständigkeit der Items. Alle Items berücksichtigen, welche für die Beurteilung wichtig sind.
