Testtheorie und Testkonstruktion 2

Question 1

Wie lassen sich die Itemschwierigkeit und die Streuung bei kategorialen Variablen mit geordneten Antwortkategorien bestimmen?

Answer 1

• über den Median
• über den Mittelwert, wenn man die kategoriale Variable mit geordneten Antwortkategorien eher im Sinne einer metrischen Variablen interpretiert
• der Mittelwert kann auch adjustiert werden, um Itemschwierigkeit zu erhalten, die über verschiedene Studien hinweg vergleichbar ist
• hier werden den einzelnen Kategorien aufsteigende ganze Zahlen zugeordnet, wobei man bei der ersten Kategorie mit dem Wert 0 beginnt
• man erhält den adjustierten Mittelwert, indem man den Mittelwert durch ki-1 dividiert, wobei ki die Anzahl der Kategorien bezeichnet
• zur Bestimmung der Streuung kann der relative Informationsgehalt berechnet werden

Question 2

Welches Zusammenhangsmaß ist für kategoriale Variablen mit geordneten Antwortkategorien geeignet?

Answer 2

y-Koeffizient

Question 3

Durch welche Annahmen wird das Partial-Credit-Modell defininiert?

Answer 3

• Item- und Kategorienhomogenität: Die Schwellenwahrscheinlichkeiten aller Kategorien aller betrachteten Items folgen dem Rasch-Modell
• Bedingte stochastische Unabhängigkeit der beobachtbaren Variablen

Question 4

Was versteht man unter einer Schwellenwahrscheinlichkeit und einem Schwellenparameter?

Answer 4

• ein Quotient, der aus der bedingten Wahrscheinlichkeit, eine Kategorie zu wählen(Zähler), und der bedingten Wahrscheinlichkeit, diese Kategorie oder die direkt darunter liegende Kategorie zu wählen(Nenner), besteht
• ein Schwellenparameter kennzeichnet die Schwierigkeit, die Schwelle von einer unteren zu der darüber liegenden Kategorie zu überschreiten
• er entspricht der Stelle auf der latenten Variablen n, an der die dazugehörige Schwellenwahrscheinlichkeit den Wert 0,5 aufweist

Question 5

Was versteht man unter einer Kategoriencharakteristik und was unter einer Itemcharakteristik?

Answer 5

• Kategoriencharakteristik: beschreibt die Abhängigkeit der bedingten Kategorienwahrscheinlichkeit von der latenten Variablen
• Itemcharakteristik: beschreibt die Abhängigkeit der bedingten Erwartung eines Items von der latenten Variablen

Question 6

Welche 4 Eigenschaften weisen die Messfehler und True-Score-Variablen in der Klassischen Testtheorie auf?

Answer 6

• der Erwartungswert einer Messfehlervariablen ist gleich 0
• der unbedingte Erwartungswert einer Messfehlervariablen ist gleich 0
• eine Messfehlervariable ist mit jeder True-Score-Variablen unkorreliert
• die Varianz einer beobachtbaren Variablen lässt sich additiv in die Varianz der True-Score-Variablen und die Varianz der Fehlervariablen zerlegen

Question 7

Was versteht man unter einem Standardmessfehler und was unter einem Standardschätzfehler?

Answer 7

• Standardmessfehler: die Standardabweichung der Fehlervarianz in der Klassischen Testtheorie
• Standardschätzfehler: die Standardabweichung einer Residualvariablen in einer Regression, in der die True-Score-Variable anhand ihrer zugeordneten beobachtbaren Variablen vorhergesagt wird

Question 8

Was versteht man unter Cronbachs a und unter welchen Bedingungen ist es ein Schätzwert für die Reliabilität der Summenvariablen?

Answer 8

der erwartete Korrelationskoeffizient, den man auf Grundlage folgenden Zufallsexperiments erhält:
- aus Itempool werden per Zufall 2 Itemstichproben gezogen, die vom selben Umfang des interessierenden Tests sind
- die Items des Tests sollen ebenfalls aus dieser Population stammen
- die Items jeder der beiden Itemstichproben werden zu einem Testwert aufsummiert
- die Korrelation der beiden Testwertvariablen ist ein Maß für die Ähnlichkeit der Items
- der Erwartungswert dieser Korrelation entspricht Cronbachs a
- in einer konkreten Anwendung ist Cronbachs a der Mittelwert aller möglichen Split-Half-Koeffizienten, die man aufgrund der Items erhalten kann
- Cronbachs a entspricht der Reliabilität einer Summenvariablen, wenn die Annahmen des Modells essenziell T-äquivalenter Variablen erfüllt sind

Question 9

Welche Schätzmethoden für latente Personenwerte unterscheidet man bei den Modellen der Klassischen Testtheorie?

Answer 9

• man unterscheidet 2 Methoden der Parameterschätzung
• die Maximum-Likelihood-Schätzung
• Bayes-Modal-Schätzung, die der Regressionsmethode nach Thomson entspricht

Question 10

Welche testbaren Implikationen weist das Modell essenziell t-äquivalenter Variablen auf?

Answer 10

• eine bestimmte Kovarianzstruktur der beobachtbaren Variablen, der zufolge alle Kovarianzen der beobachtbaren Variablen in der Population gleich sein müssen
  Diese Kovarianzstruktur muss auch in allen Subpopulationen gelten
• Gleichheit der Leichtigkeitsparameter in Subpopulationen: Wählt man in jeder Subpopulation die gleiche Normierung der Leichtigkeitsparameter, so dürfen sich die Leichtigkeitsparameter zwischen den Subpopulationen nicht unterscheiden
• die Differenz der Erwartungswerte zweier beobachtbarer Variablen muss in allen Subpopulationen gleich sein
• die Differenz der Erwartungswerte einer beobachtbaren Variablen zwischen 2 Subpopulationen ist für alle beobachtbaren Variablen gleich, d.h. die beobachtbaren Variablen unterscheiden sich nicht in der Differenz ihrer Erwartungswerte zwischen Subpopulationen

Question 11

Wodurch zeichnen sich Multikomponentenmodelle aus?

Answer 11

Eine beobachtbare Variable wird in eine Linearkombination mehrerer latenter Variablen additiv zerlegt

Question 12

Was versteht man unter einem Bifaktor-Modell?

Answer 12

• beobachtete Variable wird additiv zerlegt in die Linearkombination zweier latenter Variablen
• eine der latenten Variablen stellt dabei einen generellen Faktor dar, der sich auf alle beobachtbaren Variablen auswirkt
• die zweite latente Variable ist ein spezifischer Faktor, der sich nur auf einen Teil der beobachtbaren Variablen auswirkt und zwar den Teil, der eine spezifische Facette des Konstruktes erfasst

Question 13

Was versteht man unter einem Latent-State-Trait-Modell?

Answer 13

• Modell der Veränderungsmessung
• allen beobachtbaren Variablen liegt eine gemeinsame latente Trait-Variable zugrunde
• allen beobachtbaren Variablen liegt zum selben Messzeitpunkt eine gemeinsame messgelegenheitsspezifische Variable zugrunde
• die messgelegenheitsspezifische latente Variable und die latente Trait-Variable sind unkorreliert
• die latenten messgelegenheitsspezifischen Variablen sind unkorreliert

Question 14

Worin unterscheiden sich konfirmatorische und exploratorische Fakktorenanalyse?

Answer 14

• konfirmatorische Faktorenanalyse: Man hat spezifische Hypothesen über die Anzahl der Faktoren und die Ladungsstruktur, die anhand eines Modelltests statistisch überprüft werden
• exploratorische Faktorenanalyse: Solche Hypothesen liegen nicht vor
  Man will herausfinden, wie viele Faktoren notwendig sind, um die Zusammenhänge der beobachtbaren Variablen zu erklären, und man will die Bedeutung der Faktoren anhand der Ladungen bestimmen

Question 15

Auf welcher Grundidee basiert die Faktorenanalyse für ordinale Variablen?

Answer 15

• jeder beobachtbaren kategorialen Variablen mit geordneten Antwortkategorien liegt eine metrische latente normalverteilte Antwortvariable zugrunde
• diese itemspezifische latente metrische Antwortvariable wird faktorenanalytisch zerlegt

Question 16

Warum transformiert man Testwerte?

Answer 16

Um die Testwerte einer Person besser interpretierbar und die Merkmalsausprägungen zwischen verschiedenen Tests vergleichbar zu machen

Question 17

Was versteht man unter linearen, was unter nicht linearen Transformationen? Was sind ihre Vor- und Nachteile?

Answer 17

• Lineare Transformation: Testwert wird mit einer Zahl multipliziert und diesem Produkt eine additive Konstante hinzugefügt
• Vorteile: ändern die Form der Verteilung der Merkmalsausprägungen nicht
  Linear transformierte Messwerte können über Personen, Messzeitpunkte oder Tests gemittelt werden
• Nachteile: nicht geeignet für nicht symmetrisch verteilte Merkmale, da Mittelwert stark auf Ausreißer-Werte reagiert, kann Transformation auf Grundlage des Mittelwertes(z.B. z-Transformation) zu Fehlinterpretationen führen
• Nicht lineare Transformationen: Testwerte werden in Prozentrangwerte übertragen und darauf aufbauend ggf. weiter transformiert
• Vorteile: einfach Interpretierbarkeit
• Nachteile: hinter derselben Differenz zweier nicht linear transformierter Werte können sich unterschiedlich große Merkmalsunterschiede verbergen, je nachdem, wo in der Verteilung die Werte zu finden sind
  Daher können bestimmte Kennwerte(z.B. arithmetisches Mittel) nicht sinnvollerweise bestimmt werden

Question 18

Welchen Mittelwert und welche Standardabweichung weisen T-Werte, IQ-Werte und Z-Werte auf?

Answer 18

• T-Werte: Mittelwert 50, Standardabweichung 10
• IQ-Werte: Mittelwert 100, Standardabweichung 15
• Z-Werte: Mittelwert 100, Standardabweichung 10

Question 19

Was versteht man unter Stanine-Werten und was unter Sten-Werten?

Answer 19

• Merkmalswerte, die man aufgrund normalisierender Transformationen erhält
• Stanine-Werte: transformierte Werte, Mittelwert 5, Standardabweichung 2
• Sten-Werte: transformierte Werte, Mittelwert 5,5, Standardabweichung 2

Question 20

Wie ist ein Prozentrangwert definiert?

Answer 20

gibt an, wie viel Prozent der Personen einer vergleichsgruppe einen Testwert aufweisen, der kleiner als oder genauso groß wie der Testwert einer betrachteten Person ist

Question 21

Welche Spezialfälle und welche Verallgemeinerungen des Partial-Credit-Modells gibt es und was kennzeichnet sie?

Answer 21

• Spezialfälle: Ratingskalenmodell, Äquidistanzmodell, Dispersionsmodell
• eine Verallgemeinerung des Partial-Credit-Modells ist das generalisierte Partial-Credit-Modell
• Ratingskalenniveau: nimmt an, dass die Differenz zweier benachbarter Schwellenparameter für alle Items gleich groß ist, wobei sich die Differenzen zwischen den verschiedenen Schwellen unterscheiden dürfen
• Äquidistanzmodell: nimmt an, dass die Schwellenabstände innerhalb eines Items alle gleich groß sind, wohingegen sich die Schwellenabstände zwischen den verschiedenen Items unterscheiden dürfen
• Dispersionsmodell: lässt sich durch mittlere Schwellenabstände, die Unterschiede in den Kategorienbreiten repräsentieren, kennzeichnen
  Die mittleren Schwellenabstände werden durch einen itemspezifischen Dispersionsparameter gestaucht oder gestreckt, so dass sich die Schwellenabstände zwischen Items in systematischer Weise unterscheiden können
• Generalisiertes Partial-Credit-Modell: erweitert Partial-Credit-Modell um einen Diskriminationsparameter, der itemspezifisch ist
  Mit diesem wird die Differenz aus der latenten Variablen und einem Schwellenparameter gewichtet
  Je größer dieser ist, desto steiler steigt die Schwellenwahrscheinlichkeit an ihrem Wendepunkt an

Question 22

Welche Kovarianzstruktur wird von einem Modell essenziell T-äquivalenter Variablen impliziert?

Answer 22

Die Kovarianzen aller beobachtbaren Variablen müssen gleich sein

Question 23

Was versteht man unter einem x²-Differenztest?

Answer 23

• man vergleicht die x²-Werte zweier Modelle, die ineinander geschachtelt sind
• überprüft die Annahme, dass die Restriktionen in dem restriktiveren Modell gültig sind
• um einen x²-Differenztest anwenden zu können, muss das allgemeinere Modell gültig sein

Question 24

Welche Voraussetzungen müssen erfüllt sein, damit die Reliabilität anhand der Korrelation zweier beobachtbarer Variablen bestimmt werden kann?

Answer 24

• es müssen die Voraussetzungen des Modells essenziell T-äquivalenter Variablen erfüllt sein
• alle beobachtbaren Variablen erfassen eine gemeinsame latente Variable mit gleichen Diskriminationsparametern und unterscheiden sich nicht in ihren Fehlervarianzen

Question 25

Wozu dient die Spearman-Brown-Formel zur Testverlängerung und welche Voraussetzungen müssen erfüllt sein, um diese anwenden zu können?

Answer 25

• Bestimmung der Reliabilität der Summenvariablen
• zur Anwendung müssen die Annahmen des Modells essenziell T-paralleler Variablen erfüllt sein
• alle beobachtbaren Variablen erfassen eine gemeinsame latente Variable mit gleichen Diskriminationsparametern und unterscheiden sich nicht in ihren Fehlervarianzen

Question 26

Wie kann die Reliabilität der Summenvariablen im Modell T-kongenerischer Variablen bestimmt werden?

Answer 26

durch McDonalds w

Question 27

Was versteht man unter einem Trennschärfekoeffizienten?

Answer 27

Die Korrelation eines Items mit der gemeinsamen latenten Variablen

Question 28

Was versteht man unter der Spezifität, was unter der Sensitivität eines Tests und wie werden sie bestimmt?

Answer 28

• Spezifität: bedingte Wahrscheinlichkeit, dass eine Person, die einer Kriteriumsgruppe nicht angehört, auch als solche diagnostiziert wird (gesunde Person wird nicht als krank diagnostiziert)
• Sensitivität: bedingte Wahrscheinlichkeit, dass eine Person, wenn sie tatsächlich zu einer Kriteriumsgruppe gehört, auch als zu dieser zugehörig diagnostiziert wird (kranke Person wird korrekt als krank erkannt)

Question 29

Was versteht man unter dem positiven und dem negativen prädiktiven Wert und wie werden sie bestimmt?

Answer 29

• positiver prädiktiver Wert: die Wahrscheinlichkeit, dass eine Person, die als der Kriteriumsgruppe zugehörig diagnostiziert wird, auch wirklich der Kriteriumsgruppe angehört
• negativer prädiktiver Wert: die Wahrscheinlichkeit, dass eine Person, die als nicht der Kriteriumsgruppe zugehörig diagnostiziert wird, auch wirklich nicht der Kriteriumsgruppe angehört