2. VL Testinstruktion 1: Planung und Entwicklung des Tests Flashcards

1
Q

Was ist ein psychometrischer Test?

A

”.. ein wissenschaftliches Routineverfahren zur Erfassung eines oder mehrerer empirisch abgrenzbarer psychologischer Merkmale mit dem Ziel einer möglichst genauen quantitativen Aussage über den Grad der individuellen Merkmalsauprägung.”

Ein psychometrischer Test ist mehr als nur eine Ansammlung von Fragen oder Aufgaben. Der Unterschied liegt darin, dass psychometrische Tests psychische Merkmale quantitativ auf der Basis von Testtheorien erfassen und somit eine metrisch vergleichende Diagnostik ermöglichen.

How well did you know this?
1
Not at all
2
3
4
5
Perfectly
2
Q

Definiere…

  1. Item
  2. Skala
  3. Fragebogen
A
  1. Item: einzelne Aufgabe in einem Test
  2. Skala: mehrere Items, die eine Dimension erfassen.
  3. Fragebogen: Sammlung von Fragen, die für eine systematische Befragung von Personen konzipiert wurde
How well did you know this?
1
Not at all
2
3
4
5
Perfectly
3
Q

Definiere…

  1. Test
  2. Item-Punktzahl
  3. Test-Punktzahl
A
  1. Test: Verfahren zur Messung von psychologisch bedeutsamen Dimensionen.
  2. Item-Punktzahl: Punktzahl für die Beantwortung der einzelnen Items
  3. Test-Punktzahl: Summe oder Mittelwert der Item-Punktzahl über einen Test hinweg.
How well did you know this?
1
Not at all
2
3
4
5
Perfectly
4
Q

Nenne 7 Arten von Tests nach dem Format bzw. der Art der Durchführung!

A
  1. Prüfungen (MC, Math, offene Fragen)
  2. Fähigkeitstest aller Art
  3. Fragebogen (Selbsteinschätzung/ Fremdeinschätzung)
  4. Projektive Tests
  5. Interviews (DSM5)
  6. Verhaltensbeobachtung
  7. Experimente
How well did you know this?
1
Not at all
2
3
4
5
Perfectly
5
Q

Nenne 4 Arten von Tests nach dem Inhalt bzw. der Art des zu erfassenden Konstruktes!

A
  1. Leistungstests
  2. Psychometrische Persönlichkeitstests (Spezialfall: Objektive Persönlichkeitstests)
  3. Projektive Verfahren (NICHT als psychometrischen Test zu bezeichnen)
  4. Apparative Tests
How well did you know this?
1
Not at all
2
3
4
5
Perfectly
6
Q

Beschreibe den Leistungstest! Nenne die beiden Formen und gebe einige Beispiele an!

A
  • Maximales Verhalten wird gefordert!
  • Es gibt Richtig/Falsch

Dabei gibt es 2 Formen:
1. Speedtest: Zeit begrenzt (Bsp. NC) dabei kann man sich nie besser darstellen als man ist, nur schlechter

  1. Powertest (oder Niveautest): unbegrenzte Zeit zur Lösung einer schweren Aufgabe

Beispiele:

  • Entwicklungstest
  • Intelligenztest
  • Leistungs- oder Konzentrationstest
  • Schultest
  • spezielle Funktions- oder Eignungstest (NC)
How well did you know this?
1
Not at all
2
3
4
5
Perfectly
7
Q

Beschreibe den Psychometrischen Test und gebe Beispiele!

A
  • typisches Verhalten (psychisches Merkmal) wird erfasst
  • es gibt kein Richtig/Falsch
  • Spezialfall: Objektiver Persönlichkeitstest (damit wird die subjektive Verfälschung reduziert)

Beispiele:

  • Persönlichkeitskonstrukttest
  • Einstellungs- oder Interessentest
  • Empfindungs- oder Motivationstest
  • Klinische Tests
How well did you know this?
1
Not at all
2
3
4
5
Perfectly
8
Q

Beschreibe das Projektive Verfahren.

A
  • erfasst die Persönlichkeitsmerkmale qualitativ
  • NICHT als ein psychometrischen Test zu bezeichnen

Beispiele:

  • Formdeutungsaufgabe
  • Verbal-thematische Verfahren (TAT, Rohrschach-Test)
  • Zeichnerische Gestaltungsverfahren (Baum-Test)
How well did you know this?
1
Not at all
2
3
4
5
Perfectly
9
Q

Beschreibe das Apparative Testen!

A
  • Erhebung sensorischer und motorischer Merkmale

Beispiel:

  • Fingerlabyrinth
  • Sensomotorische Koordination
  • Computerbasierte Leistungs- und Persönlichkeitstest
    Spezialfall: Adaptives Testen
How well did you know this?
1
Not at all
2
3
4
5
Perfectly
10
Q

Apparatives Testen: Beschreibe das Adaptive Testen und nenne die Vor- und Nachteile davon

A
  • Man beginnt mit einem mittelschweren Item und passt je nach Antwort das darauf folgende Item an

Voraussetzung:

  • Test- und Itemkonstruktion mittels Item Response Theory
  • Kriterien zur Auswahl der Items und Beendigung der Testung

Vorteile:

  • Beachtliche Messeffizienzsteigerung
  • Testsicherheit, standardisiertes Vorgehen
  • schnelle und fehlerfreie Auswertung
  • Möglichkeit zu innovativen Itemformate: multidimensionale Testung für komplexere theoretische Annahmen

Nachteile:

  • Organisatorische Natur: Hoher Entwicklungsaufwand (teuere Tests!)
  • Problematische Fairness bezüglich computerbezogener Personenmerkmale (Bsp. ältere Personen)

–> Merke: Auswirkung auf die Motivation ist nicht geklärt!

How well did you know this?
1
Not at all
2
3
4
5
Perfectly
11
Q

Beschreibe quantitative vs. qualitative Merkmale und erläutere das damit verbundene Problem.

A

Qualitatives Merkmal: Personen lassen sich bezüglich ihrer Ausprägung mind. in unterschiedliche Kategorien einteilen (Nominalskalenniveau - Bsp. schwanger oder nicht schwanger)

Quantitatives Merkmal: Personen lassen sich bezüglich ihrer Ausprägung in graduell abgestufte Merkmalskategorien einteilen (Ordinal-, Intervall- oder Verhältnisskalenniveau)

Problem/Schwierigkeit: Skalierung und Skalenniveau

How well did you know this?
1
Not at all
2
3
4
5
Perfectly
12
Q

Repetition Skalenniveau!

A

vgl. VL 2 p. 20!

Nominal: gleich/ungleich – Geschlecht, Tel-Nr, Religion
Ordinal: grösser/kleiner – Noten, Rang, Testscore
Intervall: Mass der Differenzen – Thermometer, Kalenderdaten
Verhältnis: Gleichheit von Zahlenverhältnissen mit absolutem Nullpunkt – Länge, Gewicht, physik. Masse

Merke: Skalenniveau har Einfluss auf die Wahl des statistischen Verfahren bei der Auswertung

How well did you know this?
1
Not at all
2
3
4
5
Perfectly
13
Q

Beschreibe die Dimensionalität eines Merkmals!

A

Unidimensional: Merkmal umfasst nur ein Konstrukt (Bsp. es wird nur der Selbstwert getestet)

Multidimensional: Merkmal umfasst mind. zwei Konstrukte (wird am einfachsten mit einzelnen Subtests erfasst!)

Merke: KTT erfasst nur unidimensionale (homogene) Konstrukte!

How well did you know this?
1
Not at all
2
3
4
5
Perfectly
14
Q

Beschreibe die Stabilität eines Merkmals!

A

Zeitlich stabil: Persönlichkeitsmerkmal im engeren Sinne (trait)

Zeitlich veränderbar: Zustände, die von den jeweiligen Situationen abhängig sind (states)

How well did you know this?
1
Not at all
2
3
4
5
Perfectly
15
Q

Beschreibe den Geltungsbereich und die Zielgruppe!

A

Geltungsbereich: Anwendungsmöglichkeiten des Tests.

  • Inhaltliche Validität (Konstrukt), Kriteriumsvalidität
  • enger Geltungsbereich testtheoretisch geeigneter

Zielgruppe:
- je breiter die Zielgruppe, desto mehr Anforderungen an den Test

How well did you know this?
1
Not at all
2
3
4
5
Perfectly
16
Q

Welche beiden Testkonstruktionsstrategien gibt es?

A

Deduktiv/Theoretisch:

  • Intuitive Strategie
  • Rationale Strategie

Indiktiv/Empirisch:

  • Externale / Kriteriumsorientierte Strategie
  • Internale / Faktorenanalytische Strategie
17
Q

welche Strategie wird bei der Konstruktion und welche bei der Überprüfung angewendet?

A

Konstruktion: Rationale Strategie (Deduktiv)

Überprüfung: Internale/ Externale Strategie

18
Q

Beschreibe die Intuitive Strategie!

A
  • gehört zu deduktiv/theoretisch
  • gebraucht wenn Items aufgrund ihrer vermuteten Inhaltsvalidität zu einem theoretisch wenig explizierten Konstrukt zusammengestellt werden
  • vor allem zu Beginn neuer Forschung verwendet

Sprich: Brauchen wenn wir wenige Theorien haben, auf die wir Bezug nehmen können

19
Q

Beschreibe die Rationale Strategie!

A
  • gehört zu deduktiv/theoretisch
  • Eine Skalenkonstruktion erfolgt dann rational, wenn die Items aufgrund eines theoretisch fundierten und explizierten (Persönlichkeits-)Konstruktes (deduktiv) abgeleitet werden
20
Q

Beschreibe das Vorgehen bei einer deduktiv/theoretischen Strategie!

A

Vorgehen:

  1. Definition und Spezifikation des zu erfassenden Konstrukts
  2. Generierung eines Itempools
  3. Auswahl durch Expertenratings
  4. Empirische Überprüfung
21
Q

Beschreibe die externale/ kriteriumsorientierte Strategie und erkläre das Vorgehen.

A
  • gehört zu induktiv/empirisch
  • erfolgt dann, wenn Items aufgrund ihrer Diskriminationsfähigkeit zwischen Mitgliedern verschiedener Gruppen (nicht aufgrund ihrer inhaltlichen Bedeutung) zusammengestellt werden
  • -> Nutzen ist entscheidend, nicht die Theorie

Vorgehen:

  1. Gruppenbestimmung nach Kriterium
  2. Generierung eines breiten Itempools
  3. Itembearbeitung durch Gruppe
  4. Auswahl der zu trennenden Items
  5. Kreuzvalidierung
22
Q

Beschreibe die internale/faktorenanalytische Strategie und erkläre das Vorgehen.

A
  • gehört zu induktiv/empirisch
  • erfolgt dann, wenn Items (bild-analytisch) mittels einer Faktorenanalyse zu Skalen gruppiert werden, die empirisch hoch miteinander (und möglichst gering mit Items anderer Skalen: Einfachstruktur) korrelieren und damit gemeinsam eine Dimension konstruieren.

Vorgehen:

  1. Generierung eines grossen Itempools mit prinzipiell relevanten Items
  2. Auswertung mittels Faktorenanalyse
  3. Elimination von Items mit zu geringer oder Mehrfachladung
  4. Bildung von Subskalen und inhaltliche Deutung (post-hoc)
  5. Itemselektion anhand der Itemanalyse
23
Q

Darf man bei der Konstruktion einer Skala auch mehrere Strategien verwenden?

A

Ja, oft verwendet man Kombinationsstrategien!

vgl. Beispiel zur Konstruktion einer Skala zur Erfassung der Persönlichkeit (p. 31)

24
Q

Nenne die 4 Schritte des Testkonstruktionsablaufes:

A
  1. Testplanung
  2. Testentwurf
  3. Erprobung des Entwurfs
  4. Revision des Tests - Endfassung
25
Q

Was passiert bei 1. der Testplanung?

A
  • Anforderungsanalyse und Problemstellung: Was ist der Zweck des Tests?
  • Planung und Literatursuche: Lehrbücher, Datenbanken, Befragung von Experten und Laien
  • Eingrenzung des Merkmals und Arbeitsdefinition
  • Suche nach bereits existierenden Tests

Merke: Die bereits existierenden Tests kann man abändern, aber wenn man Items umformuliert/kürzt/streicht oder das Antwortformat ändert, dann muss man zeigen können, dass der neue Test den psychometrischen Kriterien neu entspricht!

26
Q

Was passiert beim 2. Testentwurf?

A

Testaufgabenentwicklung:

  • Zielgruppe
  • Art der Information (objektiv/subjektiv)
  • Struktur des Tests
  • Testlänge und Testzeit
  • Testadimnistration (Bsp. Gruppen vs. Einzeltest)

Überprüfung des Testentwurfs:
- erste Pilotierung!

27
Q

Was passiert bei der 3. Erprobung des Entwurfs?

A
  1. Testversion einer Stichprobe vorlegen, die der Zielgruppe ähnlich ist
  2. Ermittlung missglückter Itemformulierung:
    - Ich schmeisse alles raus, was INHALTLICH nicht verstanden wurde ect.
    - danach mache ich eine zweite Pilotierung
  3. Analyse der Testaufgaben: statistisch / psychometrisch
    - Verteilungsanalyse (Boden- und Deckeneffekte)
    - Itemanalyse und Itemselektion
    - Qualitätskontrolle der Testgütekriterien
28
Q

Was passiert bei der 4. Revision des Tests - Endfassung?

A
  • Revision (Selektion, Eliminierung, Überbearbeitung der Items)
  • erneute psychometrische Prüfung
  • evtl. Normierung / Eichung anhand der repräsentativeren Eichstichprobe
  • evtl. Cut-Off-Werte bestimmen