Testtheorie_Items Flashcards

1
Q

Definition Items

A
  • Items sind die Grundbausteine eines Tests
  • Reize, auf die die Versuchsperson reagieren soll
  • Reize können auditiv, visuell, taktil usw. oder Kombinationen davon sein
  • Mögliche Arten der zu registrierenden Reaktion: Kreuze in einem Fragebogen, Lösungszeiten, mimische oder andere Körperäußerungen, psychophysiologische Reaktionen, verbale Äußerungen (schriftlich oder mündlich), Zeichnungen usw.
  • In einem Test können verschiedene Untertests sein, die ihrerseits aus Items bestehen
  • Anforderungen an Testverfahren werden im Wesentlichen auch an Items gestellt. Es unterscheidet sich vorrangig die Hierarchieebene.
How well did you know this?
1
Not at all
2
3
4
5
Perfectly
2
Q

Anforderungen an Items

A
  • Items differenzieren möglichst in allen Bereichen des Kontinuums zwischen Personen mit hoher und niedriger Ausprägung (zentrale Tendenz und Variabilität der Items und des Tests)
  • Items messen gleiches Merkmal und sind konsistente Indikatoren (Itemhomogenität)
  • Das durch ein Item erfasste Merkmal soll mit dem in Frage stehenden Merkmal übereinstimmen (Itemvalidität)
How well did you know this?
1
Not at all
2
3
4
5
Perfectly
3
Q

Beispiele Items

A

1) Dichotomes Antwortformat
- ja/nein
- stimmt / stimmt nicht

2) Rating-Skalen
- Die Urteiler/innen werden gebeten, diejenige Stufe der Rating-Skala anzukreuzen, die ihrem subjektiven Empfinden von der Merkmalsausprägung bei dem fraglichen Gegenstand entspricht (also z.B. anzugeben, für wie schüchtern sie sich selbst halten)

3) Unipolare vs. bipolare Skalen
Im Augenblick fühle ich mich…
Bipolar: sehr fröhlich - sehr traurig
Unipolar: sehr traurig - gar nicht traurig

4) Gerade vs. ungerade Anzahl Stufen
Ungerade: -2 -1 0 1 2
Gerade: 1 2 3 4

5) Numerische versus verbale Marken
Numerisch: -2 -1 0 1 2
Verbal: gar nicht / kaum / mittelmäßig / ziemlich / außerordentlich

6) Multiple-Choice

7) Zuordnungsaufgaben
(Bsp. “An welchem Fluss liegen folgende Städte?)

8) Umordnungsaufgaben
9) Ergänzungsaufgaben
10) Offene Fragen

How well did you know this?
1
Not at all
2
3
4
5
Perfectly
4
Q

Inhaltliche Kriterien an Items

A

Inhaltliche Unabhängigkeit

Forderung, dass ein Item unabhängig von der Beantwortung der vorausgegangenen Items bearbeitet werden kann; die Lösung eines Items soll nicht die Lösungswahrscheinlichkeit eines anderen Items beeinflussen

Grundlegende Voraussetzung in allen testtheoretischen Modellen (!)

Beispiel

„Was ergibt 20 geteilt durch 5?“

„Und wenn ich zum obigen Ergebnis jetzt 3 noch addiere?“

How well did you know this?
1
Not at all
2
3
4
5
Perfectly
5
Q

Item-Formulierung im Rahmen von Persönlichkeitstests - zu vermeiden

A

Vermeide

  • Verneinungen, doppelte Verneinungen
  • zwei verschiedene Inhalte in einem Satz („Ich gehe häufig ins Theater, und auch ins Kino gehe ich gern“).
  • Mehrdeutigkeiten
  • Items, die für manche Personen in der Zielpopulation unangemessen oder schwer verständlich sind
  • Aussagen, die von fast allen Personen bejaht oder verneint werden („Man sollte keine Menschen umbringen“).
  • Feststellungen, die „weil“- Schlussfolgerungen enthalten
How well did you know this?
1
Not at all
2
3
4
5
Perfectly
6
Q

Item-Formulierung im Rahmen von Persönlichkeitstests - zu verwenden

A

Verwende

  • kurze Aussagen (in der Regel max. 20 Worte)
  • grammatikalisch korrekte, möglichst einfach strukturierte Sätze
  • ein Vokabular, das leicht verstanden wird
  • möglichst eine etwa gleich große Zahl von Items, die positive und negative Inhalte ausdrücken
  • keine Fragen, deren Antworten rasch veralten
    („Wer ist Bundespräsident der BRD?“)
How well did you know this?
1
Not at all
2
3
4
5
Perfectly
7
Q

Verfälschende Response-Sets

A
Absichtliche Verstellung
(z.B. Dunkelfeldforschung)

Tendenz zur Mitte
    (z.B. Mitarbeiterbeurteilung)

Akquieszenz (Bejahungstendenz)

Soziale Erwünschtheit

Persönlichkeitstests bei der Personalauswahl
How well did you know this?
1
Not at all
2
3
4
5
Perfectly
8
Q

Bayley Scales of Infant Development (Bayley, 1993)

A
  • Misst motorische und kognitive Fähigkeiten
How well did you know this?
1
Not at all
2
3
4
5
Perfectly
9
Q

Fagan Test of Infant Intelligence Fagan (1984)

A
  • Misst visuelle Wiedererkennung bei Kleinkindern
How well did you know this?
1
Not at all
2
3
4
5
Perfectly
10
Q

Tintenklecks Rorschach (1921)

A

Itemart: projektiv

How well did you know this?
1
Not at all
2
3
4
5
Perfectly
11
Q

Goodenough-Harris-Drawing Test Goodenough & Harris (1963)

Mann-Zeichen-Test Ziller (1977); Brosat & Tötemeyer (2007)

A

Nonverbaler Test zur Messung von mentaler und geistiger Entwicklung

How well did you know this?
1
Not at all
2
3
4
5
Perfectly
12
Q

Intelligenz-Struktur-Test (IST-2000)

Amthauer, Brocke, Liepmann & Beauducel (2000)

A

Mehrdimensionaler Intelligenztest

Satzergänzung (SE)
verbale Intelligenz (V)
Schlussfolgerndes Denken (SD) 
Analogien (AN)
Gemeinsamkeiten (GE)
Rechenaufgaben (RE)
numerische Intelligenz (N) 
Zahlenreihen (ZR)
Rechenzeichen (RZ)
Figurenauswahl (FA)
figural-räumliche Intelligenz (F) 
Würfelaufgaben (WÜ)
Matrizen (MA)

Merkaufgaben

Wissenstest

How well did you know this?
1
Not at all
2
3
4
5
Perfectly
13
Q

Mannheimer Test zur Erfassung des physikalisch-technischen Problemlösens (MTP)
Conrad, Baumann und Mohr (1980)

A

Welcher Flugbahn würde ein Briefsack folgen,
der bei x abgeworfen wird?

(Nach vorne und abgerundet nach unten)

How well did you know this?
1
Not at all
2
3
4
5
Perfectly
14
Q

Wirtschaftswissenstest

A

Beispiel:
Das Bruttosozialprodukt entspricht…

o der Menge der von Privatunternehmen produzierten Güter und Dienstleistungen.
o der Menge der von Privat- und Staatsunternehmen produzierten Güter und Dienstleistungen.
o der Summe aller Inlands- und Auslandseinkommen.
o den gesamten Ausgaben von Bund, Ländern und Gemeinden.

How well did you know this?
1
Not at all
2
3
4
5
Perfectly
15
Q

Testkonstruktionsprinzipien - Was ist Rationale Konstruktion?

A

Ausgangspunkt und Voraussetzung: Theorie oder Konstrukt
–> Formuliert werden Items, welche dieses möglichst direkt repräsentieren.

  • Vorliegen einer Theorie darüber, wie sich Personen beschreiben lassen und voneinander unterscheiden = zentraler Aspekt rationaler Testkonstruktion.
  • Organisation von Stabilität und Konsistenz von Verhalten gedanklich in übergreifende Kategorien von Verhaltensbereitschaften und Dispositionen (also Eigenschaften)
  • Dabei handelt es sich um hypothetische Klassen oder Gruppierungen, die mit Namen wie „Intelligenz“, „Ängstlichkeit“ etc. belegt werden. Für diese werden Indikatoren gesucht.
  • Theorie bestimmt auch das Itemformat: Um im Rahmen eines psychoanalytischen Ansatzes nichtbewusste Motive sichtbar zu machen, wurden häufig projektive Testitems verwendet
  • -> z.B. Picture Frustration Test (Sprechblase ausfüllen)
How well did you know this?
1
Not at all
2
3
4
5
Perfectly
16
Q

Testkonstruktionsprinzipien - Rationale Konstruktion-Kostruktionsschritte

A

1) Definition der/des zu erfassenden Konstrukte/s
2) Generierung eines Itempools

3) Auswahl der Items auf der Grundlage von Expertenratings
(prüfen die inhaltliche Passung von Konstrukt und Item und „gewährleisten“ damit Inhaltsvalidität)

4) Empirische Daten und Itemselektion nach psychometrischen Ergebnissen

17
Q

Testkonstruktionsprinzipien - Rationale Konstruktion - Vor-und Nachteile

A
\+ hohe inhaltliche Stringenz
\+ hohe Inhaltsvalidität
\+ homogene Skalen
- Aufwendig
- Validierung erforderlich
18
Q

Testkonstruktionsprinzipien - Was ist Internale oder Induktive Konstruktion

A
  • stützt sich im wesentlichen auf spezifische Methoden, nämlich Korrelations- und Faktoranalysen
  • nicht theoriegebunden
  • Items werden vielmehr (blind-) analytisch zu Skalen zusammengestellt, die jeweils eine Dimension konstituieren
  • Interne Konsistenz und Einfachstruktur der Skalen sind wichtige Desiderata. Wünschenswert ist es, mit möglichst repräsentativen Sammlungen von Personen und Items zu beginnen
  • gewonnene Faktoren bedürfen nach der „Identifikation“ der Deutung und Interpretation
  • gemeinsames Element der Items, die auf einem Faktor laden, kommen für die Sinnstiftung in Frage

–> Die begriffliche Etikettierung geht gewöhnlich über dasjenige hinaus, was empirisch vorgegeben und analysiert wurde

19
Q

Testkonstruktionsprinzipien - Internale oder Induktive Konstruktion - Ziel

A
  • Erfassung eines in der Regel mehrdimensionalen Inhaltsbereiches auf der Grundlage einer reduzierten Anzahl an grundlegenden Dimensionen, die die interne Struktur des zu erfassenden Bereiches abbilden
  • Beispiel: Big Five. Ausgehend von einem breiten Spektrum an Eigenschaftswörtern werden fünf grundlegende Eigenschaftsdimensionen identifiziert und erfasst
20
Q

Big Five

A
  • Extraversion:
    gesellig, humorvoll, optimistisch, lebhaft, temperamentvoll
  • Neurotizismus:
    verlegen, nervös, traurig, ängstlich, verletzbar, launenhaft, unsicher
  • Verträglichkeit:
    bescheiden, hilfsbereit, aufrichtig, warmherzig, rücksichtsvoll, altruistisch, mitfühlend, wohlwollend, kooperativ, gutmütig, ehrlich
  • Gewissenhaftigkeit:
    hart arbeitend, sorgfältig, zuverlässig, gewissenhaft, fleißig, pflichtbewusst, pünktlich, ordentlich
  • Kultur/ Offenheit für Erfahrung:
    gebildet, wissbegierig, phantasievoll, schlagfertig, einfallsreich, scharfsinnig, interessiert, intelligent, kreativ
21
Q

Testkonstruktionsprinzipien - Internale oder Induktive Konstruktion - Konstruktionsschritte

A

1) Erstellung eines großen Itempools mit inhaltlich prinzipiell relevanten Items
2) Faktorenanalyse zur Bestimmung der internen Struktur des Itempools bzw. der Faktoren
3) Elimination ungeeigneter Items (zu geringe oder Mehrfachladungen)
4) Zusammenstellung von Subskalen (und inhaltliche Deutung/Interpretation)
5) Itemselektion nach Itemanalyse

22
Q

Testkonstruktionsprinzipien - Internale oder Induktive Konstruktion - Vor- und Nachteile

A

+/- Skalenbildung wird empirisch an Stichproben angepasst

+ Bei fehlender Theorie oder neuem Inhaltsbereich eine Alternative zur rationalen Konstruktion

  • Die Zusammenstellung des Ausgangspools an Items ist relativ willkürlich, bestimmt aber das spätere Ergebnis (garbage in – garbage out)
  • Analysen sind stichprobenabhängig (Big Four bei Tieren)
  • Messung ohne klare Messintention
  • -> Beispiel: Items wie „Ich lese gerne Bücher“ korrelieren typischerweise ca. .30 mit dem Ergebnis von IQ-Tests; aber messen sie Intelligenz?
23
Q

Testkonstruktionsprinzipien - Was ist Externale (kriteriumsbezogene) Konstruktion

A
  • Ausgangspunkt ist die Zielsetzung, Items zu finden, die zwischen zwei Gruppen differenzieren, die anhand eines relevanten Kriteriums (z.B. Depressivität oder Berufserfolg) bestimmt werden.
  • Die so gewonnenen Items dienen dann der Erfassung der jeweiligen „Gruppenzugehörigkeit“

Beispiele:
MMPI (Minnesota Multiphasic Personality Inventory)
Biographische Fragebögen zur Personalauswahl

24
Q

Testkonstruktionsprinzipien - Externale (kriteriumsbezogene) Konstruktion - Konstruktionsschritte

A

1) Zwei Gruppen werden anhand eines relevanten Kriteriums zusammengestellt (z.B. psychiatrisch auffällig/unauffällig)
2) Ein Itempool mit potenziell relevanten Item wird erstellt und von beiden Gruppen bearbeitet

3) Auswahl derjenigen Items, die zwischen den Gruppen trennen
 - Phallometrie bei Sexualstraftätern
 - „Ich trinke hauptsächlich zu gesellschaftlichen Anlässen wie Hochzeiten oder Geburtstagen Alkohol“.

25
Q

Testkonstruktionsprinzipien - Externale (kriteriumsbezogene) Konstruktion - Vor- und Nachteile

A

+ Hohe Kriteriumsvalidität. Korrelation mit Außenkriterium durch Konstruktionsprinzip nahezu garantiert

  • Es resultieren häufig heterogene Skalen, die nicht einfach inhaltlich interpretiert werden können

+ Geringere Augenscheinvalidität und Verfälschbarkeit durch Intransparenz der Inhalte bzw. Auswahlprinzipien („Ich finde es schwer, vor einer größeren Gruppe eine Rede zu halten“. Item aus dem 16PF; Korrelation mit allgemeiner Intelligenz bei Männern: r = .41)

  • Übertragbarkeit auf nicht zur Itemgenerierung verwendete Gruppen nicht automatisch gesichert (z.B. MMPI)
  • Große Gefahr der Stichprobenabhängigkeit von der Konstruktionsgruppe; ständige Kreuzvalidierung notwendig