2a - Fragebogenkonstruktion Flashcards

1
Q

Wobei handelt es sich um einen psychologischen Test (Definition)?

A

Bei einem psychologischen Test
(a) handelt es sich um eine Messmethode
(b) mit der ein psychologisches Merkmal (oder auch mehrere Merkmale) erfasst werden soll(en).
(c) Das Vorgehen ist standardisiert
(d) und schließt die Erhebung einer Verhaltensstichprobe ein.
(e) Das Verhalten wird durch die spezifischen im Test realisierten Bedingungen hervorgerufen.
(f) Seine Variation soll weitgehend auf die Variation des zu messenden Merkmals zurückzuführen sein.
(g) Ziel ist eine quantitative Aussage (Vorhandensein oder Art des Merkmals) über das Merkmal.

How well did you know this?
1
Not at all
2
3
4
5
Perfectly
2
Q

Grundlagen zu Test

Was sind typische Fragestellungen für Querschnittsdiagnosen und Längsschnittdiagnosen?

A

Querschnittsdiagnose:
* Wo steht eine Person innerhalb einer Gruppe vergleichbarer Personen?
* Wie unterscheiden sich Menschen in ihrer Merkmalsausprägung?
* Wie sieht die individuelle Merkmalskombination (Profil) einer Person aus?
* Erfüllt/erreicht eine Person ein Kriterium?

Längsschnittdiagnose:
* Wie verändern sich Merkmale (von Individuen und Gruppen) über die Zeit (Verlaufsprofil)?
* Prognose - wie sieht das Verhalten, Erleben … einer Person in der Zukunft aus?

How well did you know this?
1
Not at all
2
3
4
5
Perfectly
3
Q

Arten von Tests

Welche Arten von Tests gibt es?

(Unterteilung nach Brähler et al. 2004)

A

1. Leistungstests (maximum performance, richtige und falsche Antworten)
Beispiele: Entwicklungstests, Intelligenztests, allgemeine Leistungstests, Schultests, spezielle Funktionsprüfungs- und Eignungstests
- Wichtige Unterscheidung: Sppedtests (Schnelligkeit) und Powertests (Niveau)

2. Psychometrische Persönlichkeitstests (typical performance)
Beispiele: Persönlichkeitsstrukturtests, Einstellungstests, Interessentests, klinische Tests

3. Persöhnlichkeitsentfaltungs-Verfahren
Beispiele: Formdeutungsverfahren, verbal-thematische Verfahren, zeichnerische Verfahren, Gestaltungsverfahren

How well did you know this?
1
Not at all
2
3
4
5
Perfectly
4
Q

Arten von Tests

Nenne ein konkretes Beispiel für einen Leistungstest! Was misst dieser Test? Von wem wurde er das erste Mal veröffentlicht? Welches Theoretische Modell liegt dem Test zu Grunde? Für welche Altersklasse ist er anwendbar? Wie lange dauert er?

A

Raven Standard Progressive Matrices

  • IQ-Test - figurales Denken
  • Erstmals 1938 von J. c. Raven veröffentlicht
  • Theoretisches Modell: Spearmans Zweifaktorentheorie (g-Faktor-Modell)
  • Anwendbar ab 6 Jahre
  • Dauer ca. 45 Minuten (5 Subtests a 12 sukzessive in ihrer Schwierigkeit ansteigende Items)

Siehe Vorlesung: 2a-TT+Fragebogenkonstruktion Folie: 7

How well did you know this?
1
Not at all
2
3
4
5
Perfectly
5
Q

Arten von Tests

Nenne ein konkretes Beispiel für einen Persönlichkeitstest! Von wem wurde er das erste Mal veröffentlicht? Welches Theoretische Modell liegt dem Test zugrunde? Welcher Ansatz liegt den Persönlichkeitsmerkmalen zugrunde? Nenne ein paar Beispielitems!

A

NEO-FFI

  • Deutsche Übersetzung des NEO Personality Inventory (Costa & McCrae, 1994) durch Borkenau und Ostendorf (2008)
  • Theoretisches Modell: Big Five (FFM)
  • Psycholexikalischer Ansatz nach Allport & Odbert, 1936 - Sedimentationshypothese: Persönlichkeitsmerkmale drücken sich in der Sprache aus

Beispielitems:
* “Ich bin leicht beunruhigt”
* “Ich habe gern viele Leute um mich herum”
* “Ich finde philosophische Diskussionen langweilig”
* “Ich versuche zu jedem, dem ich begegne, freundlich zu sein”
* “Ich halte meine Sachen ordentlich und sauber”

How well did you know this?
1
Not at all
2
3
4
5
Perfectly
6
Q

Arten von Tests

Nenne ein konkretes Beispiel für einen Persönlichkeitsentfaltungstest! Welches Theoretische Modell liegt dem Test zu Grunde? Welches Material wird verwendet? Was sollen die Probanden machen? Nenne ein paar Leitfragen! Welche Hypothese liegt dem zugrunde?

A
  • TAT = Thematischer Apperzeptionstest (Murray & Morgan, 1935)
  • inspiriert durch die Psychoanalyse
  • Material: 19 Schwarz-Weiß-Bildtafeln und eine komplett weiße Bildtafel, dargeboten in zwei 50-Minuten Sitzungen
  • Probanden erzählen eine Geschichte zu uneindeutigen Bildern; aus der Geschichte wird auf zugrundeliegende Motive geschlossen

Leitfragen:
* Was führte zu der gezeigten Situation?
* Was geschieht gerade?
* Was fühlen und denken dei Personen?
* Was ist der Ausgang der Geschichte?

Hypothese: Menschen liegt das nah, was sie ohnehin bewegt, und darüber erzählen sie dann auch.

How well did you know this?
1
Not at all
2
3
4
5
Perfectly
7
Q

Konstruktionsprinzipien psychometrischer Tests

Welche Vorrausetzungen müssen für die Konstruktion eines Testes geschaffen sein?

A

Das Merkmal ist klar erforscht und definiert, und man hat die nötige Expertise.
- ABER auch Messinstrumente können dazu beitragen, Forschung überhaput anzustoßen (z.B. Intelligenzforschung)!

Das Verhalten im Test ist tatsächlich ein Indikator für das Merkmal.
- Auch, wenn es nicht unbedingt offensichtlich ist! Z.B. “Morgens nach dem Aufstehen ist meine Stimmung gedrückt, bessert sich aber im Lauf des Tages” als Indikator für Depression

How well did you know this?
1
Not at all
2
3
4
5
Perfectly
8
Q

Konstruktionsprinzipien psychometrischer Tests

Was sind die Schritte einer Testkonstruktion?

A

[Ziel]Basis für–> [Definition des Messgegenstands]Basis für–> [Itemgenerierung]Datenerhebung–> [Itemanalyse und Analyse des Testentwurfs]führt zu–> [Revidierter Itempool]Datenerhebung –> [Itemanalyse und Analyse des Testentwurfs]Eventuell weitere Datenerhebung–> [Validierung] —> Weitere Schritte (Normierung, Dokumentation etc.)

Siehe Vorlesung: 2a-TT+Fragebogenkonstruktion Folie: 13

How well did you know this?
1
Not at all
2
3
4
5
Perfectly
9
Q

Konstruktionsprinzipien psychometrischer Tests

Was sind die grundlegenden Entscheidungen vor der Konstruktion eines psychometrischen Tests?

A
  1. Festlegung des Messgegenstandes
  2. Destlegung der Zielgruppe(n)
  3. Festlegung des Anwendungsbereichs bzw. der Anwendungsbereiche
  4. Einsatzbedingungen bedenken!
  5. Auswahl passendes Itemformat
How well did you know this?
1
Not at all
2
3
4
5
Perfectly
10
Q

Konstruktionsprinzipien psychometrischer Tests

Die 1. Grundlegende Entscheidung vor der Konstruktion eines psychometrischen Testes ist die Festlegung des Messgegenstandes. Wie geht man bei der Festlegung des Messgegenstandes vor?

A

1. Sichtung von Definition/Beschreibungen des interessierenden Merkmals:
Aktuelle Übersichtsarbeiten zum Thema
Prüfung, ob es schon Tests dieses Merkmals gibt => braucht man noch einen?
Falls keine geeigneten Definitionen auffindbar => eigene Arbeitsdefinition aufstellen

2. Päzisierung des Messgegenstandes (muss/will man das ganze Konstrukt erfassen?):
Konzeptuelle Einengung (z.B. nur Angsterleben)
Konzeptuelle Erweiterung (z.B. auch Angstkognitionen)
Festlegung auf eine bestimmte Theorie

3. Klärung der Struktur des Konstrukts:
Ist das Konstrukt ein- oder mehrdimensional?

How well did you know this?
1
Not at all
2
3
4
5
Perfectly
11
Q

Konstruktionsprinzipien psychometrischer Tests

Im zweiten Schritt des Testkonstruktion legt man die Zielgruppe fest. Was muss man dabei beachten?

A
  • Alter (altersgerecht; kein “dumbing down”)
  • Klinische Gruppe vs. “Durchschnittsbevölkerung”
  • Sprachfähigkeiten (Nichtmuttersprachler, sprachfreie Tests…)
  • Bildungsniveau (Leichte Sprache, Komplexität…)
  • Berufsgruppen

=> Konsequenzen für:
* Verständlichkeit der Items, thematische Einbindung…
* … was sich wiederum auf die Akzeptanz des Tests auswirkt…
* … und auf das Antwortformat, das man auswählt

How well did you know this?
1
Not at all
2
3
4
5
Perfectly
12
Q

Konstruktionsprinzipien psychometrischer Tests

Wie sirkt sich die Zielgruppe auf den Iteminhalt aus? Nenne Beispiele für Items, die zu bestimmten Zielgruppen passen.

A

Item: “Ich habe viel mehr Spielzeug als die anderen.”
“In der Schule werde ich oft gelobt.”
=> Zielgruppe: Kinder im Alter von 9 bis 14 Jahren

Item: “Spannungen mit Kollegen kann ich gut ertragen.”
“Eine Spezialistentätigkeit ist mir lieber als eine Führungsaufgabe.”
=> Zielgruppe: Bewerber, Berufstätige

Item: “Jemand hat vesucht, meine Gedanken zu beeinflussen.”
“Das Leben ist oft eine Last für mich.”
=> Zielgruppe: Personen mit psychischen Störungen oder Verdacht darauf

How well did you know this?
1
Not at all
2
3
4
5
Perfectly
13
Q

Konstruktionsprinzipien psychometrischer Tests

Der 3. Schritt der Testkonstruktion ist die Festlegung des Anwendungsbereichs. Nenne Beispiele für Anwendungsbereiche.

A
  • Tests werden stets für bestimmte Verwendungszwecke entwickelt
  • Damit liegt der Anwendungsbereuch fest (= Fragestellung, zu denen der Test einen Beitrag leisten soll)

Beispiele für Anwendungsbereiche:
* Berufsberatung
* Personalauswahl
* Personalentwicklung
* Entdeckung psychischer Störungen
* Erfassung von Verhaltensauffälligkeiten in der Schule
* …

How well did you know this?
1
Not at all
2
3
4
5
Perfectly
14
Q

Konstruktionsprinzipien psychometrischer Tests

Bei der Testkonstruktion müssen im 4. Schritt die Einsatzbedingungen bedacht werden. Was muss dabei berücksichtigt werden?

A

1. Wer darf den Test vorgeben, wer wird ihn auswerten? => welche Expertise ist jeweils erforderlich?
Expertise ist notwendig,
* wenn Interaktion zwischen Testperson und Testleitung stattfindet (z.B. Nachfragen bei freien Antworten) - Beispiel WISC
* wenn Antworten sofort zu bewerten sind und in Abhängigkeit vom Ergebnis unterschiedlich fortgefahren wird - Beispiel AID-3, strukturierte klinische Interviews wie SKID

2. Wie wird der Test durchgeführt?
* Papier und Bleistift vs. computerbasiert (z.B. HTS); ggf. apparative Vorrichtungen (z.B. TAP)
* Einzel- vs. Gruppenuntersuchung
* Durchführungszeit (Screening vs. differenzierte Diagnostik)

How well did you know this?
1
Not at all
2
3
4
5
Perfectly
15
Q

Konstruktionsprinzipien psychometrischer Tests

Der 5. Schritt in der Testkonstruktion ist die Auswahl des passenden Itemformats. Welche Formate lassen sich grundsätzlich unterscheiden?

A
  • Freie Antwortformate: Testperson muss selbst etwas produzieren
  • Gebundene Antwortformate: Testperson muss aus vorgegebenen Elementen auswählen
  • Dazwischen sind zahlreiche Abstufungen möglich
How well did you know this?
1
Not at all
2
3
4
5
Perfectly
16
Q

Konstruktionsprinzipien psychometrischer Tests

Was sind die Vor- und Nachteile des Itemformats “Völlig freie Antworten” (Erzählungen, Berichte) ? Erläutere dieses Format außerdem und nenne Beispiele.

A

Erläuterung und Beispiele:
- Testleiterin bzw. Testleiter formulieren eine Frage oder gibt eine Aufgabenstellung vor; Probandin bzw. Proband antwortet schriftlich oder mündlich;
- im Persönlichkeitsbereich gebräuchlich bei strukturierten klinischen Interviews sowie bei einigen projektiven Tests; im Leistungsbereich bei Kreativitätstests und Problemlöseaufgaben.

Vorteil:
(+) Geeignet, wenn komplexes Denken originelle Lösungen oder Praxistransfer erfasst werden sollen

Nachteile:
(-) Auswertung meist aufwendig
(-) Auswertungsobjektivität meist eingeschränkt
(-) Antwort ggf. abhängig von mündlicher bzw. schriftlicher Ausdrucksfähigkeit

17
Q

Konstruktionsprinzipien psychometrischer Tests

Was sind die Vor- und Nachteile des Itemformats “Eingeschränkt freie Antworten”? Erläutere dieses Format außerdem und nenne Beispiele.

A

Erläuterungen und Beispiel(e)
* Auf eine Frage wie “Welche Länder grenzen an Deutschland” wird eine kurze Antwort verlangt;
* Manchmal soll in einem Lückentext oder in einer Sprechblase eine Ergänzung vorgenommen werden

Vorteil:
(+) Geeignet, wenn verfügbares Wissen und nicht bloßes Wiedererkennen erfasst werden soll, ebenso für originelle Lösungen

Nachteile:
(-) Auswertung eher aufwendig
(-) Auswertungsobjektivität eventuell eingeschränkt

Siehe auch Beispiel Vorlesung: 2a-TT-Fragebogenkonstruktion, Folie: 24

18
Q

Konstruktionsprinzipien psychometrischer Tests

Was sind die Vor- und Nachteile des Itemformats “Zuordnungsaufgaben (und Sortieraufgaben)”? Erläutere dieses Format außerdem und nenne Beispiele.

A

Erläuterungen und Beispiel(e)
* Die Aufgaben bestehen aus 2 Spalten; jedes Element der einen Spalte muss einem Element der anderen Spalte zugeordnet werden
* Bei einer Sortieraufgabe müssen die Items in die richtige Reihenfolge gebracht werden (quasi eine Zuordnung von Elementen zu Positionen)

Vorteile:
(+) Zur Erfassung von Wissen und Kenntnissen geeignet
(+) Objektiv und ökonomisch (mit Schablone, Auswertungsprogramm) auszuwerten

Nachteil:
(-) Erfasst nur Wiedererkennen und nicht freien Abruf von Gedächtnisinhalten

19
Q

Konstruktionsprinzipien psychometrischer Tests

Nenne ein Beispiel für eine Zuordnungsaufgabe.

A

Welche Person hat welche Entdeckung/Erfindung gemacht?

1) Robert Koch => j) Tuberkuloseerreger
6) Johannes Gutenberg => g) Buchdruck mit beweglichen Lettern

usw.

20
Q

Konstruktionsprinzipien psychometrischer Tests

Was sind die Vor- und Nachteile des Itemformats “Multiple-Choice-Aufgaben (und Forced-Choice-Aufgaben)” ? Erläutere dieses Format außerdem und nenne Beispiele.

A

Erläuterungen und Beispiel(e):
* Für eine Frage stehen mehrere Antwortalternativen zur Verfügung, von denen eine oder mehrere ausgewählt werden sollen; dieser Aufgabentyp findet bei Leistungstests sehr oft Verwendung.
* Bei Persöhnlichkeitsfragebögen wird manchmal ein Forced-Choice-Format gewählt; von mehreren Antworten, die alle sozial ähnlich erwünscht sind, indiziert eine das Merkmal

Vorteil:
(+) Objektiv und ökonomisch (mit Schablone, Auswertungsprogramm) auszuwerten

Nachteil:
(-) Gute Distraktoren oft schwer zu finden
(-) Erfasst bei Leistungstests nur Wiedererkennen und nicht freien Abruf von Gedächtnisinhalten
(-) In Leistungstests: Ratewahrscheinlichkeit hoch (kann reduziert werden, wenn mehrere Antworten richtig sein können)

21
Q

Konstruktionsprinzipien psychometrischer Tests

Nenne ein Beispiel für einen Teste, in dem Multiple-Choice-Aufgaben dran kommen.

A

Raven-Matrizen:
Aus einem Muster ist ein Sück herausgeschnitten. Aus mehreren Antwortalternativen soll das fehlende Stück mit der richtigen Form und dem richtigen Muster ausgewählt werden. Die korrekte Antwort ist das “Target”. Die alternativen Antworten sind “Distraktoren”. Ein dem “Target” sehr ähnlichen Antwort ist das “Decoy”.

Sie Vorlesung: 2a-TT-Fragebogenkonstruktion, Folien: 28-31

22
Q

Konstruktionsprinzipien psychometrischer Tests

Bei Multiple-Choice-Aufgaben gibt es einige Lösungsstrategien. Welche sind das und wie kann dem entgegengewirkt werden?

A
  • Vor allem bei Leistungstests angewandt.
  • “Clevere”Lösungsstrategien:
    -> Zunächst Ausschluss offensichtlich unplausibler Lösungen
    -> dann Zufallsauswahl oder Intuition

Wie kann man dem entgegenwirken?
* Konstruktion und Auswahl guter Distraktoren, damit nicht die falschen Lösungen verraten, was die richtige ist
* klare Ansage, wie man vorgehen soll, wenn man die Lösung nicht findet oder unsicher ist
* Cave: Angekündigte Ratekorrektur (Punktabzug für falsche Antworten) funktioniert nicht bei allen gleich (z. B. risikofreudige TP)!

23
Q

Konstruktionsprinzipien psychometrischer Tests

Was sind die Vor- und Nachteile des Itemformats “Beurteilungsaufgaben” ? Erläutere dieses Format außerdem und nenne Beispiele.

A

Erläuterungen und Beuspiel(e):
* Bei Persönlichkeits- und Interessentests soll die Testperson z.B. einstufen, wie gut die Aussage auf sie zutrifft oder wie häufig das Verhalten bei ihr vorkommt;
* es kommen unterschiedliche Antwortskalen zum Einsatz

Vorteile:
(+) Objektiv und ökonomisch (mit Schablone, Auswertungsprogramm) auszuwerten
(+) Liefert differenziertere Informationen als dichotome Antwortskala

Nachteile:
/

24
Q

Konstruktionsprinzipien psychometrischer Tests

Was sind die Vor- und Nachteile des Itemformats “Aufgaben mit dichotomen Antworten” ? Erläutere dieses Format außerdem und nenne Beispiele.

A

Erläuterungen und Beispiel(e):
* Für eine Frage stehen nur 2 Antwortmöglichkeiten zur Auswahl: “Ja” oder “Nein” bzw. “Stimmt” oder “Stimmt nicht”

Vorteil:
(+) Objektiv und ökonomisch (mit Schablone, Auswertungsprogramm) auszuwerten
(-) Entscheidung oft erzwungen (bei nicht klarer Antwort ist trotzdem eine der beiden Alternativen anzukreuzen)

25
Q

Itemgenerierung

Welche Möglichkeiten gibt es bei der Konstuktion von Items?

A
  1. deduktive Methode (auch “rationale Konstruktion”)
  2. externale Methode
  3. induktive Methode
26
Q

Itemgenerierung

Was ist die Grundlage für die Itemgenerierung nach der deduktiven Methode bzw. der rationalen Konstruktion? Wie geht man dabei vor?

A

Grundlage: Eine Theorie, die eine gute Beschreibung des zu erfassenden Merkmals liefert.
-> Zusätzlich sollte man jedoch imer aktuelle Forschung einbeziehen (bevorzugt Übersichtsarbeiten), denn auch Theorien können veralten!

Vorgehensweise: Ableitung von Items aus der Theorie.

siehe auch Folie 37

27
Q

Itemgenerierung

Was sind Beispiele für gute Theorien, Modelle und Ansätze für eine deduktive Itemgenerierung?

A

Intelligenz: CHC-Modell

Persönlichkeit: Big Five + Facetten
=> Gewinnung der Struktur mit Hilfe des psycholexikalischen Ansatzes (z.B. Allport & Odbert, 1936) => Problem: vernachlässigt Prozessebene (wie kommt es zu einem Verhalten?)
=> Dimensionale (Ausprägung auf verschiedenen kontinuierlichen Dimensionen) vs. typologische Modelle (distinkte Kategorien)
=> (semi-) projektive Verfahren zur Erfassung impliziter Merkmale; sollten zur Projektion einladen

Klinische Verfahren: diagnostische Systeme (DSM und ICD), Beschreibung über Symptome

28
Q

Itemgenerierung

Wie wird die externale Methode noch genannt? Was ist die Motivation zur Anwendung der externalen Methode? Wie ist die Vorgehensweise bei dieser Methode?

A

Externale Methode auch bekannt als “kriteriumsbezogene Skalenentwicklung” (nicht zu verwechseln mit kriteriumsorientierte Tests) - Beispiel: Binets Staffeltest

Grund für die Anwendung: In der Realität gibt es viele verschiedene Gruppen, an deren Identifikation ein besonderes Interesse besteht (z.B. weil sie einen besonderen Förder- oder Behandlungsbedarf haben - individueller und gesellschaftlicher Nutzen!)

Vorgehensweise:
- Vorlegen einer Vielzahl von Items
- Identifikation der Items, die empirisch zwischen den Gruppen diskriminieren (=unterscheiden)
- Zusammenstellung dieser Items zu Skalen
- Kreuzvalidierung an weiteren Personen

29
Q

Itemgenerierung

Nenne ein Beispiel für einen Fragebogen, der mithilfe der externalen Methode kreiert wurde. Nenne Beispiel Items dieses Fragebogens.

A

MMPI-2 (MMPI = Minnesota Multiphasic Personality Inventory)

Beispielitems:
* Skala: Depression => Inhaltlich leicht nachvollziehbares Item: Manchmal komme ich mir wirklich nutzlos vor => Inhaltlich schwer nachvollziehbares Item: Ich habe nie Blut erbrochen oder Blut gehustet
* Skala: Schizophrenie => Inhaltlich leicht nachvollziehbares Item: Ich höre seltsame Dinge, wenn ich allein bin => Inhaltlich schwer nachvollziehbares Item: Ich war nie in jemanden verliebt
* Skala: Soziale Introversion => Inhaltlich leicht nachvollziehbares Item: Ich wünschte, ich wäre nicht so schüchtern => Inhaltlich schwer nachvollziehbares Item: Es fällt mir schwer, meine Gedanken bei einer Aufgabe oder Arbeit zu behalten

30
Q

Itemgenerierung

Nenne Vorteile und Nachteile der externalen Methode zur Itemgenerierung.

A

Vorteile:
- Validität ist schon durch Skalenkonstruktion gewährleistet:
=> Identifikation maximal diskriminierender Items
=> Konsolidierung durch Kreuzvalidierung
- Items sind oft nicht leicht durchschaubar
=> geringere Verfälschungsgefahr
- /!\ Valididtät gilt aber nur für die Gruppen, eintlang derer die Skala konstruiert wurde

Nachteile:
- Skalen sind intern nicht mehr konsistent, unbestimmte Dimensionalität
- Dimensionale Interpretation (mehr Punkte = höhere Merkmalsausprägung) ist daher nicht zulässig! Erlaubt ist eine Interpretation im Sinne von Wahrscheinlichkeiten für die Zugehörigkeit zur einen oder zur anderen Gruppe

31
Q

Itemgenerierung

Wann ist es sinnvoll die induktive Methode der Itemgenerierung anzuwenden? Was ist die Idee dieser Methode? Wie ist die Vorgehensweise?

A

Induktive Methode sinnvoll, wenn man noch keine klare Vorstellungen über ein Konstrukt hat.

Idee: Gruppierung von Items, die
- untereinander maximal hoch korrelieren
- mit anderen Items niedrig korrelieren

Vorgehensweise:
1. Start mit einer (möglichst allgemein akzeptierten) Definition (z.B. Lexika, Wörterbücher, Fachliteratur…)
2. Generierung von Items auf Grundlage dieser (noch vagen) Vorstellung
3. Datenerhebung
4. Exploratorische Faktorenanalyse zur Ermittlung der Faktorenstruktur
5. Eliminierung der “schlechten” Items (sog. “Ladungen” < 0.40)

32
Q

Itemgenerierung

Vergleiche die drei Ansätze der Itemgenerierung. Welche Methode ist in der Regel zu bevorzugen?

A

Vergleich der drei Ansätze:
- External konstruierte Skalen haben niedrigere interne Konsistenzen als deduktiv/rational oder induktiv entwickelte Skalen - ist aber nicht mit “weniger reliabel” gleichzusetzen (gibt auch andere Reliabilitätsindizes, z.B. Testwiederholung/Retest)
- External konstruierte Skalen sind weniger verfälschbar
- Validität (zumindest bei Persönlichkeitsmessung) ist jedoch bei allen drei Verfahren vergleichbar

**Die deduktive Methode ist i. d. R. zu bevorzugen **
=> wissenschaftlich am “saubersten”, weil es den Stand der Wissenschaft berücksichtigt!) - Abweichung erfordert gute Gründe!

33
Q

Erstellung eines Testentwurfs

Welche drei Schritte sind bei der Erstellung eines Testentwurfs zu befolgen?

A
  1. Instruktion
  2. Regeln zur Abfassung von Items
  3. Pretest
34
Q

Erstellung eines Testentwurfs

1) Instruktion: Die Testperson (TP) muss eindeutig wissen, was sie zu tun hat! Die Instruktion beschreibt diesen Auftrag schriftlich oder mündlich. Welche Randbedingungen der Testbearbeitung muss die Instruktion erläutern? Was ist zusätzlich im Testhandbuch (Manual) eines Testes in bezug auf die Instruktion zu finden?

A

Randbedingung der Testbearbeitung:
* Arbeitstempo (“Halten Sie sich nicht zu lange bei einer Aufgabe auf, bei der Ihnen die Lösung schwer fällt”)
* Arbeitsweise (“Entscheiden Sie spontan, ohne langes Nachdenken”)
* Vertraulichkeit der Angaben/Datenschutz (“Die Datenerhebung erfolgt anonym”)
* Verhalten bei Nichtwissen (“Wenn Sie nicht sicher sind, raten Sie”)
* Gebrauch von Hilfsmitteln (“Sie dürfen am Rand des Antwortbogens Notizen machen”)
* Gebrauch der Testunterlagen (“Schreiben Sie auf keinen Fall in das Testheft!”)
* Emotionsregulation (“Die wenigsten Menschen können alle Aufgaben lösen”)

Im Tetshandbuch (Manual) finden sich außerdem Informationen für den/die Testleite:in (TL), wie mit Rückfragen umzugehen ist.

35
Q

Erstellung eines Testentwurfs

Was sind die Regeln zur Abfassung von Items?

A
  • Verständliche Sprache verwenden:
    => Keine unnötigen Fremdwörter
    => Kein Jargon (Fachsprache)
    => Kurze Sätze
    => Keine doppelten Verneinungen
  • Auf Passung zu den Antwortmöglichkeiten achten
  • Vorsicht bei Invertierung von Items - das Gegenteil muss treffend sein! (z.B. glücklich - unglücklich oder traurig? Oder ganz etwas anderes?)
36
Q

Erstellung eines Testentwurfs

Bei der Neuentwicklung ist ein Pretest (Erprobung mit einer kleinen Gruppe von Testpersonen) unabdingbar. Was ist das Ziel des Pretesten? Welche Möglichkeiten gibt es, so etwas zurchzuführen?

A

Ziel:
* Verständlichkeit der Items sicherstellen
* “schlechte” Items verbessern oder eliminieren

Möglichkeiten:
* Lautes Denken
=> Die Testperson erzählt alles was ihr bei der Durchführung dieses Testes durch den Kopf geht. Kann z.B. durch Videoaufnahme dann ausgewertet werden, um zu schauen wie der Test vom Probanden wahrgenommen wird.
* Schriftliche Kommentare (z.B. bei SoSciSurvey)

37
Q

Zusammenfassung

Wichtigste Erkenntnisse aus der Vorlesung

A
  • Wir haben gelernt, wie ein psychologischer Test definiert ist.
  • Wir unterscheiden Leistungstests, psychometrische Persönlichkeitstests und Persönlichkeitsentfaltungstests.
  • Bei der Konstruktion eines Tests ist vieles zu bedenken!
  • Es gibt auf dem Kontinuum von freien und gebundenen Antwortformaten zahlreiche Itemtypen, die wir passend zur Fragestellung, Zielgruppe … auswählen können.
  • Mit der rationalen (deduktiven), der externalen und der induktiven Konstruktion stehen uns mächtige Möglichkeiten der Itemgenerierung zur Verfügung.
  • Items gut zu formulieren, ist gar nicht so einfach!
38
Q

Zusammenfassung

Wichtige Fachbegriffe

A
  • Quer- und Längsschnittdiagnose
  • Leistungs-, Persönlichkeits- und Persönlichkeitsentfaltungstests
    => Leistungstests messen die Fähigkeit einer Person, eine bestimmte Aufgabe auszuführen. Persönlichkeitstests messen die Persönlichkeitsmerkmale einer Person. Persönlichkeitsentwicklungstests messen die Veränderungen in der Persönlichkeit einer Person im Laufe der Zeit.
  • psychometrisch
    => Psychometrie ist ein Teilgebiet der Psychologie, das sich mit der Messung von psychologischen Konstrukten wie Intelligenz, Persönlichkeit und Einstellungen befasst. Psychometrische Tests sind standardisierte Tests, die entwickelt wurden, um diese Konstrukte zu messen.
  • freie und gebundene Antwortformate
    => Freie Antwortformate erlauben es den Teilnehmern, ihre Antworten in eigenen Worten zu formulieren, während gebundene Antwortformate vorgegebene Antwortoptionen enthalten.
  • Target, Distraktor und Decoy
    => Targets sind die gesuchten Objekte oder Informationen in einem Test oder einer Studie. Distraktoren sind irrelevante Objekte oder Informationen, die dazu dienen, die Aufmerksamkeit des Teilnehmers von den Targets abzulenken. Decoys sind ähnliche Objekte oder Informationen, die dazu dienen, die Entscheidung des Teilnehmers zu beeinflussen.
  • Ratingskala
    => Eine Ratingskala ist eine Skala, die verwendet wird, um die Meinungen oder Einstellungen von Personen zu messen. Sie besteht aus einer Reihe von Aussagen oder Fragen, die auf einer Skala von z.B. 1 bis 5 bewertet werden können.
  • dichotome Items
    => Dichotome Items sind Fragen oder Aussagen, die nur zwei Antwortoptionen haben, z.B. “Ja” oder “Nein”.
  • deduktive, externale und induktive Konstruktionsmethode
    => Deduktive Methoden beginnen mit einer Theorie oder Hypothese und testen diese durch die Sammlung von Daten. Induktive Methoden beginnen mit der Sammlung von Daten und leiten daraus eine Theorie oder Hypothese ab. Externe Methoden verwenden bereits vorhandene Datenquellen, um eine Theorie oder Hypothese zu testen.
  • Instruktion
  • Jargon
  • invertierte Items
    => Invertierte Items sind Fragen oder Aussagen, bei denen die Antwortoptionen umgekehrt sind. Zum Beispiel könnte eine Frage lauten: “Ich fühle mich oft traurig.” Die Antwortoptionen könnten “Stimme vollständig zu”, “Stimme teilweise zu”, “Neutral”, “Stimme teilweise nicht zu” und “Stimme überhaupt nicht zu” sein. Die umgekehrte Antwortoption “Stimme vollständig zu” würde bedeuten, dass die Person selten oder nie traurig ist.
  • Pretest
    => Ein Pretest ist ein Test, der vor der eigentlichen Studie durchgeführt wird, um sicherzustellen, dass der Test oder die Studie korrekt durchgeführt wird und die gewünschten Ergebnisse liefert.
  • lautes Denken