2. Diagnostischer Prozess und Testentwicklung Flashcards

1
Q

Der diagnostische Prozess

A

= Abfolge von Maßnahmen zur Gewinnung diagnostisch relevanter Informationen und deren Integration zur Beantwortung einer Fragestellung

How well did you know this?
1
Not at all
2
3
4
5
Perfectly
2
Q

Auswahl geeigneter Verfahren
1. Ist ein Verfahren zur Beantwortung der Fragestellung geeignet?

A

Testmanual:
‒ Welcher theoretischer Hintergrund und Anwendungsbereich?
‒ Welche Merkmale werden abgebildet und wie gut?

Gütekriterien !!

How well did you know this?
1
Not at all
2
3
4
5
Perfectly
3
Q

Gütekriterien

A

‒ Objektivität
‒ Reliabilität
‒ Validität
‒ Normwerte auf der Basis guter Normierungsstichproben erleichtern die Interpretation der
Testergebnisse

How well did you know this?
1
Not at all
2
3
4
5
Perfectly
4
Q

Auswahl geeigneter Verfahren
2. Gibt es (bessere) Alternativen?

A

Neuere Verfahren
Überarbeitungen/Anpassungen existierender Verfahren Neue (erweiterte) Normierung(-sstichprobe)
Weniger verfälschungsanfällige Verfahren
Kosten (Geld, Zeit) vs. Nutzen (psychometrische Qualität)

How well did you know this?
1
Not at all
2
3
4
5
Perfectly
5
Q

Auswahl geeigneter Verfahren
3. Ist das Verfahren für die zu untersuchende Person angemessen?

A

Alter, Geschlecht, Bildungsniveau (→ Normtabellen)
Behinderung oder Einschränkung (Sehvermögen, Motorik, Hörvermögen,
Sprachverständnis, Intelligenzminderung)
Testerfahrung der Testperson (→ Übungseffekte, Täuschung) Zumutbarkeit

How well did you know this?
1
Not at all
2
3
4
5
Perfectly
6
Q

Diagnostische Untersuchung
Gestaltung der Untersuchungssituation
1. Kann die Untersuchung zu Hause (im Feld) oder muss sie unter Anleitung in Untersuchungsräumen (im Labor) stattfinden?

A

Wenn im Labor (z.B. Assessment Center):
‒ Können bestimmte Infos vorab eingeholt werden?
‒ Welches/wieviel Personal ist notwendig?
‒ Welche Räumlichkeiten und Materialien sind erforderlich? ‒ Wieviel Zeitaufwand?

Wenn im Feld (z.B. klinisches Interview online): ‒ Postalisch?
‒ via Internet (Onlinebefragung, Online-Interview, Tests)?
‒ durch Telefoninterview?
‒ Ist Interviewer/Beobachter-Hausbesuch notwendig?

How well did you know this?
1
Not at all
2
3
4
5
Perfectly
7
Q

Diagnostische Untersuchung
Gestaltung der Untersuchungssituation
2. Kann die Untersuchung in einer Gruppe erfolgen oder ist Einzeltestung
notwendig?

A

Warum und wann Gruppentestung?
‒ hohe Ökonomie und geringere(r) Zeitaufwand bzw. Personalkosten ‒ eher bei Leistungstestung oder Persönlichkeitsmessung möglich

Warum und wann Einzeltestung?
‒ mehr Einflussnahme (sofern gestattet/erwünscht) und individuelle Informationen
‒ eher bei Verhaltensbeobachtung und -beurteilung von Personen (z.B. in Interaktion mit
anderen Personen), klinischen Interviews und Einstellungsinterviews notwendig

How well did you know this?
1
Not at all
2
3
4
5
Perfectly
8
Q

Diagnostische Untersuchung
Durchführen einer diagnostischen Untersuchung

Aufklärung

A

Über:
Sinn und Zweck bzw. Notwendigkeit der Untersuchung
Untersuchenden, verwendete Verfahren und Dauer der Diagnostik
Freiwilligkeit der Teilnahme (→ Informierte Einwilligung)
Konsequenzen einer Nichtteilnahme
Möglichkeiten von Pausen und Unterbrechungen
Vertrauliche Behandlung der Daten, Grad der Anonymisierung und Möglichkeit zur
Datenlöschung
Positive Effekte von Aufklärung:
Untersuchung wird als fairer wahrgenommen Reduktion von Testangst
Erhöhung der Motivation

How well did you know this?
1
Not at all
2
3
4
5
Perfectly
9
Q

Diagnostische Untersuchung
Durchführen einer diagnostischen Untersuchung

Rahmenbedingungen

A

Optimale Arbeitsbedingungen schaffen
Genügend Platz
Gute Lichtverhältnisse
Keine Störungen (Hinweise an Tür, Telefone abstellen, etc.) Angenehme Temperatur
Genügend Frischluft

Aufwärmphase in Leistungs- bzw. Konkurrenzsituationen
Eisbrecherfragen
Humor und Freundlichkeit Einführungsaufgaben

How well did you know this?
1
Not at all
2
3
4
5
Perfectly
10
Q

Diagnostische Untersuchung
Durchführen einer diagnostischen Untersuchung Standardisierung

A

Genaue Beachtung der Anweisungen im Testmanual
Konstanthaltung der Rahmenbedingungen für alle VPs
Möglichst gleiche Testleiter, bzw. Schulung verschiedener Testleiter und
Anweisungen, so dass Untersuchung immer möglichst gleich abläuft

How well did you know this?
1
Not at all
2
3
4
5
Perfectly
11
Q

Schritte der Testkonstruktion

A
  1. Planung
  2. Itemformulierung/ Testentwurf
  3. Verteilungs-, Item- & Skalenanalyse
  4. Itemrevision & -selektion
  5. Testendform
  6. Reliabilität & Validität
  7. Testeichung
  8. Paralleltests, Testbatterien
How well did you know this?
1
Not at all
2
3
4
5
Perfectly
12
Q

A) Testplanung: Festlegung der Erhebungsmethode

A

Definition des zu erfassenden psychologischen Konstruktes

Testart
‒ Leistungstests (z. B. Intelligenz)
‒ Fragebogenmessung (z. B. Selbstwert)
‒ Implizite Messung (z. B. unbewusste Impulse)
‒ Beobachtungsverfahren (z. B. soziales Interaktionsverhalten) ‒ Interviewmethode (z. B. psychische Störung)

Testinformationen
‒ Länge und Dauer (Anzahl an Items)
‒ Zielgruppe

How well did you know this?
1
Not at all
2
3
4
5
Perfectly
13
Q

B) Strategien der Testentwicklung

Rationale (deduktive) Konstruktion

A

basiert auf einer (mehr oder weniger elaborierten) psychologischen Theorie oder Definition über das zu erhebende Merkmal (= theoriegeleitet)
Liefert Hinweise für den angestrebten Itemtyp (z. B. Frage, Aufgabe, Aussage, etc.), das Antwortformat (z. B. Häufigkeit, Richtigkeit, Intensität) und der Abstufungsgrad (z. B. sehr häufig bis sehr selten, richtig vs. falsch, sehr hoch bis sehr niedrig)
Bsp. 1: eine klare Definition von Intelligenz erlaubt Entscheidungen darüber, welche Leistungstests konstruiert und inkludiert werden können
Bsp. 2: die Definition von psychischen Störungen anhand von Symptomen und Kriteriengenaue Itemkonstruktion

How well did you know this?
1
Not at all
2
3
4
5
Perfectly
14
Q

B) Strategien der Testentwicklung

Explorative (induktive) Konstruktion

A

einzelne Items werden anhand ihrer korrelativen Muster zusammengefasst

Hohe Korrelationen = Items messen wahrscheinlich das Gleiche

Vorher also kein klares Vorliegen einer Theorie/ Definition

Bsp. lexikalischer Ansatz: die „Big Five“ Persönlichkeitsdimensionen wurden faktorenanalytisch ermittelt

How well did you know this?
1
Not at all
2
3
4
5
Perfectly
15
Q

B) Strategien der Testentwicklung

Externale (kriteriumsorientierte) Konstruktion

A

Definition eines Kriteriums, z.B. „psychische Störung liegt vor, ja vs. nein“ Ansatzpunkt: Vorliegen verschiedener Gruppen von Personen als Teil der sozialen
Realität (nicht zwingend theoriegeleitet)
Diesen werden die Items vorgelegt
Ziel: Items sollen zwischen den beiden Personengruppen unterscheiden
aus einem Itempool werden die Items ausgewählt, welche am besten im Sinne eines vorherzusagenden Kriteriums zu differenzieren erlauben
Bsp.: Minnesota Multiphasic Personality Inventory (MMPI)
‒ Liste von 1000 Items, psychopathologische Symptome, klinisch auffällige vs.unauffällige Stichprobe, Reduktion auf 550 (später 567) Items

How well did you know this?
1
Not at all
2
3
4
5
Perfectly
16
Q

B) Strategien der Testentwicklung

Prototypenansatz

A

Atheoretisch, sinnvoll für neue, wenig erforschte Konstrukte

Items werden Versuchspersonen / Expert*innen vorgelegt, mit der Instruktion, zu jedem Item anzugeben, wie prototypisch dieses für das zu messende Merkmal oder die Dimension ist
Auswahl von Items mit der höchsten Prototypizität
Bsp.: Act Frequency Approach zur Konstruktion von Tests zur Messung von Temperament / Persönlichkeit

17
Q

B) Strategien der Testentwicklung

Weitere Quellen der Testkonstruktion

A

Bereits vorhandene Verfahren als Inspiration
 Eigene Erfahrungen und Alltagsbeobachtungen
 Expertenbefragungen
Qualitative Voruntersuchungen (Interviews, offene Fragebögen,
Inhaltsanalysen etc.)
 Literaturrecherche

18
Q

C) Itemkonstruktion

Itemtypen und Antwortformate

Items mit offenem Antwortformat:

A

:)

Raten ist nicht (oder nur eingeschränkt) möglich
komplexe Aufgaben können gestellt werden

:(

Antwort nicht immer eindeutig
Eingeschränkte Objektivität
Hoher Auswertungsaufwand

19
Q

C) Itemkonstruktion

Itemtypen und Antwortformate

Items mit gebundenem Antwortformat (Aufgabenarten)

A

Umordnungsaufgaben:
z.B. wenn schlussfolgerndes Denken erfasst werden soll

Zuordnungsaufgaben:
 z.B. bei Abfrage von Wissen/ Wiedererkennen

Einfachwahlaufgabe:
 Nur eine Antwort ist korrekt

Mehrfachwahlaufgabe:
 Mehrere Antworten sind korrekt bzw. können korrekt sein

20
Q

Items mit gebundenem Antwortformat
Vor- und Nachteile von Ordnungs- und Auswahlaufgaben:

A

:)

‒ einfach konstruierbar
‒ ökonomisch umsetzbar
- hohe Objektivität

:(

‒ Ratewahrscheinlichkeit gegeben
‒ Nur Reaktionen und Rekognitionen abbildbar
‒ Kein echter Wissens- oder Problemlösetest

21
Q

Items mit gebundenem Antwortformat
Beurteilungsaufgabe mit Rating- bzw. Analogskala

A

Regeln der Konstruktion einer Antwortskala:
(1) Festlegung der optimalen Anzahl von Skalenstufen
Bei 1-Itemskala: 9±2 Stufen
Bei Itembatterie: 5±2 Stufen
(2) Festlegung der Forcierung von Ratings (gerade vs. ungerade Anzahl an Antwortalternativen)
(3) Prüfung, ob Ausweichkategorie („Weiß nicht“-Kategorie) sinnvoll
(4) Festlegung der Polarität der Skala
(5) Festlegung der Balancierung (Symmetrie) einer Skala
(6) Verankerung (Beschriftung) einer Ratingskala
Verbal, nummerisch oder kombiniert
(7) Prüfung, ob symbolische Darstellung von Skalen sinnvoll
(8) Prüfung, ob Kombination aus verbal, grafisch und nummerischer Darstellung möglich/ sinnvoll

22
Q

Items mit gebundenem Antwortformat
Vor- und Nachteile von Beurteilungsaufgaben

A

:)

‒ einfach handhabbar
‒ ökonomisch umsetzbar
‒ hohe Akzeptanz bei Beurteilenden

:(

‒ Zuordnung von Zahlen zu Skalenpunkten mit Intervallskalenniveau messtheoretisch nicht unproblematisch
‒ Abstufungen von Beurteilenden unterschiedlich interpretierbar
‒ Verfälschungsanfällig (soziale Erwünschtheit, Akquieszenz,
Beurteilungstendenzen)