Diagnostischer Prozess und Testentwicklung Flashcards

1
Q

Definition Diagnostischer Prozess

A

Abfolge von Maßnahmen zur Gewinnung diagnostisch relevanter Informationen und deren Integration zur Beantwortung einer Fragestellung
Abbildung diagnostischer Prozess F. 7

How well did you know this?
1
Not at all
2
3
4
5
Perfectly
2
Q

Auswahl geeigneter Verfahren: Welche Fragen muss man sich stellen?

A
  1. Ist ein Verfahren zur Beantwortung der Fragestellung geeignet?
  2. Gibt es bessere Alternativen?
  3. Ist das Verfahren für die zu untersuchende Person angemessen?
How well did you know this?
1
Not at all
2
3
4
5
Perfectly
3
Q

Auswahl geeigneter Verfahren: 1. Ist ein Verfahren zur Beantwortung der Fragestellung geeignet?

A
  1. Testmanual:
    a) Welcher theoretischer Hintergrund und Anwendungsbereich?
    b) welche Merkmale werden abgebildet und wie gut?
  2. Gütekriterien:
    a) Objektivität
    b) Reliabilität
    c) Validität
    d) Normwerte auf der Basis guter Normierungsstichproben erleichtern die Interpretation der Testergebnisse
How well did you know this?
1
Not at all
2
3
4
5
Perfectly
4
Q

Auswahl geeigneter Verfahren: 2. gibt es (bessere) Alternativen?

A
  1. neuere Verfahren
  2. Überarbeitungen/ Anpassungen exisiterender Verfahren
  3. Neue (erweiterte) Normierungs(-stichproben)
  4. weniger verfälschungsanfällige Verfahren
  5. Kosten (Geld, Zeit) vs. Nutzen (psychometrische Qualität)
How well did you know this?
1
Not at all
2
3
4
5
Perfectly
5
Q

Auswahl geeigneter Verfahren: 3. Ist das Verfahren für die zu untersuchende Person angemessen?

A
  1. Normtabelle: Alter, Geschlecht, Bildungsniveau
  2. Behinderung oder Einschränkung (Sehvermögen, Motorik, Hörvermögen, Sprachverständnis, Intelligenzminderung)
  3. Übungseffekte/ Täuschung: Testerfahrungen der Person
  4. Zumutbarkeit
How well did you know this?
1
Not at all
2
3
4
5
Perfectly
6
Q

Diagnostische Untersuchung: Wichtige Punkte

A
  1. Gestaltung der Untersuchungssituation:
    a) Feld vs. Labor
    b) Gruppen- vs. Einzeltestung
  2. Durchführung einer diagnostischen Untersuchung:
    a) Aufklärung
    b) Rahmenbedingungen
    c) Standardisierung
How well did you know this?
1
Not at all
2
3
4
5
Perfectly
7
Q

Diagnostische Untersuchung: 1. Gestaltung der Untersuchungssituation: Labor vs. Feld

A
  1. Wenn im Labor:
    a) Können bestimmte Infos vorab eingeholt werden?
    b) Welches/wieviel Personal ist notwerndig?
    c) Welche Räumlichkeiten und Materialien sind erforderlich?
    d) wieviel Zeitaufwand?
  2. Feld (z.B.: klinisches interview online):
    a) Erreichbarkeit: Postalisch, Internet, Telefon oder Hausbesuch?
How well did you know this?
1
Not at all
2
3
4
5
Perfectly
8
Q

Diagnostische Untersuchung: 1. Gestaltung der Untersuchungssituation: Gruppen- vs. Einzeltestung

A
  1. Warum und wann Gruppentestung?:
    a) hohe Ökonomie: und geringere(r) Zeitaufwand bzw. Personalkosten
    b) möglich bei: Leistungstests oder Persönlichkeitsmessung
  2. Warum und wann Einzeltestung?:
    a) mehr Einflussnahme (sofern gestattet/gewünscht) und individuelle Information
    b) eher bei Verhaltensbeobachtungen und -beurteilungen von Personen
    c) klinische Interviews und Einstellungsinterviews möglich
How well did you know this?
1
Not at all
2
3
4
5
Perfectly
9
Q

Diagnostische Untersuchung: 2. Durchführung einer diagnostischen Untersuchung: 1. Aufklärung - Worüber

A
  1. Sinn und Zweck: bzw. Notwendigkeit der Untersuchung
  2. Untersuchenden, verwendetet Verfahren und Dauer der Diagnostik
  3. Freiwilligkeit der Teilnahme (–> Informierte Einwilligung)
  4. Konsequenzen einer Nichtteilnahme
  5. Möglichkeiten von Pausen und Unterbrechungen
  6. Vertrauliche Behandlung der Daten, Grad der Anonymisierung und Möglichkeit zur Datenlöschung
How well did you know this?
1
Not at all
2
3
4
5
Perfectly
10
Q

Diagnostische Untersuchung: 2. Durchführung einer diagnostischen Untersuchung: 1. Aufklärung - positive Effekte

A
  1. Untersuchung wird als fairer wahrgenommen
  2. Reduktion von Testangst
  3. Erhöhung der Motivation
How well did you know this?
1
Not at all
2
3
4
5
Perfectly
11
Q

Diagnostische Untersuchung: 2. Durchführung einer diagnostischen Untersuchung: 2. Rahmenbedingungen

A
  1. Optimale Arbeitsbedingungen schaffen:
    a) genügend Platz
    b) gute Lichtverhältnisse
    c) keine Strörungen (z.B.: Hinweise an der Tür, Telefone abstellen, etc.)
    d) Angenehme Temperatur
  2. Aufwärmphase in Leistungs- bzw. Konkurrenzsituationen:
    a) Eisbrecherfragen
    b) Humor und Freundlichkeit
    c) Einführungsaufgaben
    –> dienen alle der Reduktion von Testangst
How well did you know this?
1
Not at all
2
3
4
5
Perfectly
12
Q

Diagnostische Untersuchung: 2. Durchführung der diagnostischen Untersuchung: 3. Standardisierung

A
  1. genaue Beachtung der Anweisungen im Testmanual
  2. Konstanthaltung der Rahmenbedingungen für alle VPs
  3. Möglichst gleiche Testleiterinnen bzw. Schulung ver. Testleiterinen, so dass Untersuchung immer öglichst gleich ablaufen
How well did you know this?
1
Not at all
2
3
4
5
Perfectly
13
Q

Testkonstruktion: Schritte der Testkonstruktion

A
  1. Planung
  2. Itemformulierung/Testntwurf
  3. Verteilung-, Items- , & Skalenanalyse
  4. Itemrevision & -selektion
  5. Testendform
  6. Reliailität & Validität
  7. Testeichung
  8. Paralleltests, Testbatterien
How well did you know this?
1
Not at all
2
3
4
5
Perfectly
14
Q

Testkonstruktion: 1. Schritt: Testplanung - Festlegung der Erhebungsmethode

A
  1. Definition: des zu erfassenden psychologischen Konstruktes
  2. Testart:
    a) Leistungstests (z.B.: Intelligenz)
    b) Fragebogenmessung (z.B.: Selbstwert)
    c) Implizite Messung (z.B.: Unbewusste Impulse)
    d) Beobachtungsverafhren (z.B.: soziales Interaktionsverhaten)
    e) Interviewmethoden (z.B.: psychische Störungen)
  3. Testinformationen:
    a) Länge und Dauer (Anzahl der Items)
    b) Zielgruppe
How well did you know this?
1
Not at all
2
3
4
5
Perfectly
15
Q

Testkonstruktion: Strategien der Testentwicklung - Arten

A
  1. Rationale (deduktive) Konstruktion
  2. Explorative (induktive) Konstruktion
  3. Externale (kriteriumsorientierte) Konstruktion
  4. Prototypenansatz

–> Deduktiv vs. induktive s. F. 25

How well did you know this?
1
Not at all
2
3
4
5
Perfectly
16
Q

Test Konstruktion: Strategien der Testentwicklung: 1. Rationale (dedutive) Konstruktion: Basis, Hinweise, Beispiel

A
  1. Basis: basiert auf einer (mehr oder weniger elaborierten) psychologischen Theorie/ Definition über das zu erhebende Merkmal –> Theoriegeleitet
  2. Hinweise: liefert Hinweise für
    a) den angestrebten Itemtypen (z.B.: Fragen, Auffgaben, Aussagen, etc.)
    b) das Antwortformat (z.B.: Häufigkeit, Richtigkeit, Intensität)
    c) der Abstufungsgrad (z.B.: sehr häufig bis sehr selten, richtig vs. falsch, sehr hoch bis sehr niedirg)
  3. Beispiele:
    a) Intelligenzstest: eine klare Definition von Intelligenz erlaubt Entscheidungen darüber, welche Leistungstests konstruiert und inkludiert werden können (z.B.: Hamburger-Wechsler-Test für Erwachsene)
    b) Die Definition von psychischen Störungen anhand von Symptomen und Kriterien –> genaue Intemkonstruktion
How well did you know this?
1
Not at all
2
3
4
5
Perfectly
17
Q

Test Konstruktion: Strategien der Testentwicklung: 2. Explorative (induktive) Konstruktion: Basis, Vorgehen & Beispiel

A
  1. Basis: Es gibt vorher keine klares Vorliegen einer Theorie/ Definition
  2. Vorgehensweise: einzelne Items werden anhand ihrer korrelativen Muster zusammengefasst –> hohe Korrelation zeigt, dass items wahrscheinlich das gleiche messen
  3. Beispiel: lexikalischer Ansatz: die “Big Five” Persönlichkeitsdimensionen wurden faktorenanalytisch ermittelt (z.B.: Neo-FFI)
18
Q

Test Konstruktion: Strategien der Testentwicklung: 3. Externale (kriteriumsorientierte) Konstruktion: Basis, Ansatzpunkt, Ziel & Item

A
  1. Basis: Definition eines Kriteriums (z.B.: “psychische Strörung liegt vor, ja vs. nein)
  2. Ansatzpunkt: Vorliegen ver. Gruppen von Personen als Teil der sozialen Realität (nicht zwingend theoriegeleitet) -> diese werden Items vorgelegt
  3. Ziel: Intems sollen zwischen den beiden Personengruppen unterscheiden –> Items werden aus einen Itempool ausgewählt, welche am besten im Sinne eines vorherzusagenden Kritieriums zu differenzieren erlaubt
  4. Beispiel: Minnesota Multiphasic Personality Inventory (MMPI): Liste von 1000 Items, psychopathologische Symptom, klinisch auffällige vs. unauffällige Stichprobe, Reduktion auf 550 (später 567) Items
19
Q

Test Konstruktion: Strategien der Testentwicklung: 4. Prototypenansatz: Basis, Vorgehen, Beispiel

A
  1. Basis: atheoretisch, sinnvoll für neue, wenig erforschte Konstrukte
  2. Vorgehen: Items werden Vp/ Expertinnen vorgelegt, mit der Instruktion, zu jedem Item anzugeben, wie prototypisch diese für das zu messende Merkmal/ Dimension ist –> Auswahl der Items mit der höchsten Prototypizität
  3. Beispiel: Act Frequency Approach zur Konstruktion von Tests zur Messung von Temperament/ Persönlichkeit
20
Q

Test Konstruktion: Strategien der Testentwicklung: 5. weitere Quellen der Testkonstruktion

A
  1. Bereits vorhandene Verfahren als Inspiration
  2. Eigene Erfahrungen und Alltagsbeobachtungen
  3. Expertenbefragungen
  4. Qualitative Voruntersuchungen (Interviews, offene Fragebögen, Inhaltsanalysen etc.)
  5. Literaturrecherche
21
Q

Itemkonstruktion: Itemtypen und Antwortformat

A
  1. Items mit offenem Antwortformat
  2. Items mit gebundenem Antwortformat
22
Q

Itemkonstruktion: Items mit offenem Antwortformat: Arten von Antworten

A
  1. Kurzaufsatz: Etwas definieren/ eine frei formulierte Antwort verfassen (z.B.: Definieren sie den Begriff “Gesundheit” nach dem Verständnis der WHO”)
  2. Ergänzungsaufgaben:
    a) Offene Fragen:
    (I) Einfachantwort: Eine Antwort auf eine Frage geben (z.B.: “Nennen sie das Hauptakaloid des Tabakblattes”)
    (II) Reihenantwort: Die angegebene Anzahl an Anworten nennen (z.B.: “Nennen sie vier Rechte eines Käufers bei aufgetretenem Sachmangel”)
    (III) Analogieantwort: Eine Antwort in Form einer Analogie wiedergeben (z.B.: “Dienstag steht zu Mittwoch wie April zu …?”)
    (IV) Folgeantwort: z.B.: die eine Zahlenreihe weiterführen

b) Lückentext: einen Lückentext ausfüllen

23
Q

Itemkonstruktion: Items mit offenem Antwortformat: Vor- und Nachteile

A
  1. Vorteile:
    a) Raten ist nicht (oder nur eingeschränkt) möglich
    b) komplexe Aufgaben können gestellt werden
  2. Nachteile:
    a) Antwort nicht immer eindeutig
    b) Eigeschränkte Objektivität
    c) hoher Auswertungsaufwand
24
Q

Itemkonstruktion: Items mit gebundenem Antwortformat: 1. Ordnungsaufgaben - Typen - Definition und wann einsetzen?

A
  1. Umordnungsaufgaben: Worte/Sätze/Zahlen in eine sinnvolle Reihenfolge bringen –> z.B.: Wenn Schlussfolgerndes Denken erfasst werden soll
  2. Zuordnungsaufgaben: Wörter/Sätze/Zahlen andere Wörtern/ Sätzen/Zahlen zuordnen –> z.B.: bei er Abfrage von Wissen/Wiedererkennen
25
Q

Itemkonstruktion: Items mit gebundenem Antwortformat: Auswahlaufgaben - Typen

A
  1. Einfachauswahlaufgaben: nur eine Antwort auf vorgegebenen Antwortkategorien ist korrekt
  2. Mehrfachwahlaufgaben: Mehrere Antworten sind korrekt/ können korrekt sein
26
Q

Itemkonstruktion: Items mit gebundenem Antwortformat: Vor- und Nachteile von Ordnungs- und Auswahlaufgaben

A
  1. Vorteile:
    a) einfach konstruierbar
    b) ökonomisch umsetzbar
    c) hohe Objektivität
  2. Nachteile:
    a) Ratewahrscheinlichkeit gegeben
    b) Nur Reaktionen und Rekognitionen abbildbar
    c) Kein echter Wissens- oder Problemlösetest
27
Q

Itemkonstruktion: Items mit gebundenem Antwortformat: Beurteilungsaufgabe mit Rating- bzw. Analogskala - Regeln der Konstruktion einer Antwortskala

A
  1. Anzahl der Skalenstufen
  2. Forcierung
  3. Ausweichkategorie
  4. Festlegung der Polarität der Skala
  5. Balancierung
  6. Verankerung (Beschriftung)
  7. Symbolische Darstellung
  8. Kombinierte Darstellung
28
Q

Items mit gebundenem Antwortformat: Voreile von Beurteilungsaufgaben

A
  1. einfach handhabbar
  2. ökonomische umsetzbar
  3. hohe Akzeptanz bei Beurteilenden
29
Q

Diagnostische Untersuchung: 2. Durchführung der diagnostischen Untersuchung - Was muss beachtet werden?

A
  1. Aufklärung
  2. Rahmenbedingungen
  3. Standardisierung
30
Q

Itemkonstruktion: Items mit gebundenem Antwortformat: Beurteilungsaufgabe mit Rating- bzw. Analogskala - Regeln der Konstruktion einer Antwortskala: 1. Anzahl der Skalenstufen

A

Festlegung der Anzahl der Skalenstufen:
1. Bei 1-Itemskala: 9 +- 2 Stufen
2. Bei Itenbatterie: 5 +- 2 Stufen

31
Q

Itemkonstruktion: Items mit gebundenem Antwortformat: Beurteilungsaufgabe mit Rating- bzw. Analogskala - Regeln der Konstruktion einer Antwortskala: 2. Forcierung

A

Festlegung der Forcierung von Ratings: gerade vs. ungerade Anzahl an Antwortalternativen
s.F. 35

32
Q

Itemkonstruktion: Items mit gebundenem Antwortformat: Beurteilungsaufgabe mit Rating- bzw. Analogskala - Regeln der Konstruktion einer Antwortskala: 3. Ausweichkategorien

A

Prüfung, ob Ausweichkategorie (“Weiß-nicht-Kateogie) Sinnvoll ist

33
Q

Itemkonstruktion: Items mit gebundenem Antwortformat: Beurteilungsaufgabe mit Rating- bzw. Analogskala - Regeln der Konstruktion einer Antwortskala: 4. Festlegung der Polarität der Skala

A

Festlegung der Polarität der Skala
1. unipolar (z.B.: von garnicht bis sehr viel) vs. bipolar (von lehe vollständig ab bis stimme vollkommen zu)
2. Rating- vs. Analogskala (s. F. 37)

34
Q

Itemkonstruktion: Items mit gebundenem Antwortformat: Beurteilungsaufgabe mit Rating- bzw. Analogskala - Regeln der Konstruktion einer Antwortskala: 5. Balancierung

A

Festlegung der Balancierung (Symmetrie) einer Skala:
1. balanciert ( “Sehr gut”, “gut”, “weder noch”, “schlecht”, “sehr schlecht”) oder
2. unbalanciert: “sehr gut”, “gut”, “halbwegs gut”, “gerade noch akzeptabel”, “schlecht”)
s.F.38

35
Q

Itemkonstruktion: Items mit gebundenem Antwortformat: Beurteilungsaufgabe mit Rating- bzw. Analogskala - Regeln der Konstruktion einer Antwortskala: 6. Verankerung

A

Verankerung (Beschriftung): einer Skala:
1. Nummerisch
2. Verbal
3. Kombiniert: sowohl Verbal als auch nummerisch

36
Q

Itemkonstruktion: Items mit gebundenem Antwortformat: Beurteilungsaufgabe mit Rating- bzw. Analogskala - Regeln der Konstruktion einer Antwortskala: 7. Symbolische Darstellung

A

Prüfen, ob symbolische Darstellung sinnvoll ist (optische Skala oder symbolische Marker)

37
Q

Itemkonstruktion: Items mit gebundenem Antwortformat: Beurteilungsaufgabe mit Rating- bzw. Analogskala - Regeln der Konstruktion einer Antwortskala: 8. Kombinierte Darstellung

A

Prüfen, ob Kombination aus verbalen, grafisch und nummerischer Darstellung sinnvoll/ möglich ist (s. F. 35)

38
Q

Items mit gebundenem Antwortformat: Nachteile von Beurteilungsaufgaben

A
  1. Zuordnung von Zahlen zu Skalenpunkten mit Intervallskalenniveau messtheoretisch nicht unproblematisch
  2. Abstufungen von Beurteilenden unterschiedlich interpretierbar
  3. Verfälschungsanfällig:
    a) Soziale Erwünschtheit
    b) Akquieszenz: Verzzerung der Ergebnisse, die dadurch entsteht, dass VP die Neigung haben unabhängig vom Inhalt Antwortmöglichkeiten zustimmen
    c) Beurteilungstendenzen
39
Q

Items mit gebundenem Antwortformat: Beurteilungsaufgaben - Definition

A

VP muss individuelle Einschätzungsurteile abgeben. Angabe des Grades der Zustimmung oder Ablehnung zum Aufgabenstamm, dabei sind Antwortkategorien meist nicht aufgabenspezifisch (z.B.: für alle Aufgaben im Test sind die Antwortmöglichkeiten “Trifft zu” / “Trifft nicht zu”)

40
Q

Items mit gebundenem Antwortformat: Beurteilungsaufgaben: Analogskala vs. Ratingskala

A
  1. Analogskala: kontinuierliche Skala, wodurch eine besoders präzise Differenzierung der Beurteilung möglich ist (Beispiel s. Handout Seminar Sitzung 2)
  2. Ratingskala: diskrete Stufenantworten, mind. zwei graduell abgestufte Beurteilungskategorien
41
Q

Items mit geschlossenen Antwortformat: Antworttypen

A
  1. Beuerteilungsaufgaben:
    a) Analogskala
    b) Ratingskala
  2. Ordnungsaufgaben:
    a) Umordnungsaufgaben
    b) Zuordnungsaufgaben
  3. Auswahlaufgaben:
    a) Einfachauswahl
    b) Mehrfachauswahl