2. Diagnostischer Prozess und Testentwicklung Flashcards
Der diagnostische Prozess
= Abfolge von Maßnahmen zur Gewinnung diagnostisch relevanter Informationen und deren Integration zur Beantwortung einer Fragestellung
Auswahl geeigneter Verfahren
1. Ist ein Verfahren zur Beantwortung der Fragestellung geeignet?
Testmanual:
‒ Welcher theoretischer Hintergrund und Anwendungsbereich?
‒ Welche Merkmale werden abgebildet und wie gut?
Gütekriterien !!
Gütekriterien
‒ Objektivität
‒ Reliabilität
‒ Validität
‒ Normwerte auf der Basis guter Normierungsstichproben erleichtern die Interpretation der
Testergebnisse
Auswahl geeigneter Verfahren
2. Gibt es (bessere) Alternativen?
Neuere Verfahren
Überarbeitungen/Anpassungen existierender Verfahren Neue (erweiterte) Normierung(-sstichprobe)
Weniger verfälschungsanfällige Verfahren
Kosten (Geld, Zeit) vs. Nutzen (psychometrische Qualität)
Auswahl geeigneter Verfahren
3. Ist das Verfahren für die zu untersuchende Person angemessen?
Alter, Geschlecht, Bildungsniveau (→ Normtabellen)
Behinderung oder Einschränkung (Sehvermögen, Motorik, Hörvermögen,
Sprachverständnis, Intelligenzminderung)
Testerfahrung der Testperson (→ Übungseffekte, Täuschung) Zumutbarkeit
Diagnostische Untersuchung
Gestaltung der Untersuchungssituation
1. Kann die Untersuchung zu Hause (im Feld) oder muss sie unter Anleitung in Untersuchungsräumen (im Labor) stattfinden?
Wenn im Labor (z.B. Assessment Center):
‒ Können bestimmte Infos vorab eingeholt werden?
‒ Welches/wieviel Personal ist notwendig?
‒ Welche Räumlichkeiten und Materialien sind erforderlich? ‒ Wieviel Zeitaufwand?
Wenn im Feld (z.B. klinisches Interview online): ‒ Postalisch?
‒ via Internet (Onlinebefragung, Online-Interview, Tests)?
‒ durch Telefoninterview?
‒ Ist Interviewer/Beobachter-Hausbesuch notwendig?
Diagnostische Untersuchung
Gestaltung der Untersuchungssituation
2. Kann die Untersuchung in einer Gruppe erfolgen oder ist Einzeltestung
notwendig?
Warum und wann Gruppentestung?
‒ hohe Ökonomie und geringere(r) Zeitaufwand bzw. Personalkosten ‒ eher bei Leistungstestung oder Persönlichkeitsmessung möglich
Warum und wann Einzeltestung?
‒ mehr Einflussnahme (sofern gestattet/erwünscht) und individuelle Informationen
‒ eher bei Verhaltensbeobachtung und -beurteilung von Personen (z.B. in Interaktion mit
anderen Personen), klinischen Interviews und Einstellungsinterviews notwendig
Diagnostische Untersuchung
Durchführen einer diagnostischen Untersuchung
Aufklärung
Über:
Sinn und Zweck bzw. Notwendigkeit der Untersuchung
Untersuchenden, verwendete Verfahren und Dauer der Diagnostik
Freiwilligkeit der Teilnahme (→ Informierte Einwilligung)
Konsequenzen einer Nichtteilnahme
Möglichkeiten von Pausen und Unterbrechungen
Vertrauliche Behandlung der Daten, Grad der Anonymisierung und Möglichkeit zur
Datenlöschung
Positive Effekte von Aufklärung:
Untersuchung wird als fairer wahrgenommen Reduktion von Testangst
Erhöhung der Motivation
Diagnostische Untersuchung
Durchführen einer diagnostischen Untersuchung
Rahmenbedingungen
Optimale Arbeitsbedingungen schaffen
Genügend Platz
Gute Lichtverhältnisse
Keine Störungen (Hinweise an Tür, Telefone abstellen, etc.) Angenehme Temperatur
Genügend Frischluft
Aufwärmphase in Leistungs- bzw. Konkurrenzsituationen
Eisbrecherfragen
Humor und Freundlichkeit Einführungsaufgaben
Diagnostische Untersuchung
Durchführen einer diagnostischen Untersuchung Standardisierung
Genaue Beachtung der Anweisungen im Testmanual
Konstanthaltung der Rahmenbedingungen für alle VPs
Möglichst gleiche Testleiter, bzw. Schulung verschiedener Testleiter und
Anweisungen, so dass Untersuchung immer möglichst gleich abläuft
Schritte der Testkonstruktion
- Planung
- Itemformulierung/ Testentwurf
- Verteilungs-, Item- & Skalenanalyse
- Itemrevision & -selektion
- Testendform
- Reliabilität & Validität
- Testeichung
- Paralleltests, Testbatterien
A) Testplanung: Festlegung der Erhebungsmethode
Definition des zu erfassenden psychologischen Konstruktes
Testart
‒ Leistungstests (z. B. Intelligenz)
‒ Fragebogenmessung (z. B. Selbstwert)
‒ Implizite Messung (z. B. unbewusste Impulse)
‒ Beobachtungsverfahren (z. B. soziales Interaktionsverhalten) ‒ Interviewmethode (z. B. psychische Störung)
Testinformationen
‒ Länge und Dauer (Anzahl an Items)
‒ Zielgruppe
B) Strategien der Testentwicklung
Rationale (deduktive) Konstruktion
basiert auf einer (mehr oder weniger elaborierten) psychologischen Theorie oder Definition über das zu erhebende Merkmal (= theoriegeleitet)
Liefert Hinweise für den angestrebten Itemtyp (z. B. Frage, Aufgabe, Aussage, etc.), das Antwortformat (z. B. Häufigkeit, Richtigkeit, Intensität) und der Abstufungsgrad (z. B. sehr häufig bis sehr selten, richtig vs. falsch, sehr hoch bis sehr niedrig)
Bsp. 1: eine klare Definition von Intelligenz erlaubt Entscheidungen darüber, welche Leistungstests konstruiert und inkludiert werden können
Bsp. 2: die Definition von psychischen Störungen anhand von Symptomen und Kriteriengenaue Itemkonstruktion
B) Strategien der Testentwicklung
Explorative (induktive) Konstruktion
einzelne Items werden anhand ihrer korrelativen Muster zusammengefasst
Hohe Korrelationen = Items messen wahrscheinlich das Gleiche
Vorher also kein klares Vorliegen einer Theorie/ Definition
Bsp. lexikalischer Ansatz: die „Big Five“ Persönlichkeitsdimensionen wurden faktorenanalytisch ermittelt
B) Strategien der Testentwicklung
Externale (kriteriumsorientierte) Konstruktion
Definition eines Kriteriums, z.B. „psychische Störung liegt vor, ja vs. nein“ Ansatzpunkt: Vorliegen verschiedener Gruppen von Personen als Teil der sozialen
Realität (nicht zwingend theoriegeleitet)
Diesen werden die Items vorgelegt
Ziel: Items sollen zwischen den beiden Personengruppen unterscheiden
aus einem Itempool werden die Items ausgewählt, welche am besten im Sinne eines vorherzusagenden Kriteriums zu differenzieren erlauben
Bsp.: Minnesota Multiphasic Personality Inventory (MMPI)
‒ Liste von 1000 Items, psychopathologische Symptome, klinisch auffällige vs.unauffällige Stichprobe, Reduktion auf 550 (später 567) Items
B) Strategien der Testentwicklung
Prototypenansatz
Atheoretisch, sinnvoll für neue, wenig erforschte Konstrukte
Items werden Versuchspersonen / Expert*innen vorgelegt, mit der Instruktion, zu jedem Item anzugeben, wie prototypisch dieses für das zu messende Merkmal oder die Dimension ist
Auswahl von Items mit der höchsten Prototypizität
Bsp.: Act Frequency Approach zur Konstruktion von Tests zur Messung von Temperament / Persönlichkeit
B) Strategien der Testentwicklung
Weitere Quellen der Testkonstruktion
Bereits vorhandene Verfahren als Inspiration
Eigene Erfahrungen und Alltagsbeobachtungen
Expertenbefragungen
Qualitative Voruntersuchungen (Interviews, offene Fragebögen,
Inhaltsanalysen etc.)
Literaturrecherche
C) Itemkonstruktion
Itemtypen und Antwortformate
Items mit offenem Antwortformat:
:)
Raten ist nicht (oder nur eingeschränkt) möglich
komplexe Aufgaben können gestellt werden
:(
Antwort nicht immer eindeutig
Eingeschränkte Objektivität
Hoher Auswertungsaufwand
C) Itemkonstruktion
Itemtypen und Antwortformate
Items mit gebundenem Antwortformat (Aufgabenarten)
Umordnungsaufgaben:
z.B. wenn schlussfolgerndes Denken erfasst werden soll
Zuordnungsaufgaben:
z.B. bei Abfrage von Wissen/ Wiedererkennen
Einfachwahlaufgabe:
Nur eine Antwort ist korrekt
Mehrfachwahlaufgabe:
Mehrere Antworten sind korrekt bzw. können korrekt sein
Items mit gebundenem Antwortformat
Vor- und Nachteile von Ordnungs- und Auswahlaufgaben:
:)
‒ einfach konstruierbar
‒ ökonomisch umsetzbar
- hohe Objektivität
:(
‒ Ratewahrscheinlichkeit gegeben
‒ Nur Reaktionen und Rekognitionen abbildbar
‒ Kein echter Wissens- oder Problemlösetest
Items mit gebundenem Antwortformat
Beurteilungsaufgabe mit Rating- bzw. Analogskala
Regeln der Konstruktion einer Antwortskala:
(1) Festlegung der optimalen Anzahl von Skalenstufen
Bei 1-Itemskala: 9±2 Stufen
Bei Itembatterie: 5±2 Stufen
(2) Festlegung der Forcierung von Ratings (gerade vs. ungerade Anzahl an Antwortalternativen)
(3) Prüfung, ob Ausweichkategorie („Weiß nicht“-Kategorie) sinnvoll
(4) Festlegung der Polarität der Skala
(5) Festlegung der Balancierung (Symmetrie) einer Skala
(6) Verankerung (Beschriftung) einer Ratingskala
Verbal, nummerisch oder kombiniert
(7) Prüfung, ob symbolische Darstellung von Skalen sinnvoll
(8) Prüfung, ob Kombination aus verbal, grafisch und nummerischer Darstellung möglich/ sinnvoll
Items mit gebundenem Antwortformat
Vor- und Nachteile von Beurteilungsaufgaben
:)
‒ einfach handhabbar
‒ ökonomisch umsetzbar
‒ hohe Akzeptanz bei Beurteilenden
:(
‒ Zuordnung von Zahlen zu Skalenpunkten mit Intervallskalenniveau messtheoretisch nicht unproblematisch
‒ Abstufungen von Beurteilenden unterschiedlich interpretierbar
‒ Verfälschungsanfällig (soziale Erwünschtheit, Akquieszenz,
Beurteilungstendenzen)
