Diagnostischer Prozess und Testentwicklung Flashcards
Definition Diagnostischer Prozess
Abfolge von Maßnahmen zur Gewinnung diagnostisch relevanter Informationen und deren Integration zur Beantwortung einer Fragestellung
Abbildung diagnostischer Prozess F. 7
Auswahl geeigneter Verfahren: Welche Fragen muss man sich stellen?
- Ist ein Verfahren zur Beantwortung der Fragestellung geeignet?
- Gibt es bessere Alternativen?
- Ist das Verfahren für die zu untersuchende Person angemessen?
Auswahl geeigneter Verfahren: 1. Ist ein Verfahren zur Beantwortung der Fragestellung geeignet?
- Testmanual:
a) Welcher theoretischer Hintergrund und Anwendungsbereich?
b) welche Merkmale werden abgebildet und wie gut? - Gütekriterien:
a) Objektivität
b) Reliabilität
c) Validität
d) Normwerte auf der Basis guter Normierungsstichproben erleichtern die Interpretation der Testergebnisse
Auswahl geeigneter Verfahren: 2. gibt es (bessere) Alternativen?
- neuere Verfahren
- Überarbeitungen/ Anpassungen exisiterender Verfahren
- Neue (erweiterte) Normierungs(-stichproben)
- weniger verfälschungsanfällige Verfahren
- Kosten (Geld, Zeit) vs. Nutzen (psychometrische Qualität)
Auswahl geeigneter Verfahren: 3. Ist das Verfahren für die zu untersuchende Person angemessen?
- Normtabelle: Alter, Geschlecht, Bildungsniveau
- Behinderung oder Einschränkung (Sehvermögen, Motorik, Hörvermögen, Sprachverständnis, Intelligenzminderung)
- Übungseffekte/ Täuschung: Testerfahrungen der Person
- Zumutbarkeit
Diagnostische Untersuchung: Wichtige Punkte
- Gestaltung der Untersuchungssituation:
a) Feld vs. Labor
b) Gruppen- vs. Einzeltestung - Durchführung einer diagnostischen Untersuchung:
a) Aufklärung
b) Rahmenbedingungen
c) Standardisierung
Diagnostische Untersuchung: 1. Gestaltung der Untersuchungssituation: Labor vs. Feld
- Wenn im Labor:
a) Können bestimmte Infos vorab eingeholt werden?
b) Welches/wieviel Personal ist notwerndig?
c) Welche Räumlichkeiten und Materialien sind erforderlich?
d) wieviel Zeitaufwand? - Feld (z.B.: klinisches interview online):
a) Erreichbarkeit: Postalisch, Internet, Telefon oder Hausbesuch?
Diagnostische Untersuchung: 1. Gestaltung der Untersuchungssituation: Gruppen- vs. Einzeltestung
- Warum und wann Gruppentestung?:
a) hohe Ökonomie: und geringere(r) Zeitaufwand bzw. Personalkosten
b) möglich bei: Leistungstests oder Persönlichkeitsmessung - Warum und wann Einzeltestung?:
a) mehr Einflussnahme (sofern gestattet/gewünscht) und individuelle Information
b) eher bei Verhaltensbeobachtungen und -beurteilungen von Personen
c) klinische Interviews und Einstellungsinterviews möglich
Diagnostische Untersuchung: 2. Durchführung einer diagnostischen Untersuchung: 1. Aufklärung - Worüber
- Sinn und Zweck: bzw. Notwendigkeit der Untersuchung
- Untersuchenden, verwendetet Verfahren und Dauer der Diagnostik
- Freiwilligkeit der Teilnahme (–> Informierte Einwilligung)
- Konsequenzen einer Nichtteilnahme
- Möglichkeiten von Pausen und Unterbrechungen
- Vertrauliche Behandlung der Daten, Grad der Anonymisierung und Möglichkeit zur Datenlöschung
Diagnostische Untersuchung: 2. Durchführung einer diagnostischen Untersuchung: 1. Aufklärung - positive Effekte
- Untersuchung wird als fairer wahrgenommen
- Reduktion von Testangst
- Erhöhung der Motivation
Diagnostische Untersuchung: 2. Durchführung einer diagnostischen Untersuchung: 2. Rahmenbedingungen
- Optimale Arbeitsbedingungen schaffen:
a) genügend Platz
b) gute Lichtverhältnisse
c) keine Strörungen (z.B.: Hinweise an der Tür, Telefone abstellen, etc.)
d) Angenehme Temperatur - Aufwärmphase in Leistungs- bzw. Konkurrenzsituationen:
a) Eisbrecherfragen
b) Humor und Freundlichkeit
c) Einführungsaufgaben
–> dienen alle der Reduktion von Testangst
Diagnostische Untersuchung: 2. Durchführung der diagnostischen Untersuchung: 3. Standardisierung
- genaue Beachtung der Anweisungen im Testmanual
- Konstanthaltung der Rahmenbedingungen für alle VPs
- Möglichst gleiche Testleiterinnen bzw. Schulung ver. Testleiterinen, so dass Untersuchung immer öglichst gleich ablaufen
Testkonstruktion: Schritte der Testkonstruktion
- Planung
- Itemformulierung/Testntwurf
- Verteilung-, Items- , & Skalenanalyse
- Itemrevision & -selektion
- Testendform
- Reliailität & Validität
- Testeichung
- Paralleltests, Testbatterien
Testkonstruktion: 1. Schritt: Testplanung - Festlegung der Erhebungsmethode
- Definition: des zu erfassenden psychologischen Konstruktes
- Testart:
a) Leistungstests (z.B.: Intelligenz)
b) Fragebogenmessung (z.B.: Selbstwert)
c) Implizite Messung (z.B.: Unbewusste Impulse)
d) Beobachtungsverafhren (z.B.: soziales Interaktionsverhaten)
e) Interviewmethoden (z.B.: psychische Störungen) - Testinformationen:
a) Länge und Dauer (Anzahl der Items)
b) Zielgruppe
Testkonstruktion: Strategien der Testentwicklung - Arten
- Rationale (deduktive) Konstruktion
- Explorative (induktive) Konstruktion
- Externale (kriteriumsorientierte) Konstruktion
- Prototypenansatz
–> Deduktiv vs. induktive s. F. 25
Test Konstruktion: Strategien der Testentwicklung: 1. Rationale (dedutive) Konstruktion: Basis, Hinweise, Beispiel
- Basis: basiert auf einer (mehr oder weniger elaborierten) psychologischen Theorie/ Definition über das zu erhebende Merkmal –> Theoriegeleitet
- Hinweise: liefert Hinweise für
a) den angestrebten Itemtypen (z.B.: Fragen, Auffgaben, Aussagen, etc.)
b) das Antwortformat (z.B.: Häufigkeit, Richtigkeit, Intensität)
c) der Abstufungsgrad (z.B.: sehr häufig bis sehr selten, richtig vs. falsch, sehr hoch bis sehr niedirg) - Beispiele:
a) Intelligenzstest: eine klare Definition von Intelligenz erlaubt Entscheidungen darüber, welche Leistungstests konstruiert und inkludiert werden können (z.B.: Hamburger-Wechsler-Test für Erwachsene)
b) Die Definition von psychischen Störungen anhand von Symptomen und Kriterien –> genaue Intemkonstruktion
Test Konstruktion: Strategien der Testentwicklung: 2. Explorative (induktive) Konstruktion: Basis, Vorgehen & Beispiel
- Basis: Es gibt vorher keine klares Vorliegen einer Theorie/ Definition
- Vorgehensweise: einzelne Items werden anhand ihrer korrelativen Muster zusammengefasst –> hohe Korrelation zeigt, dass items wahrscheinlich das gleiche messen
- Beispiel: lexikalischer Ansatz: die “Big Five” Persönlichkeitsdimensionen wurden faktorenanalytisch ermittelt (z.B.: Neo-FFI)
Test Konstruktion: Strategien der Testentwicklung: 3. Externale (kriteriumsorientierte) Konstruktion: Basis, Ansatzpunkt, Ziel & Item
- Basis: Definition eines Kriteriums (z.B.: “psychische Strörung liegt vor, ja vs. nein)
- Ansatzpunkt: Vorliegen ver. Gruppen von Personen als Teil der sozialen Realität (nicht zwingend theoriegeleitet) -> diese werden Items vorgelegt
- Ziel: Intems sollen zwischen den beiden Personengruppen unterscheiden –> Items werden aus einen Itempool ausgewählt, welche am besten im Sinne eines vorherzusagenden Kritieriums zu differenzieren erlaubt
- Beispiel: Minnesota Multiphasic Personality Inventory (MMPI): Liste von 1000 Items, psychopathologische Symptom, klinisch auffällige vs. unauffällige Stichprobe, Reduktion auf 550 (später 567) Items
Test Konstruktion: Strategien der Testentwicklung: 4. Prototypenansatz: Basis, Vorgehen, Beispiel
- Basis: atheoretisch, sinnvoll für neue, wenig erforschte Konstrukte
- Vorgehen: Items werden Vp/ Expertinnen vorgelegt, mit der Instruktion, zu jedem Item anzugeben, wie prototypisch diese für das zu messende Merkmal/ Dimension ist –> Auswahl der Items mit der höchsten Prototypizität
- Beispiel: Act Frequency Approach zur Konstruktion von Tests zur Messung von Temperament/ Persönlichkeit
Test Konstruktion: Strategien der Testentwicklung: 5. weitere Quellen der Testkonstruktion
- Bereits vorhandene Verfahren als Inspiration
- Eigene Erfahrungen und Alltagsbeobachtungen
- Expertenbefragungen
- Qualitative Voruntersuchungen (Interviews, offene Fragebögen, Inhaltsanalysen etc.)
- Literaturrecherche
Itemkonstruktion: Itemtypen und Antwortformat
- Items mit offenem Antwortformat
- Items mit gebundenem Antwortformat
Itemkonstruktion: Items mit offenem Antwortformat: Arten von Antworten
- Kurzaufsatz: Etwas definieren/ eine frei formulierte Antwort verfassen (z.B.: Definieren sie den Begriff “Gesundheit” nach dem Verständnis der WHO”)
- Ergänzungsaufgaben:
a) Offene Fragen:
(I) Einfachantwort: Eine Antwort auf eine Frage geben (z.B.: “Nennen sie das Hauptakaloid des Tabakblattes”)
(II) Reihenantwort: Die angegebene Anzahl an Anworten nennen (z.B.: “Nennen sie vier Rechte eines Käufers bei aufgetretenem Sachmangel”)
(III) Analogieantwort: Eine Antwort in Form einer Analogie wiedergeben (z.B.: “Dienstag steht zu Mittwoch wie April zu …?”)
(IV) Folgeantwort: z.B.: die eine Zahlenreihe weiterführen
b) Lückentext: einen Lückentext ausfüllen
Itemkonstruktion: Items mit offenem Antwortformat: Vor- und Nachteile
- Vorteile:
a) Raten ist nicht (oder nur eingeschränkt) möglich
b) komplexe Aufgaben können gestellt werden - Nachteile:
a) Antwort nicht immer eindeutig
b) Eigeschränkte Objektivität
c) hoher Auswertungsaufwand
Itemkonstruktion: Items mit gebundenem Antwortformat: 1. Ordnungsaufgaben - Typen - Definition und wann einsetzen?
- Umordnungsaufgaben: Worte/Sätze/Zahlen in eine sinnvolle Reihenfolge bringen –> z.B.: Wenn Schlussfolgerndes Denken erfasst werden soll
- Zuordnungsaufgaben: Wörter/Sätze/Zahlen andere Wörtern/ Sätzen/Zahlen zuordnen –> z.B.: bei er Abfrage von Wissen/Wiedererkennen
Itemkonstruktion: Items mit gebundenem Antwortformat: Auswahlaufgaben - Typen
- Einfachauswahlaufgaben: nur eine Antwort auf vorgegebenen Antwortkategorien ist korrekt
- Mehrfachwahlaufgaben: Mehrere Antworten sind korrekt/ können korrekt sein
Itemkonstruktion: Items mit gebundenem Antwortformat: Vor- und Nachteile von Ordnungs- und Auswahlaufgaben
- Vorteile:
a) einfach konstruierbar
b) ökonomisch umsetzbar
c) hohe Objektivität - Nachteile:
a) Ratewahrscheinlichkeit gegeben
b) Nur Reaktionen und Rekognitionen abbildbar
c) Kein echter Wissens- oder Problemlösetest
Itemkonstruktion: Items mit gebundenem Antwortformat: Beurteilungsaufgabe mit Rating- bzw. Analogskala - Regeln der Konstruktion einer Antwortskala
- Anzahl der Skalenstufen
- Forcierung
- Ausweichkategorie
- Festlegung der Polarität der Skala
- Balancierung
- Verankerung (Beschriftung)
- Symbolische Darstellung
- Kombinierte Darstellung
Items mit gebundenem Antwortformat: Voreile von Beurteilungsaufgaben
- einfach handhabbar
- ökonomische umsetzbar
- hohe Akzeptanz bei Beurteilenden
Diagnostische Untersuchung: 2. Durchführung der diagnostischen Untersuchung - Was muss beachtet werden?
- Aufklärung
- Rahmenbedingungen
- Standardisierung
Itemkonstruktion: Items mit gebundenem Antwortformat: Beurteilungsaufgabe mit Rating- bzw. Analogskala - Regeln der Konstruktion einer Antwortskala: 1. Anzahl der Skalenstufen
Festlegung der Anzahl der Skalenstufen:
1. Bei 1-Itemskala: 9 +- 2 Stufen
2. Bei Itenbatterie: 5 +- 2 Stufen
Itemkonstruktion: Items mit gebundenem Antwortformat: Beurteilungsaufgabe mit Rating- bzw. Analogskala - Regeln der Konstruktion einer Antwortskala: 2. Forcierung
Festlegung der Forcierung von Ratings: gerade vs. ungerade Anzahl an Antwortalternativen
s.F. 35
Itemkonstruktion: Items mit gebundenem Antwortformat: Beurteilungsaufgabe mit Rating- bzw. Analogskala - Regeln der Konstruktion einer Antwortskala: 3. Ausweichkategorien
Prüfung, ob Ausweichkategorie (“Weiß-nicht-Kateogie) Sinnvoll ist
Itemkonstruktion: Items mit gebundenem Antwortformat: Beurteilungsaufgabe mit Rating- bzw. Analogskala - Regeln der Konstruktion einer Antwortskala: 4. Festlegung der Polarität der Skala
Festlegung der Polarität der Skala
1. unipolar (z.B.: von garnicht bis sehr viel) vs. bipolar (von lehe vollständig ab bis stimme vollkommen zu)
2. Rating- vs. Analogskala (s. F. 37)
Itemkonstruktion: Items mit gebundenem Antwortformat: Beurteilungsaufgabe mit Rating- bzw. Analogskala - Regeln der Konstruktion einer Antwortskala: 5. Balancierung
Festlegung der Balancierung (Symmetrie) einer Skala:
1. balanciert ( “Sehr gut”, “gut”, “weder noch”, “schlecht”, “sehr schlecht”) oder
2. unbalanciert: “sehr gut”, “gut”, “halbwegs gut”, “gerade noch akzeptabel”, “schlecht”)
s.F.38
Itemkonstruktion: Items mit gebundenem Antwortformat: Beurteilungsaufgabe mit Rating- bzw. Analogskala - Regeln der Konstruktion einer Antwortskala: 6. Verankerung
Verankerung (Beschriftung): einer Skala:
1. Nummerisch
2. Verbal
3. Kombiniert: sowohl Verbal als auch nummerisch
Itemkonstruktion: Items mit gebundenem Antwortformat: Beurteilungsaufgabe mit Rating- bzw. Analogskala - Regeln der Konstruktion einer Antwortskala: 7. Symbolische Darstellung
Prüfen, ob symbolische Darstellung sinnvoll ist (optische Skala oder symbolische Marker)
Itemkonstruktion: Items mit gebundenem Antwortformat: Beurteilungsaufgabe mit Rating- bzw. Analogskala - Regeln der Konstruktion einer Antwortskala: 8. Kombinierte Darstellung
Prüfen, ob Kombination aus verbalen, grafisch und nummerischer Darstellung sinnvoll/ möglich ist (s. F. 35)
Items mit gebundenem Antwortformat: Nachteile von Beurteilungsaufgaben
- Zuordnung von Zahlen zu Skalenpunkten mit Intervallskalenniveau messtheoretisch nicht unproblematisch
- Abstufungen von Beurteilenden unterschiedlich interpretierbar
- Verfälschungsanfällig:
a) Soziale Erwünschtheit
b) Akquieszenz: Verzzerung der Ergebnisse, die dadurch entsteht, dass VP die Neigung haben unabhängig vom Inhalt Antwortmöglichkeiten zustimmen
c) Beurteilungstendenzen
Items mit gebundenem Antwortformat: Beurteilungsaufgaben - Definition
VP muss individuelle Einschätzungsurteile abgeben. Angabe des Grades der Zustimmung oder Ablehnung zum Aufgabenstamm, dabei sind Antwortkategorien meist nicht aufgabenspezifisch (z.B.: für alle Aufgaben im Test sind die Antwortmöglichkeiten “Trifft zu” / “Trifft nicht zu”)
Items mit gebundenem Antwortformat: Beurteilungsaufgaben: Analogskala vs. Ratingskala
- Analogskala: kontinuierliche Skala, wodurch eine besoders präzise Differenzierung der Beurteilung möglich ist (Beispiel s. Handout Seminar Sitzung 2)
- Ratingskala: diskrete Stufenantworten, mind. zwei graduell abgestufte Beurteilungskategorien
Items mit geschlossenen Antwortformat: Antworttypen
- Beuerteilungsaufgaben:
a) Analogskala
b) Ratingskala - Ordnungsaufgaben:
a) Umordnungsaufgaben
b) Zuordnungsaufgaben - Auswahlaufgaben:
a) Einfachauswahl
b) Mehrfachauswahl