W4: Objektivität und Validität

Question 1

Was sind Gütekriterien?

Answer 1

Qualitätsmerkmale psychologisch-diagnostischer Verfahren. Diese müssen in den Testhandbüchern beschrieben und dokumentiert werden.

• Eine Art “Standard” in der Psychologie
• Sicherstellen, dass Testverfahren gewissen Anforderungen genügen
• wichtig auch bei Übersetzungen-/Sprach-/Kulturadaptionen

Question 2

Welches sind die Hauptgütekriterien?

Answer 2

Objektivität, Reliabilität, Validität

Question 3

Welches ist das wichtigste Kriterium?

Answer 3

Ohne Objektivität kann die Reliabilität und Validität gar nicht beurteilt werden.

Question 4

Was bedeutet Objektivität?

Answer 4

Ausmass der Gewissenhaftigkeit und Organisation der Durchführung, Auswertung und Interpretation. Die Durchführung, Auswertung und Interpretation sollten so genau sein, dass es egal ist, ob Versuchsleiter 1 oder 2 die Durchführung macht, sprich: Grad, in dem die Ergebnisse eines Tests unabhängig vom Untersucher sind.

Extrem wichtig ist das saubere und vollständige Manual!

Question 5

Was beschreibt die Durchführungsobjektivität?

Answer 5

Standardisierte Testvorgabe: welche Feedbacks darf ich geben, darf ich Hilfestellungen geben, wie wird getestet, Zeitbegrenzungen? - detailliete Instruktionen, Manual beachten!!!

Question 6

Was bedeutet die Auswertungsobjektivitä?

Answer 6

Verschiedene Auswerterinnen müssen zum selben Ergebnis kommen (Verrechnungssicherheit). Idealerweise z.B. mit einen Auswertungsschlüssel, Schablone, Auswertungsprogramme. Die menschliche Fehlerquote der Auswerterinnen sollte möglichst eliminiert werden. Hängt auch davon ab, wie die Fragen gestellt werden. Wird die Frage offen formuliert, muss ganz genau festgelegt werden, was als richtig zu bewerten ist.

Question 7

Was bedeutet die Interpretationsobjektivität?

Answer 7

Verschiedene Auswerter*innen kommen zur gleichen Beurteilung oder Interpretation der Testwerte

Question 8

Was bedeutet Reliabilität?

Answer 8

Messgenauigkeit eines Verfahrens - wie genau ein Verfahren einen Messgegenstad erfassen kann - Kennzahlen sind z.B. innere Konsistenz und Korrelationen

Question 9

Was bedeutet Validität?

Answer 9

Kann mein Testverfahren dies messen, was es messen sollte? - z.B. Inhalts-, Konstrukt., - und Kriteriumsvalidität.

Question 10

Was bedeutet die Inhaltsvalidität?

Answer 10

Beschreibt, ob der Messgegenstand, den bestimmt wurde, in den Items vorhanden ist. D.h., das ein Fragebogen resp. jedes einzelne Item das zu messende Merkmal wirklich hinreichend präzise erfasst. Leider kann kein statistischer Kennwert beurteilen, ob die Inhaltsvalidität gegeben ist oder nicht. Kann nur durch Logik, fachliche bzw. theoretische Überlegungen ermittelt werden.

Question 11

Was bedeutet die Augenscheinvalidität?

Answer 11

Ist gegeben, wenn der Validitätsanspruch eines Test einem Laien vom blossen Augenschein her als gerechtfertig erscheint.

Z.b. 2x9 –> ist für einen Laien erkennbar, dass Multiplikationsfähigkeit getestet werden will.

Question 12

Was bedeutet die Kriteriumsvalidität?

Answer 12

Hier wird die Validität indirekt via der abgeleiteten Aussagen beurteilt. Dafür gibt es statistische Kennwerte (Korrelationen). Bei der Kriteriumsvalidität wird untersucht, ob das Konstrukt hypothesen-konform mit einem bestimmten Kriterium zusammenhängt. Ist erfüllt, wenn sich theoretisch erwartete Zusammehänge empirisch zeigen lassen.

Beispiel Intelligenztest: korrliert ein Intelligenztest mit Studienerfolg? Weil Hypothese besteht, dass Intelligenz mit Studienerfolg korreliert.

Question 13

Wie wird die Kriteriumsvalidität noch unterteilt?

Answer 13

• Vorhersagevalidität
• Übereinstimmungsvalidität
• Retrospektive Validität
• Inkrementelle Validität

Question 14

Was bedeutet die Vorhersagevalidität?

Answer 14

Konstrukt wird mit einem zeitlich zukünftigen Ereignis in Verbindung gebracht. z.B. wir die Intelligenztestleistung vor Berginn der Lehre ermittelt und mit der Abschlussnote der Ausbildung korreliert.

Question 15

Was bedeutet die Übereinstimmungsvalidität?

Answer 15

Konstrukt wird mit einem gleichzeitigen Ereignis in Verbindung gebracht. z.b. Konzentrationstestleistung vor Beginn einer Prüfung ermitteln und dann die Korrelationen mit der Prüfungsnote berechnen

Question 16

Was bedeutet die retrospektive Validität?

Answer 16

Konstrukt wird mit einem zeitlich vergangenen Ereignis in Verbindung gebracht. Z.B. wird Intelligentestleistung während des Studiums erhoben und mit den Schulnoten der zurückliegenden Schule verglichen

Question 17

Was bedeutet die inkrementelle Validität?

Answer 17

Beschreibt, welchen Wert ein Konstrukt in der Vorhersage eines relevanten Kriteriums hat. Ist sehr wünschenswert, denn wenn die inkrementelle Validität gegeben ist, dann erklärt unser Test etwas, was bereits etablierte Test nicht erklären. Dies ist sehr wünschenswert.

Durch Intelligenztests lässt sich beispielsweise gut Berufserfolg vorhersagen. Jede andere Methode muss sich nun daran messen lassen, ob sie über die Intelligenz hinaus noch etwas zur Vorhersage von Berufserfolg beitragen kann.

Question 18

Was bedeutet die Konstruktvalidität?

Answer 18

Hier wird die Validität indirekt via der abgeleiteten Aussagen beurteilt. Dafür gibt es statistische Kennwerte (Korrelationen). Z.b. bei der Konstrukvalidität kann untersucht werden, ob das Testverfahren mit anderen Konstrukten zusammenhängt. Und ob der Test auch die Eigenschaft oder Fähigkeit misst, die er messen soll.

Beispiel Intelligenztest: Testperson könnte verlangen, ob ein ausgeführter Intelligenztest ausreichen hoch mit anderen Intelligenztests korreliert.

Question 19

Wie wird die Konstruktvalidität noch unterteilt?

Answer 19

• Konvergente Validität
• Diskriminante Validität
• Faktorielle Validität

Question 20

Was bedeutet konvergente Validität?

Answer 20

Von konvergenter Validität wird gesprochen, wenn verschiedene Fragebogen / Tests hoch miteinander korrelieren. z.B. verschiedene Intelligenztests weisen ähnliche Resulate aus. Tests mit gleicher oder ähnlicher Gültigkeitsbereiche.

Question 21

Was bedeutet diskriminante Validität?

Answer 21

Bestimmung des Zusammenhang mit Fragebogen / Tests, die einen anderen Gültigkeitsbereich haben (Gütekriterien) als der zu prüfende Fragebogen / Test. Niedrige Zusammenhänge sprechen für das Vorliegen von diskriminanter Validität. Es werden Korrelationen mit Tests anderer Gültigkeitsbereiche ermittelt.

z.B. Intelligenztest korrelieren mit einen Mass das Motivation erfasst. Dabei möchte ich, dass das Konstrukt Intelligenz unabhängig jenes der Motivation ist.

Question 22

Was bedeutet faktorielle Validität?

Answer 22

Ob sich theoretisch angenommen Struktur eines Fragebogen empirisch in den Daten (Faktorenanalyse) finden lässt.

Question 23

Welche kann die Konstruktvalidität bestimmt werden?

Answer 23

• Faktorenanalyse (typische konfirmatorische Faktorenanalyse CFA, Analyse der internen Struktur eines Test, ist Eindimensionalität gegeben?)
• nicht-korrelative Ansätze (Analyse Gruppenunterschiede, Prozessanalyse, Vergleich von Selbst- und Fremdeinschätzungen, experimenelle Variation (z.B. Stimmung heitern aufgrund lustigem Film) usw.)
• MTMM Matrix (Multi-Trait-Multi-Method) - Zusammenhangsanalyse

Question 24

Was sind die Herausforderungen von Selbst- und Fremdeinschätzungen?

Answer 24

Manche Werte sind schwer beobachtbar resp. greifbar, z.B. Fantasie oder Rumination - kann sich mindernd auf Korrelation auswirken

Question 25

Wie kann der MTMM-Ansatz beschrieben werden?

Answer 25

Sehr aufwändig, nicht nur konstruktnahe und konstruktferne Tests sollen zusätzlich zum eigentlich interessierenden Test untersucht werden, sondern alle Tests und verschiedenen Methoden / Bedingungen.

z.B. zur Erfassung von Extraversion Fragebogen und Interview machen, Selbst- und Fremdbericht etc.

Methodenvarianz: eingesetzte Methoden können Varianz erzeugen. z.B. verschiedene Fragebogen, jedoch die Art und Weise wie ich antworte ist gleich. Werden mehrere traits durch mehrere Methoden gemessen?

dazu: mTmM, mThM, hTmM, hThM

Question 26

Was bedeutet mTmM?

Answer 26

monotrait monomethod (gleiches Merkmal, gleiche Methode)

–> da erwarten wir die grössten Zusammenhänge

Question 27

Was bedeutet mThM?

Answer 27

monotrait heteromethod (gleiches Merkmal, verschiedene Methoden)

Question 28

Was bedeutet hTmM?

Answer 28

heterotrait, monomethod (verschiedene Merkmale, gleiche Methode)

Question 29

Was bedeutet hThM?

Answer 29

heterotrait, heteromethod (verschiedene traits, verschiedene Methoden)

–> da erwarten wir die geringsten Zusammenhänge / Korrelationen

Question 30

Welche Faktoren können sich mindern auf die Validität auswirken?

Answer 30

• Methodenfaktoren (Verwendung unterschiedl. Erhebungsmethoden)
• Kriteriumskontamination und - defizienz (Kriterium erfasst etwas anderes als es sollte, schlecht gewählt, Verzerrung)
• mangelnde Symmertrie zwischen Prädiktor und Kriterium
• Streuungsrestriktionen (z.B. Stichprobe nur mit Studierenden)
• Mangelnde Reliabilität - zu gerine Messgenauigkeit

Question 31

Was bedeutet das Reliabilitäts-Validitäts-Dilemma?

Answer 31

Beeinflussen sich gegenseitig, wenn das eine hohe Werte ausweist, ist das andere womöglich mit tieferen Werten ausgestattet.

Beispiel Studie mit Borderline: für eine Borderline-Störung müssen fünf von neun Kriterien erfüllt sein:

• verzweifeltes Bemühen, das Verlassenwerden zu verhindern
• emotionale Instabilität
• intensive und instabile zwischenmenschliche Beziehungen
• Identitätsstörung
• Suiziddrohungen
• Selbstverletzungen
• Schwierigkeit Wutkontrolle
• Impulsivität
• chronische Leere

Einige Items weisen bspw. einen grösseren Zusammenhang auf, bspw. 1 und 3, einige weniger (z.B. Identitätsstörung mit allen anderen…). Damit die Validtität gegeben ist, müssen alle diese Items erfasst werden. Dies wirkt sich auf die Reliabilität aus. Diese kann gar nicht so hoch sein, weil diese Items nicht alle untereinander zwingendermassen hoch korrelieren “müssen”.

Wenn ich dann bspw. entscheide, das Item Identitätsstörung zu löschen, steigt womöglich meine Reliabilität, aber die Validität sinkt… und ich brauche das Item für die Diagnose der Störung.