Gütekriterien 2 Flashcards
Objektivität bedeutet, dass
die Testergebnisse eines diagnostischen Verfahrens unabhängig davon sind, wer den Test durchführt, auswertet & interpretiert.
Probleme durch mangelnde Schulung des Testleiters, Abweichung vom standardisierten Vorgehen, fehlende Beispiele zur Kategorisierung offener Antworten im Manual, fehlende Bezugsgruppe, mangelnde Interpretationshilfe
Reliabilität
Die Reliabilität zeigt die Zuverlässigkeit an, mit der ein Instrument bestimmte Dimensionen misst. Reliabilität ist dann gegeben, wenn ein Instrument bei wiederholter Messung der gleichen Objekte oder Merkmalsträger unter gleichen Bedingungen die gleichen Messergebnisse anzeigt.
o Paralleltest‐Reliabilität
o Retest‐Reliabilität
o Testzerlegung: Halbierung, Interne Konsistenz
Validität
„Unter Validität wird die Übereinstimmung von Testergebnissen mit dem, was der Test messen soll, verstanden. Es handelt sich um ein Urteil darüber, wie angemessen bestimmte Schlussfolgerungen vom Testwert auf das Verhalten außerhalb des Tests oder auf ein Merkmal der Person sind.“
Valide oder gültig ist ein Instrument in dem Maße, in dem es genau das misst, was es messen soll.
Formen der Validität
Augenscheinvalidität (keine Form der Validität im engeren Sinne)
Inhaltsvalidität (auch Kontentvalidität)
Kriteriumsvalidität
Konstruktvalidität
Augenscheinvalidität
Unter Augenscheinvalidität versteht man die Nachvollziehbarkeit der Testpersonen (bzw. psychologischer Laien) für das, was mit dem Test gemessen wird. Hohe Augenscheinvalidität kann das Vertrauen der Testperson in den Test & damit auch die Mitmachbereitschaft erhöhen. Gleichermaßen ist aber auch die Gefahr der Testverfälschung gegeben.
Inhaltsvalidität
Unter Inhaltsvalidität (Kontentvalidität) versteht man, wie repräsentativ die Items eines Tests für das zu messende Merkmal sind.
Das Testitems versteht sich dabei als repräsentative Stichprobe aus dem Itemuniversum, mit dem das interessierende Merkmal erfasst werden kann (Repräsentationsschluss).
Kriteriumsvalidität
Ein Test weist Kriteriumsvalidität auf, wenn vom Verhalten innerhalb der Testsituation erfolgreich auf ein „Kriterium“ (Verhalten außerhalb Testsituation) geschlossen werden kann. Das Kriterium muss für den vorgesehenen Einsatzbereich des Tests relevant sein.
Die Enge dieser Beziehung ist das Ausmaß an Kriteriumsvalidität (Korrelationsschluss).
konkurrente Validität
(Übereinstimmungsvalidität): Korrelationen des Tests mit Kriteriumsvariablen, die zum selben Messzeitpunkt gemessen wurden
prädiktive Validität
(Vorhersagevalidität): Korrelationen des Test mit zeitlich später gemessenen Kriteriumsvariablen
retrograde Validität:
Korrelationen des Tests mit zeitlich vorher gemessenen Kriterien
Konfundierung mit dem gleichen Merkmal führt zu
Erhöhung der Korrelation zwischen Prädiktor&Kriterium
Je größer der Messfehler, desto
geringer die Korrelation
Die Korrelation zwischen zwei Variablen hängt immer auch davon ab,
wie reliabel die beiden Variablen jeweils sind.
Wenn ein Test ein Merkmal wenig zuverlässig erfasst (= hoher Anteil von Fehlervarianz an der Testwertvarianz), dann
wird dies die Korrelationen der Testwerte mit anderen Variablen beeinträchtigen (Stichwort: Minderungskorrektur).
Messfehler minimiert
Varianzaufklärung
Beim Einsatz mehrerer Tests bzw. bei Verwendung mehrerer Prädiktoren:
Güte der Vorhersage des Kriteriums kann dann empirisch z.B. durch eine lineare Regressionsanalyse untersucht werden. Der dabei gefundene Zusammenhang = multiple Validität
Das Ausmaß, indem die Vorhersage des Kriteriums durch die Hinzunahme eines weiteren Tests verbessert werden kann, bezeichnet man als inkrementelle Validität (von lat. incrementare = vergrößern; in multipler Regression: Zuwachs an erklärter Varianz bei der Vorhersage eines externen Kriteriums).
Konstruktvalidität
Unter Konstruktvalidität versteht man empirische Belege dafür, dass ein Test das Konstrukt erfasst, welches er erfassen soll –&nicht ein anderes.
keine Einzelkennwerte …
Validierung als Prozess!
Konvergente Validität
Wie hoch hängt die Ausprägung eines Merkmals mit Ausprägungen desselben Merkmals zusammen, das mit einer anderen Methode erfasst wird?
Empfohlen werden Koeffizienten von r >.50.
Diskriminante Validität
Wie hoch hängt die Ausprägung eines Merkmals mit Ausprägungen eines anderen Merkmals zusammen, das mit derselben oder einer anderen Methode erfasst wird?
Empfohlen werden Koeffizienten von r < .40
Multi‐Trait‐Multi‐Method‐Matrix
dient zur Überprüfung der konvergenten & diskriminanten Validität
enthält Korrelationen zwischen Testscores für verschiedene Traits, die mit verschiedenen Methoden gemessen wurde
diese Korrelationen werden in Tabelle dargestellt, die MTMM‐Matrix genannt wird
soll verhindern, dass hohe Korrelationen aufgrund gleicher Methoden fälschlicherweise
im Sinne einer hohen Merkmalskonvergenz interpretiert werden
Ziel: Die Korrelationen innerhalb der Merkmale (zwischen Methoden) sollten deutlich größer sein als die Korrelationen innerhalb der Methoden (zwischen Merkmalen)
Monomethod‐Blöcke:
enthalten die Korrelationen zwischen Testscores, die mit derselben Methode erfasst wurden
Heteromethod‐Blöcke:
enthalten die Korrelationen zwischen Testscores, die mit unterschiedlichen Methoden erfasst wurden
Reliabilitätsdiagonale:
Hauptdiagonale der Matrix; Reliabilitäten der einzelnen Testscores (Monotrait‐Monomethod‐Werte)
Reliabilitäten sollen
hoch &ungefähr gleich sein
Monotrait‐Heteromethod‐Werte:
Validitätsdiagonale = Korrelationen der Testscores derselben Traits, gemessen mit verschiedenen Methoden
= Konvergente Validität
Konvergente Validitäten sollen signifikant
von Null verschieden & hoch sein
Heterotrait‐Monomethod‐Dreieck:
Korrelationen der Testscores verschiedener Traits, gemessen mit derselben Methode = Diskriminante Validität
Konvergente Validitäten sollen höher sein als
Korrelationen verschiedener traits, die mit der selben Methode erfasst wurden
Heterotrait‐Heteromethod‐Dreiecke:
Korrelationen der Testscores verschiedener Traits, gemessen mit verschiedenen Methoden
Nachteile MTMM
Kriterien nur schwer anwendbar, wenn die Methoden sich hinsichtlich ihrer Reliabilitäten unterscheiden
Gefahr, dass Korrelationsunterschiede nur Reliabilitätsunterschiede widerspiegeln
Methode basiert nur auf der visuellen Inspektion der MTMM‐Matrix
statistische Überprüfung spezifischer Hypothesen selten
keine Erklärung der MTMM‐Matrix durch ein statistisches Modell
ohne Erklärungsmodell keine Trennung möglich von Trait‐ &Methodeneinflüssen &von Variablen, die diese Einflüsse repräsentieren
bessere Modellierung durch Verwendung konfirmatorischer Faktorenanalysen möglich
Kofundierung mit unterschiedlichen Merkmalen führt zu
Minderung der Korrelation zwischen Prädiktor&Kriterium
Konstruktvalidität in Assessment Center
Umstritten
Konvergente V niedrig & diskriminante hoch
Gleiche ANforderungen in verschiedenen Übungen korrelieren untereinander niedrig während verschiedenen Anforderungen innerhalb einer Übung hoch korrelieren
