9. VL. Validität 2: Konstruktvalidität und MTMM Flashcards
Nenne die 5 Gründe für eine mangelnde Kriteriumsvalidität!
- Eingeschränkte Streuung
- Test-Bias & Fairness
- Teaching to the Test
- Multiple Kriterien
- Partielle Inkompatibilität zwischen Relliabilität und Validität
- Was ist mit “eingschränkter Streuung” gemeint und wie kann es korrigiert werden?
Je kleiner die Stichprobe, desto Wahrscheinlicher ist der Einfluss der Zufallsvarianz.
Korrektur: Minderungskorrektur! Wie wäre die Korrelation ohne eingeschränkte Range? “als ob kein Messfehler”
- Was ist mit “Test-Bias & Fairness” gemeint und wie wird es korrigiert?
Test kann für verschiedene Gruppen unterschiedlich schwer sein, kann zu Bevorzugung bzw. Benchteiligung führen.
Korrektur: Kulturfreie Tests
- Was ist mit “Teaching to the Test” gemeint?
Validität ist gefährdet, falls gezielt auf den Test hin gearbeitet wird. Es werden damit nicht die Kompetenzen gemessen.
- Was ist mit “multiplen Kriterien” gemeint?
Variablen, die man voraussagen will, sind oft multivariat. Man muss sich entscheiden, welche externen Kriterien am wichtigsten sind.
Korrektur: Festlegung der Aussenkriterien
- Was ist mit “Partieller Inkompatibilität zwischen Reliabilität und Validität” gemeint?
- Grosse Homogenität: Hohe Reliablität aber nicht unbedingt hohe Validität (bei komplexeren Konstrukten)
- Heterogene Tests: Können hohe praktische Validität haben, aber Gefahr von (relativ) niedriger Reliabilität
Korrektur: Kombination homogener Subtests für heterogenes Konstrukt. Damit wahren die Subtests/Einzelskalen die Reliabilität = Annäherungsläsung
Was ist die Konstruktvalidität?
Welche 3 Kernaspekte gibt es dazu?
Die Konstruktvalidität misst, ob ein Verhalten in einem Test auf das theoretische Konstrukt zurück geführt werden kann.
Wichtigste Konzept der Validität!
3 Kernaspekte:
- iterativer Prozess
- faktorielle, konvergente / divergente Konstruktvalidität
- nomologisches Netz
Was ist mit “Konstruktvalidität ist ein kontinuierlicher iterativer Prozess” gemeint?
Wie läuft dieser Prozess ab?
- Empirisch-sozialwissenschaftlicher Ansatz und hypothetisch-deduktive Vorgehensweise!
Vorgehensweise:
- Konstrukt definieren
- Instrument/Verfahren entwickeln
- Beziehung zu anderen Tests oder Konstrukten zeigen
- Schauen ob der Test Verhalten/psychische Prozesse voraussagen kann
Wichtig ist die Gesamtheit der Belege oder Beweisführung! (Methodenvielfalt)
Merke: Konstruktvalidität kann nie eindeutig belegt werden.
Erkläre das Nomologische Netz!
Gilt als Kernkonzept der Konstruktvalidität!
Bestandteile eines nomologischen Netzes:
- Theorie über latentes Konstrukt
- beobachtete Variable
- Korrespondenzregeln
Ziel der Konstruktvalidierung: Korrektheit des nomologischen Netzes schrittweise überprüfen.
Vorgehen:
- Aufgrund der Theorie und Literatur die Beziehungen (konv./div) zw. Konstrukten angeben
- Anhand der Theorie überprüfbare Hypothesen ableiten
- Überprüfung / Nachweis
Stimmen theoretische Voraussagen und empirische Beobachtungen überein = Korrektheit nomologisches Netz = vorläufige Bestätigung!
Aber: Da es sich um eine hypothetisch-dedutktive Theorie handelt, kann die Konstruktvalidität nie abschliessend bestätigt werden (nur so lange bis sie falsifiziert wurde)
Welche 3 Arten der Konstruktvalidierung können unterschieden werden?
- Faktorielle Konstruktvalidität
- Konvergente Konstruktvalidität
- Divergente Konstruktvalidität
- Erkläre die Faktorielle Konstruktvalidität!
Annahme?
Überprüfung der internalen Struktur des Tests mittels Faktorenanalyse als Teil der Konstruktvalidierung.
Annahme: Die Zusammenhänge aller Items sind auf ein gemeinsames, nicht beobachtbares, Merkmal (Konstrukt) zurück zu führen.
–> Annahme wird mittels Faktorenanalyse empirisch geprüft! (Laden alle Items auf demselben Faktor?)
Wenn die angenommene Struktur gefunden wird, dann kann von faktorieller Validität gesprochen werden.
Faktorielle Konstruktvalidität:
Was sind die Ziele?
Welche beiden Klassen gibt es?
Ziele:
- Definition der Dimension
- Überprüfung der Konstruktvalidität (nur Struktur!)
- Datenreduktion: Möglichst viel gemeinsame Varianz durch möglichst wenige Faktoren erklären
Klassen:
- Exploratorische Faktorenanalyse
- Konfirmatorische Faktorenanalyse
Erfasst die faktorielle Konstruktvalidität den Inhalt oder die Struktur?
Die Struktur! Die inhaltliche Dimension wird nicht erfasst!
= dennoch: Notwendige Voraussetzung für Konstruktvalidität
Erkläre die Konvergente Konstruktvalidität!
Was ist der Unterschied zur Kriteriumsvalidität?
Wie kann sie gemessen werden?
Übereinstimmung bzw. hohe Korrelation mit anderen Tests, die dasselbe Merkmal messen!
Ähnlich wie Kriteriumsvalidität, aber hier bekommt der Test die Bedeutung durch die Assoziation mit anderen Variablen.
Messen durch:
- Korrelation mit anderen Massen, die dasselbe messen
- durch Relation zu Variablen die damit verbunden sein sollen
- erwartete Reaktion oder Veränderung bei Eingriff / Behandlung / Manipulation
Erkläre die Divergente / Diskriminante Konstruktvalidität!
Was ist das Ziel?
Kein oder niedriger Zusammenhang mit Variablen / Tests die ein anderes Merkmal/Konstrukt messen.
Ziel: von anderen Merkmalen abgrenzen, nicht nur von konstruktfremden, sondern auch von relativ konstruktnahen
