9. VL. Validität 2: Konstruktvalidität und MTMM Flashcards
Nenne die 5 Gründe für eine mangelnde Kriteriumsvalidität!
- Eingeschränkte Streuung
- Test-Bias & Fairness
- Teaching to the Test
- Multiple Kriterien
- Partielle Inkompatibilität zwischen Relliabilität und Validität
- Was ist mit “eingschränkter Streuung” gemeint und wie kann es korrigiert werden?
Je kleiner die Stichprobe, desto Wahrscheinlicher ist der Einfluss der Zufallsvarianz.
Korrektur: Minderungskorrektur! Wie wäre die Korrelation ohne eingeschränkte Range? “als ob kein Messfehler”
- Was ist mit “Test-Bias & Fairness” gemeint und wie wird es korrigiert?
Test kann für verschiedene Gruppen unterschiedlich schwer sein, kann zu Bevorzugung bzw. Benchteiligung führen.
Korrektur: Kulturfreie Tests
- Was ist mit “Teaching to the Test” gemeint?
Validität ist gefährdet, falls gezielt auf den Test hin gearbeitet wird. Es werden damit nicht die Kompetenzen gemessen.
- Was ist mit “multiplen Kriterien” gemeint?
Variablen, die man voraussagen will, sind oft multivariat. Man muss sich entscheiden, welche externen Kriterien am wichtigsten sind.
Korrektur: Festlegung der Aussenkriterien
- Was ist mit “Partieller Inkompatibilität zwischen Reliabilität und Validität” gemeint?
- Grosse Homogenität: Hohe Reliablität aber nicht unbedingt hohe Validität (bei komplexeren Konstrukten)
- Heterogene Tests: Können hohe praktische Validität haben, aber Gefahr von (relativ) niedriger Reliabilität
Korrektur: Kombination homogener Subtests für heterogenes Konstrukt. Damit wahren die Subtests/Einzelskalen die Reliabilität = Annäherungsläsung
Was ist die Konstruktvalidität?
Welche 3 Kernaspekte gibt es dazu?
Die Konstruktvalidität misst, ob ein Verhalten in einem Test auf das theoretische Konstrukt zurück geführt werden kann.
Wichtigste Konzept der Validität!
3 Kernaspekte:
- iterativer Prozess
- faktorielle, konvergente / divergente Konstruktvalidität
- nomologisches Netz
Was ist mit “Konstruktvalidität ist ein kontinuierlicher iterativer Prozess” gemeint?
Wie läuft dieser Prozess ab?
- Empirisch-sozialwissenschaftlicher Ansatz und hypothetisch-deduktive Vorgehensweise!
Vorgehensweise:
- Konstrukt definieren
- Instrument/Verfahren entwickeln
- Beziehung zu anderen Tests oder Konstrukten zeigen
- Schauen ob der Test Verhalten/psychische Prozesse voraussagen kann
Wichtig ist die Gesamtheit der Belege oder Beweisführung! (Methodenvielfalt)
Merke: Konstruktvalidität kann nie eindeutig belegt werden.
Erkläre das Nomologische Netz!
Gilt als Kernkonzept der Konstruktvalidität!
Bestandteile eines nomologischen Netzes:
- Theorie über latentes Konstrukt
- beobachtete Variable
- Korrespondenzregeln
Ziel der Konstruktvalidierung: Korrektheit des nomologischen Netzes schrittweise überprüfen.
Vorgehen:
- Aufgrund der Theorie und Literatur die Beziehungen (konv./div) zw. Konstrukten angeben
- Anhand der Theorie überprüfbare Hypothesen ableiten
- Überprüfung / Nachweis
Stimmen theoretische Voraussagen und empirische Beobachtungen überein = Korrektheit nomologisches Netz = vorläufige Bestätigung!
Aber: Da es sich um eine hypothetisch-dedutktive Theorie handelt, kann die Konstruktvalidität nie abschliessend bestätigt werden (nur so lange bis sie falsifiziert wurde)
Welche 3 Arten der Konstruktvalidierung können unterschieden werden?
- Faktorielle Konstruktvalidität
- Konvergente Konstruktvalidität
- Divergente Konstruktvalidität
- Erkläre die Faktorielle Konstruktvalidität!
Annahme?
Überprüfung der internalen Struktur des Tests mittels Faktorenanalyse als Teil der Konstruktvalidierung.
Annahme: Die Zusammenhänge aller Items sind auf ein gemeinsames, nicht beobachtbares, Merkmal (Konstrukt) zurück zu führen.
–> Annahme wird mittels Faktorenanalyse empirisch geprüft! (Laden alle Items auf demselben Faktor?)
Wenn die angenommene Struktur gefunden wird, dann kann von faktorieller Validität gesprochen werden.
Faktorielle Konstruktvalidität:
Was sind die Ziele?
Welche beiden Klassen gibt es?
Ziele:
- Definition der Dimension
- Überprüfung der Konstruktvalidität (nur Struktur!)
- Datenreduktion: Möglichst viel gemeinsame Varianz durch möglichst wenige Faktoren erklären
Klassen:
- Exploratorische Faktorenanalyse
- Konfirmatorische Faktorenanalyse
Erfasst die faktorielle Konstruktvalidität den Inhalt oder die Struktur?
Die Struktur! Die inhaltliche Dimension wird nicht erfasst!
= dennoch: Notwendige Voraussetzung für Konstruktvalidität
Erkläre die Konvergente Konstruktvalidität!
Was ist der Unterschied zur Kriteriumsvalidität?
Wie kann sie gemessen werden?
Übereinstimmung bzw. hohe Korrelation mit anderen Tests, die dasselbe Merkmal messen!
Ähnlich wie Kriteriumsvalidität, aber hier bekommt der Test die Bedeutung durch die Assoziation mit anderen Variablen.
Messen durch:
- Korrelation mit anderen Massen, die dasselbe messen
- durch Relation zu Variablen die damit verbunden sein sollen
- erwartete Reaktion oder Veränderung bei Eingriff / Behandlung / Manipulation
Erkläre die Divergente / Diskriminante Konstruktvalidität!
Was ist das Ziel?
Kein oder niedriger Zusammenhang mit Variablen / Tests die ein anderes Merkmal/Konstrukt messen.
Ziel: von anderen Merkmalen abgrenzen, nicht nur von konstruktfremden, sondern auch von relativ konstruktnahen
Wofür werden die divergente und die konvergente Konstruktvalidität später gebraucht?
Für den MTMM
Was ist die MTMM und was misst sie?
Methode zum Nachweis der Konstruktvalidität eines Test!
Beinhaltet systematische Kombination von mehreren Merkmalen/Traits und mehreren Messmethoden.
Welche 3 Formen gibt es in der MTMM?
Multitrait - Multimethod: Mehrere Methoden
Multitrait - Multiinformant: Mehrere Beurteiler
Multitrait - Multioccasion: Mehrere Messzeitpunkte
Was ist das Problem der Methodeneffekte?
Einfluss der Methode kann Korrelation künstlich erhöhen! = Daher sollen die Einflüsse der Methode kontrolliert werden! Und daher brauchen wir die MTMM!
Wo liegt die Quelle der Methodenvarianz und wie können sie kontrolliert werden?
Messinstrumente: Zusammenhänge werden stärker, wenn dieselbe Methode verwendet wird!
Kontrolle: Multitrait-Multimethod
Beurteiler: Beurteiler nimmt systematischen Einfluss auf die Beziehung zwischen Merkmalen.
Kontrolle: Multitrait-Mulitinformant
Kontext (Occasion): kontextspezifischer Bias aufgrund von verschiedenen Situationen.
Kontrolle: Multitrait-Multioccasion
Was muss getan werden, damit Methodeneffekte isoliert werden können?
Welche Voraussetzungen definierten Campbell & Fiske?
Was ist die Grundidee?
Um Methodeneffekte isolieren zu können, sollen strukturell unterschiedliche Methoden eingesetzt werden.
Grundvoraussetzung:
konvergente und diskriminante Validität
Grundidee: Messung von verschiedenen Konstrukten sollen weniger miteinander korrelieren als Messungen von gleichen Merkmalen. (auch wenn mit vers. Methoden gemessen.)
Erkläre noch einmal konvergente und diskriminante Validität.
Konvergente Validität: gleiches Konstrukt mit verschiedenen Methoden messen.
= hohe Korrelation von Messungen des gleichen Merkmals über verschiedene Methoden hinweg
Diskriminante Validität: verschiedene Konstrukte mit gleicher Methode messen.
= niedrige Korrelation der verschiedener Merkmale trotz derselben Methode!
= Valide, wenn die beiden gegeben sind und damit ein möglichst geringer methodenspezifischer Anteil herrscht!
Erkläre die 4 Arten der Korrelationskoeffizienten!
- Monotrait-Monomethod
- Monotrait-Heteromethod: Konvergente Validität
- Heterotrait-Monomethod: Divergente Validität
- Heterotrait-Heteromethod: Divergente Validität
Gebe den Nachweis konvergenter Validität!
Konvergente Validität soll sich signifikant von 0 unterscheiden und hoch sein.
Wenn nicht, dann werden mit unterschiedlichen Methoden auch unterschiedliche Konstrukte gemessen.
Nachweis:
a) MTHM > HTMM (= konv. > disk.)
b) MTHM > HTHM (= konv. > disk.)
c) Muster der Korrelationen sollten innerhalb sowie zwischen den Methoden ähnlich sein
Welche Kritik gibt es an die MTMM?
- gut für einen groben Überblick über die Datenstruktur
- Aber: Sehr viele Einzelvergleiche von Korrelationskoeffizienten
- sehr viel subjektiver Spielraum in der Interpretation
- mathematisch anspruchsvoll - Modelle können manchmal nicht gerechnet werden
Was sind die Vorteile und Anforderungen an die MTMM?
Vorteile:
Trait-, Methoden- und Fehlervarianz können genau berechnet werden unter Einbezug aller Variablen, nicht nur bivariate Korrelation.
Anforderungen:
- Mindestens 3 Traits ind 3 Methoden (besser 4 Traits)
- besser konfirmatorische MTMM- Analyse
