Gütekriterien der Messung Flashcards
Testtheorie
- In welchem Zusammenhang steht das zu testende latente Merkmal mit dem im Test beobachtbare Verhalten?
- legt Anforderungen fest, denen ein Test genügen muss, um von Testergebnis auf latentes Merkmal schließen zu können
klassische Testtheorie
Testergebnis entspricht dem wahren Ausprägungsgrad des untersuchten Merkmals
→ jedoch weist jede Messung einen (unsystematischen) Messfehler auf (X = T + E)
(bis heute dominierendes Paradigma in Sozial- und Naturwissenschaften)
klassische Testtheorie: Anwendung
- mehrere Items werden verwendet, um dasselbe Konstrukt zu messen
- wird zu Test- bzw. Skalenwert zusammengefasst
- Testtheorie ist für Einzel-Items oder -Indikatoren NICHT anwendbar
- Gütekriterien: Objektivität, Reliabilität, Validität
klassische Testtheorie: Messfehler
- wahrere Wert und Fehlerwert dürfen nicht korrelieren
- Messfehler einer Testanwendung ist unabhängig von wahrem Wert einer zweiten Messung
probabilistische Testtheorie
> Wahrscheinlichkeit einer Antwort auf einzelnes Item ist von Merkmalen des Items und latenten Merkmalen der Person abhängig
Bsp. PISA-Studien
Objektivitätsmaß:
Korrelationskoeffizient sollte nahe 1 betragen
Gütekriterien der Messung
Objektivität, Reliabilität, Validität
Durchführungsobjektivität:
Verzerrung durch messende Person → standardisierte Befragung hilft
Auswertungsobjektivität:
Verzerrung bei Auswertung, z.B. unscharfe Kriterien bei Bewertung
Reliabilität =
Anteil der wahren Variant an der beobachteten Varianz des Testwertes
Reliabilität höher, je
geringer zufällige Messfehler schwanken
Berechnung des Reliabilitätskoeffizienten
- benötigt Schätzung der unbekannten wahren Varianz
Möglichkeiten:
- Paralleltest
- z.B. Messung mit analoger & digitaler Uhr
- Test-Retest
- Wiederholung des Tests, fall Messobjekt zeitlich stabil ist und keine Panel-Mortalität
- Testhalbierung
- Aufteilung der Items in zwei Hälften
- Problem: Unterschätzung der Reliabilität wegen halber Testlänge → Lösung: Spearman-Brown-Prophecy-Formula
- interne Konsistenz
- Weiterentwicklung der Testhalbierung
- Mittelwert aller möglichen split-half-Koeffizienten
- meist Cronbach’s Alpha
Paralleltest
z.B. Messung mit analoger & digitaler Uhr
Test-Retest
Wiederholung des Tests, fall Messobjekt zeitlich stabil ist und keine Panel-Mortalität
Testhalbierung
- Aufteilung der Items in zwei Hälften
- Problem: Unterschätzung der Reliabilität wegen halber Testlänge → Lösung: Spearman-Brown-Prophecy-Formula
interne Konsistenz
- Weiterentwicklung der Testhalbierung
- Mittelwert aller möglichen split-half-Koeffizienten
- meist Cronbach’s Alpha
Validität =
- wichtigstes Gütekriterium
- Objektivität & Reliabilität sind notwenige, aber nicht hinreichende Bedingung für Validität
- ACHTUNG: Validität als Gütekriterium ≠ interne/externe Validität bei Experiment
Augenscheinvalidität (face validity)
selbstevidente Messungen
Inhaltsvalidität (content validity)
- Items reflektieren Zielkonstrukt in allen inhaltlichen Bedeutungsdimensionen
- nicht empirisch, sondern theoretisch-argumentativ
Kriteriumsvalidität (criterion validity)
- Außenkriterium, dass mit interessierendem Merkmal korreliert
- Validitätsmaß: Korrelationskoeffizienten
- Übereinstimmungsvalidiät = gleicher Zeitpunkt (concorrent validity)
- Vorhersagevalidität = unterschiedlicher Zeitpunkt, prognostische / prädiktive Validität
Übereinstimmungsvalidiät =
gleicher Zeitpunkt (concorrent validity)
Vorhersagevalidität =
unterschiedlicher Zeitpunkt, prognostische / prädiktive Validität
Konstruktvalidität
- gibt an, wie genau ein Messinstrument ein verwandtes Konstrukt misst
- Unterschied zu Kriteriumsvalidität: man leitet aus Zielkonstrukt weitere verwandte Konstrukte ab und überprüft, ob eigene Messvariante damit korreliert oder nicht
- Konvergente Validität = (convergent validity) Test, der belegen soll, dass Konstrukte, die mit eigenem Konstrukt nahe verwandt sind, empirisch stark mit diesem korrelieren
- Diskriminante/divergente Validität = (discriminant/divergent validity) Test, der belegen soll, dass Konstrukte nicht korrelieren, d.h. nichts miteinander zu tun haben
Konvergente Validität =
(convergent validity) Test, der belegen soll, dass Konstrukte, die mit eigenem Konstrukt nahe verwandt sind, empirisch stark mit diesem korrelieren
Diskriminante/divergente Validität =
(discriminant/divergent validity) Test, der belegen soll, dass Konstrukte nicht korrelieren, d.h. nichts miteinander zu tun haben
