23. Normierung und Cut-Off-Werte Flashcards
Was muss man bei der Zusammenstellung der Eichstichprobe beachten?
Verteilungseigenschaften der Testwerte in Normierungsstichprobe
- Normalverteilung für Abweichungsnorm
- bei keiner NV Prozentrangnorm
- für jede Subgruppe
Substichproben müssen signifikante Mittelwertsunterschiede haben
- gruppenspezifische Normen nur bei Gruppenunterschieden
Subgruppennormen erhöhen Fairness, wenn:
- Unterschiede im Test vorhanden sind, diese aber nicht in der Realität / gezeigtem Verhalten vorliegen
Subgruppennormen reduzieren Fairness, wenn:
- Unterschiede im Test, zu unterschiedlichem Verhalten in der Realität führen
Wie läuft eine datenbasierte Cut-Off-Bestimmung ab?
Reciever-Operating-Characteristics- Analyse
Betrachtung der zueinander gehörenden Werte für Sensitivität und Spezifität
optimaler Schwellenwert da, wo Summe korrekt klassifizierter Fälle (Spezifität + Sensitivitä) am größten ist
ROC-Analyse berechnet für jeden potentiellen Schwellenwert Sensitivität und Spezifität
Betrachtung der zueinander gehörenden Werte für Sensitivität (Trefferquote) und 1-Spezifität (Quote falscher Alarme)
- ROC-Kurve
ROC-Analyse:
- unterscheidet ein Test nicht gut zwischen beiden Gruppen, nähert sich ROC-Kurve der Hauptdiagonalen an
- Kurvenverlauf oberhalb der Diagonalen = Fälle, bei denen Kriterium vorliegt, haben im Mittel höhere Testwerte
- idealer Cut-Off, wo Lot auf der Hauptdiagonale längsten Abstand zeigt
Wie läuft eine expertenbasierte Cut-Off-Bestimmung nach Angoff ab?
häufig bei Kompetenzmessungen/Wissenstest, z.B. Eignungsdiagnostik
Cut-Off aufgrund inhaltlicher Überlegungen von Experten
- z.B: Anzahl der Aufgaben, die mind. gelöst werden müssen
Angoff-Methode:
Ziel: Definition einer hypothetischen “minimale acceptable person”, Leistung der Person gerade noch akzeptal = Grenzwert
Schätzung der Wahrscheinlichkeit, dass MAP eine Aufgabe richtig löst
- bzw. Wie viel Prozent der MAP lösen Aufgabe richtig?
Experten schätzen ein, wie viel Prozent der MAP Aufgabe lösen
- MW und SD der Schätzungen werden berechnet
- Besprechung der heterogenen Ergebnisse
- Wiederholung bis sich die Experteneinschätzungen angleichen, SD < 10 für einzelne Items
Warum ist die Bestimmung eines optimalen Cut-Off Wertes von Bedeutung?
kritischer Wert bei diagnostischem Test
Entscheidungen sind dichotom, Skalenwerte kontinuierlich
- Dichotomisierung bedeutet immer Informationsverlust und Fehleranfälligkeit
- Bestimmung des optimalen “Grenzwerts”
- optimale Spezifität und Sensitivität
Beachten der Kosten von falsch positiven und falsch negativen bei Bestimmung des Cut-Off Wertes
Vorgehen entweder
- datenbasiert (ROC-Kurven)
- expertenbasiert (Angoff-Methode)
Je weiter weg ROC-Kurve von Hauptdiagonalen entfernt ist, desto besser diskriminiert der Test zwischen beiden Gruppen
- area under curve (AUC 0-1)
- AUC > .9 sehr akkurat
- AUC .7-.9 mittlere Akkuratheit
- AUC von .5 nutzlos
