Urteile&Entscheidungen Flashcards
Fehler=
Zuordnung aufgrund der Prädiktorvariable stimmt nicht mit tatsächlichen Klassenzugehörigkeit überein
True Positiv
Zuordnung ja
Realität ja
False Positive
Zuordnung ja
Realität nein
False Negative
Zuordnung nein
Realität ja
True Negative
Zuordnung nein
Realität nein
FP =
Fehler 1. Art, d.h. Personen werden als krank/hochbegabt/geeignet bezeichnet, obwohl sie eigentlich nicht krank/nicht hochbegabt/ungeeignet sind
FN =
Fehler 2. Art, d.h. Personen werden als nicht krank/ nicht hochbegabt/ ungeeignet klassifiziert, obwohl sie eigentlich krank/hochbegabt/geeignet sind.
Die Sensitivität eines Tests meint
die Wahrscheinlichkeit mit der ein vorliegender positiver Zustand (im Sinne von krank, hochbegabt, geeignet) als solcher erkannt wird.
Die Spezifität eines Tests meint
die Wahrscheinlichkeit mit der ein vorliegender negativer Zustand (im Sinne von nicht krank, nicht hochbegabt, ungeeignet) als solcher erkannt wird.
Der Positive Prädiktionswert eines Tests meint
den Anteil der „richtig positiv“ beurteilten (TP) an allen positiv beurteilten (positiv im Sinne von krank, hochbegabt, geeignet usw., d.h. TP+FP).
Der Negative Prädiktionswert eines Tests meint
den Anteil der „richtig negativ“ beurteilten (TN) an allen negativ beurteilten (negativ im Sinne von nicht krank, nicht hochbegabt, ungeeignet usw., d.h. TN+FN).
Spezifität Berechnung
TN/(TN+FP)
Sensitivität Berechnung
TP/(TP+FN)
Positive Produktionswert Berechnung
TP/(TP+FP)
Negativer Produktionswert
TN/(TN+FN)
Strategien im Umgang mit Fehlern
Abwägen, wie gravierend jeder der beiden Fehler ist
Hohe Sensitivität oder hohe Spezifität besonders wichtig?
Kosten/Nutzen für Individuum, Institution, Gesellschaft
Entscheidung endgültig oder revidierbar? (z. B. erneute Untersuchung nach Therapie oder Training)
Was tun?
Validität des Messinstrumentes erhöhen (mehr richtige/wahre diagnostische Urteile)
Cut‐off Werte (kritische Werte) verschieben und Wahrscheinlichkeit eines bestimmten Fehlers damit minimieren
Test mit höherer Validität
→ starke Differenzierung
Test mit geringerer Validität
Differenziert nicht
Erhöhung der Sensitivität
Cut off verringern
Erhöhung der Sensitivität
Cut off erhöhen
ROC‐Kurve
Receiver Operating Characteristic Curve (ROC)
zeigt Verhältnis zwischen Sensitivität und Spezifität für alle mögl. Schwellenwerte an
Fläche unter der Kurve gibt Auskunft über Güte des Tests.
Je größer Fläche, desto besser Test.
Bei einem optimalen Test würde sowohl eine Sensitivität als auch eine Spezifität nahe 1 zu erwarten sein. Die Fläche unter der ROC‐Kurve wäre maximiert.
nutzloser Test hat Flächenanteil nahe 0,5 (entspricht Diagonale) ‐ Vorhersagegüte des Tests liegt dann im Zufallsbereich.
Was zeigt die ROC Kurve an
zeigt Verhältnis zwischen Sensitivität und Spezifität für alle mögl. Schwellenwerte an
Worüber gibt die Fläche unter der Kurve Auskunft?
Fläche unter der Kurve gibt Auskunft über Güte des Tests.
Je größer Fläche, desto
besser Test.
Bei einem optimalen Test würde
sowohl eine Sensitivität als auch eine Spezifität nahe 1 zu erwarten sein. Die Fläche unter der ROC‐Kurve wäre maximiert.
nutzloser Test hat Flächenanteil nahe
0,5 (entspricht Diagonale) ‐ Vorhersagegüte des Tests liegt dann im Zufallsbereich.
Je niedriger der schwellenwert desto
höher Sensitivität&Quote falscher Alarme (d.h. niedrige Spezifität)
Youdens J-Index
J= Sensitivität+spezifität -1
Selektionsrate
Selektionsrate versteht man den Anteil der ausgewählten (positiv beurteilten) Personen unter allen Bewerben.
Selektionrate berechnen
(TP+FP)/(TP+FP+TN+FN)
Trefferquote
Unter der Trefferquote (= Positiver Prädiktionswert) versteht man den Anteil der ausgewählten (als geeignet beurteilten) Personen unter den tatsächlich geeigneten Bewerbern.
Trefferquote hängt ab von:
Validität des Auswahlverfahrens (je höher, desto besser) Selektionsrate (je kleiner, desto besser)
Basisrate (je höher, desto besser
Erhöhung der Spezifität
Selektionsrate verkleinern
Verdichtung und Integration von Daten
Ziel = Zusammenfassung von Einzelinformationen/Indikatoren
Überlegungen zu Gewichtung und Verknüpfung anstellen Gewichtung:
Gleichgewichtung oder unterschiedliche Gewichtung (wenn theoretisch oder empirisch gut begründbar!)
Verknüpfung:
additiv, disjunktiv, konjunktiv
Entscheidungsstrategien
Kompensatorisches Modell (additive Verknüpfung)
Oder‐Konzept (stark disjunktive Verknüpfung)
Und‐Konzept (stark konjunktive Verknüpfung)
Kompensatorisches Modell (additive Verknüpfung)
häufigste Entscheidungsstrategie
Lineare Kombination von Prädiktionsmesswerten (z.B.
Regressionsanalyse)
ein und derselbe Messwert kann durch verschiedene Merkmalskonfigurationen in Einzeltests erreicht werden
niedrige Leistungen in einem Test können durch hohe Leistungen in anderen Tests wett gemacht werden
Verrechnungsvorschriften müssen empirisch begründet sein oder auf Anforderungsanalyse beruhen
einfache Gewichtung vs. empirische Gewichtung
Oder‐Konzept (stark disjunktive Verknüpfung)
Es muss keine Summe der Teilkomponenten gebildet werden, es genügt entsprechend hoher Punktwert in einem der beiden Prädiktoren
dann angemessen, wenn die im Kriterium geforderte Leistung entweder auf die eine oder andere Weise erbracht werden kann.
in beiden Prädiktoren bestehen also Mindestanforderungen, der Kandidat muss aber nur in einem dieser Prädiktoren diese Anforderungen erfüllen
Und‐Konzept (stark konjunktive Verknüpfung)
Kompensatorische Entscheidungen sind dort unangemessen, wo in jedem Teilbereich bestimmte Mindestanforderungen vorliegen müssen.
Leistungen in dem einem und dem anderen Bereich nötig: konjunktive bzw. „und“‐Strategie
Explizite Annahme, dass ein Merkmal nicht kompensierbar ist
Klinische Urteilsbildung
Einzelinformationen werden intuitiv auf Basis subjektiver Erfahrungen kombiniert
Entscheidungsregeln intransparent
Statistische Urteilsbildung
Einzelinformationen werden nach einer (empirisch abgeleiteten) Formel verrechnet
Entscheidungsregeln transparent
Unterlegenheit klinischer
Urteilsbildung vor allem:
• bei medizinisch/psychologisch‐forensischen Kriterien
• wenn Urteil auf Interviewdaten beruht
Gründe : u.a. Verwendung von Heuristiken, invalides Gewichten der Einzelinfos
