Entscheidungsfehler und Festzetzung von Testtrennwerten

Question 1

Fehler bei der Klassenzuordnung

Answer 1

liegen immer dann vor, wenn die Zuordnung auf Grund der Prädiktorvariablen nicht mit der tatsächlichen Klassenzugehörigkeit übereinstimmt

• Alpha-fehler = fehler erster Art = falsch Positiv
• Beta-Fehler = Fehler zweiter Art = falsch negativ

Question 2

Gütekriterien der Entscheidungsstrategie bei der Zuordnung

Answer 2

Sensitivität
Spezifität
Postiver Prädiktionswert
Negativer Prädiktionswert

Question 3

Sensitivität

Answer 3

Warscheinlichkeit, mit der ein vorliegender negativer Zustand als solcher erkannt wird
-> wieviele von denen die krank sind, werden richtig als krank diagnostiziert?
Anteil der richtig diagnostizierten TP in der gruppe der Kranken (TP+FN) => TP/TP+FN

Question 4

Spezifität

Answer 4

Von allen die gesund sind, wieviele werden als gesund diagnostiziert?
Anteil der richtig diagnostizierten gesunden in der Gruppe der Gesunden => TN/TN+FP

Question 5

Postiver Prädiktionswert

Answer 5

Anteil der richtig diagnostizierten kranken, innerhalb der diagnostizierten Kranken
=> TP/FP+TP
dieser Wert bestimmt auch die Effizienz der Auslese, also Anteil der Geeigneten an allen Ausgewählten

bei Veränderung des Testtrennwertes hin zu einem poitiven Prädiktionswert von 1, wären alle im Test Ausgewählten auch tatsächlich erfolgreich.
–> aber das ist auch abhängig von der Basisrate
je niedriger die Basisrate, umso höher müsste der Cut-off sein um einen höchstmöglichen positiven Prädiktionswert zu erzielen

Question 6

Negativer Prädiktionswert

Answer 6

Anteil der richtig diagnostizierten Gesunden innerhalb der als Gesund diagnostizierten Personen
TN/TN+FN

Question 7

Basisrate und weche Auswirkung hat sie auf den Testtrennwert bzw. die Signifikanz?

Answer 7

Das Verhältnis der im kriterium erfolgreichen Probanden zur Gesamtzahl aller Messwertträger:
TP+FN/N
–> Bedingte Fehlerzuordnungswarscheinlichkeit: die warscheinlichkeit für Alpha und Beta Fehler müssen auf die Basisrate relativiert werden

Question 8

Welche Arten von Entscheidungsregeln bieten sich an, um den fehler bei zuordnungsverfahren gering zu halten?

Answer 8

• Neyman-Pearson-Kriterium: analog zu Hypothesenprüfung eird das Entscheidungskriterium so verschoben, dass das Risiko für den fehler erster Art unterhalb eines frei bestimmbaren Wertes liegt (ist nur zu wählen, wenn der Beta-Fehler keine gravierenden Auswirkungen hat)
• Minimax-Kriterium: maximaler Zuordnungsfehler wird möglichst klein gehalten, d.h. der betrag des größten zuordnungsfehlers aller Klassen/kategorien7Gruppen ist am geringsten
• Minimum Loss-Kriterium: minimiert die zuordnungsfehler über alle klassen hinweg

Question 9

Wie lassen sich Spezifität und Sensitivität unabhängig von der Basisrate für verschiedene Testtrennwerte bestimmen?

Answer 9

Receiver-Operating-Characteristics- Kurve
ROC-Kurve
-> wenn die Verteilungswerte der unterschiedlichen Gruppen bekannt sind
Auf der X-Achse ist nicht die Spezifität, sondern die Rate der Falsch positiven, also 1-Spezifität, abgetragen