VL 10 Flashcards
Arten von diagnostischen Entscheidungen
Status vs. Veränderungs(Prozess)diagnostik:
- Diagnostik oft zum prüfen ob Intervention nötig -> Eingangsdiagnostik
- Erfassen des aktuellen Standes -> Statusdiagnostik
- Evaluation der Intervention als Erfolgskontrolle (Ziel erreicht?) -> Prozessdiagnostik (kontinuierliche Erfassung zu ändernden Merkmale und ggf Anpassung der Intervention)
Selektions- vs. Modifikationsdiagnostik:
• Selektion: Suche nach Passung von Personen und Bedingungen bei vielen diagnostischen Fragestellungen (zb Stellenbesetzung)
• Modifikation: Welche Merkmale der Person oder Bedingungen müssen verändert werden, um Passung herzustellen
Klinische vs. Mechanische/statistische Urteilsbildung:
• Klinische Urteilsbildung: Individuelle Urteile von Diagnostikern
• Mechanische Urteilsbildung: Daten werden nach einer Formel verrechnet, die zuvor aus emp. Daten abgeleitet wurde
• Wenn diese Formel durch statistische Analysen begründet wird = statistische Urteilsbildung
Goldberg-index: statistische ist klinischer Urteilsbildung durch Experten überlegen (Trefferquote 74% vs. 68% (nicht soo stark))
-> statistische Urteilsbildung überlegen aber nur sehr kleiner Effekt
Statistische Urteile sind besonders überlegen, wenn:
• Vorhersage von Gewalttätigkeit
• Statistische Regressionsmodelle
• Kliniker zusätzliche Infos erhalten (d= .13 vs. d= .06 wenn gleiche Informationen vorliegen)
• Kliniker die statistische Formel kennen (d=.14 vs. d=.09 bei unbekannter Formel)
Probleme klinischer Urteilsbildung:
• Menschen ignorieren oft Basisrate
• Falsche Gewichtung von Infos: stärkere Berücksichtigung von Infos, die leicht verfügbar sind → ››Availability-Heuristik‹‹
• Vernachlässigung der Regression zur Mitte
Grenzen der statistischen Urteilsbildung:
• Statistische Vorhersage ist keine Universallösung
• Statistisches Urteil kann nur auf Daten basieren, die für alle Probanden vorliegen
• Anwendung nur eines Tests zur Urteilsfindung ist unrealistisch
• Oft keine einschlägigen Forschungsergebnisse, die Verrechnungsformel begründen könnten
In Praxis:
- 98% nutzen Formen klinischer Urteilsbildung
Gründe:
• Statistisches Urteilsmodell nicht verfügbar (40 %)
• Nicht gut genug mit der Methode vertraut, um sie bequem anzuwenden (36 %)
• Kann nicht alle Faktoren berücksichtigen, die für ein Urteil nötig sind (32 %)
• Glaube nicht, dass die Methode so genau ist wie andere (32 %)
• Zu teuer (27 %)
• Ineffizient (23 %)
Anwendungsvorschläge:
• Vorteile und Chancen beider Urteilsmodelle nutzen
• Vorzugsweise statistische Vorhersagemodelle statt klinischer nutzen, aber ihnen nicht blind vertrauen
• Statistische Modelle nutzen, die empirisch gut überprüft sind
• Kontinuierliche Prüfung und Verbesserung der Modelle
• Verwendung ››intelligenter‹‹ statistischer Methoden
Entscheidungsstrategien
Kompensatorische Modelle:
• Prädiktoren können sich gegenseitig ausgleichen
• Gesamtwert der Prädiktoren wird berechnet
• Merkmale können gleich oder unterschiedlich gewichtet sein — optimale Gewichtung kann z.B. mit multipler Regression ermittelt werden
• Vorgehen ist nicht immer sinnvoll: Pilot kann mangelnde Konzentration nicht mit gutem Sehvermögen ausgleichen
Disjunktive Strategien:
• muss kein Gesamtwert berechnet werden („Oder Strategie“)
• genügen entsprechend hohe Punktwerte in einem der Prädiktoren
• Sinnvoll, wenn die durch das Kriterium geforderte Leistung entweder auf die eine oder auf die andere Weise erbracht werden kann
Grenzen Kompensatorischer und Disjunktiver Modelle:
• Modelle sind dysfunktional: wenn in jedem Teilbereich best. Mindestleistungen unabdingbar vorliegen müssen
• Beispiel PilotIn: Fehlende Sehtüchtigkeit kann nicht durch gute räumliche Orientierung kompensiert werden
Konjunktive Modelle:
• Standard
• Forderung nach Mindestleistungen in allen Bereichen
• Multiple Cutoff-Modell
• „Und“ Strategie
• In beiden Prädiktoren muss Mindestwert erreicht werden
• Konservativeres Vorgehen - Anforderungen für Zulassung sind höher
Ein- vs. Mehrstufige Entscheidungsstrategien:
Einstufiges Vorgehen:
Single Screen: Auf einem diagnostischen Verfahren allein fussen alle weiteren Entscheidungen
Nichtsequentielle Batterie
• Gesamte Batterie der diagnostischen Verfahren wird an alle Personen vorgegeben
• Es werden diejenigen ausgewählt, die nach zugrunde gelegten Entscheidungsmodell die höchsten Werte erzielen
Sequentielles Vorgehen:
Vorauswahl-(Pre-reject) Strategie:
• Nach ersten Test werden alle Personen, die Mindestwert nicht erreichen, von weiteren Untersuchungen ausgeschlossen
• Entscheidung über Annahme/Ablehnung wird aus Kombi zw. Erst- und Folgetests getroffen
Vorauswahl-(Pre-accept)Strategie:
• Nach ersten Test werden alle Probanden, die Mindestwert überschreiten, terminal akzeptiert
Vollständig sequentielle Strategie:
• Kombi der Vorauswahl- und Vorentscheidungs-Strategie
• Anhand eines Testergebnisses erfolgt eine Zuteilung zu: terminal akzeptiert, terminal abgewiesen und Folgetests
Ein vs. Mehrstufiges Vorgehen:
• Sequentielle Strategien meist überlegen
• Aber: Kopplung an Nutzenüberlegungen
• Vergleich von Gewinn durch Identifizierung von Bestgeeigneten mit Kosten des Auswahlverfahrens
Cut-Off
• Fehler des Tests immer gleichgross egal wo Cut-Off liegt
• Zentrale Aufgabe von Zuordnungsstrategien: Vermeidung von Fehlern bei Klassenzuordnung
Zuordnungsentscheidungen:
- True Positive
- False Negative -> Beta Fehler
- False Positive -> Alpha Fehler
- True Negative
• Fehler 1. Art: FP = falsche Positive (α-Fehler) -> als krank diagnostiziert, obwohl sie gesund sind
• Fehler 2. Art: FN = falsche Negative (β-Fehler) -> als gesund diagnostiziert, obwohl sie krank sind
Gütekriterien einer Entscheidungsstrategie:
• Sensitivität: WSK, mit der vorliegender positiver Zustand erkannt wird (RP)
- 1-Sensitivität: Verpasserquote (FN)
• Spezifizität: WSK, mit der ein vorliegender negativer Zustand erkannt wird (RN)
- 1-Spezifität: Quote falscher Alarme (FP)
• Positiver Prädiktionswert: WSK, mit der positive Diagnose zutreffend ist (RP)
• Negativer Prädiktionswert: WSK, mit der negative Diagnose zutreffend ist (RN)
Empirische Festlegung des Trennwerts:
• In vielen Fällen nicht klar, ob Sensitivität oder Spezifität zu priorisieren sind
• Dann Cut-off-Wert wählen, der beides optimiert
-> in Klinik besser zuerst sehr sensitive Tests -> zwar viele falsch positive aber dann später bei Experten mehr auf Spezifität setzen um richtig zu trennen
• Als grafische Entscheidungshilfe kann ROC-Kurve erstellt werden (Receiver Operating Characteristic)
ROC - Kurve:
• Je weiter beiden Verteilungen auseinanderliegen, desto eher verlaufen ROC-Kurven an linken oberen Ecke
• Würden die Verteilungen vollständig übereinanderliegen, verliefe die ROC-Kurve auf der Diagonalen
• In diesem ungünstigen Fall würde jede Verbesserung der Spezifität linear, in gleichem Masse zu Verschlechterung der Sensitivität führen
Beachte:
• Sensitivität und Spezifität lassen sich unabhängig von Grundraten oder Prävalenz bestimmen
• Aber: Prädiktionswerte hängen von Grundraten ab
• Durch Verringerung der Grundrate des zu entdeckenden Zustands verschlechtert sich der positive und verbessert sich der negative Prädiktionswert -> weniger hits aber mehr correct rejections
Taylor-Russell-Tafeln (1939):
• um Trefferquote eines Instruments in Abhängigkeit von Validität des Instruments, Selektionsrate und Basisrate zu bestimmen
• je höher Basisrate, desto höher Erfolgsrate
• je niedriger Selektionsrate, desto höher Erfolgsrate
• niedrige Basisrate in Kombi mit hohen Selektionsquote erfordert hohe Validität des Verfahrens
