Teil 3 - Validität und diagnostische Entscheidung, Nebengütekriterien Flashcards
Cut-Off Werte
- festgelegter Testtrennwert (z.B. Trennung von kranken und gesunden Personen)
- Dadurch lassen sich: Effektivität, Sensitivität und Spezifität bestimmen
- der cut-off-Wert teilt eine Stichprobe in Gruppen auf
Reliabilität, Validität und diagnostische Entscheidung
Ergebnisse diagnostischer Verfahren werden häufig zu Platzierungs oder Klassifizierungsentscheidungen herangezogen
Voraussetzung: Bestimmung von Cut-off-Werten:
(festgelegter Testtrennwert, der z. B. kranke Personen von gesunden
Personen hinsichtlich des zu testenden Merkmals trennt und somit eine
Interpretation des Testergebniswertes ermöglicht)
-Effektivität
-Sensitivität
-Spezifität
Generelles Problem der Diagnostik: Das Setzen von Cut-Off-Werten
Beispiel: Wo fängt Minderbegabung an?
-Grenzgänger sind am häufigsten
* Die Diagnose ist am wenigsten sicher
* Je sicherer die Diagnose, je stärker das Symptom, desto seltener der Fall
Entscheidungsfehler
Es gibt zwei Arten von Zuordnungsfehlern:
1. Fehler erster Art (alpha): fp= falsch positiv -> Personen werden als geeignet bezeichnet, obwohl sie ungeeignet sind
2. Fehler zweiter Art (beta): fn = Falsch negativ -> Personen werden als ungeeignet diagnostiziert, obwohl sie eigentlich der geeigneten Gruppe angehören
Effektivität
Verhältnis von erreichtem Ziel zu definiertem Ziel in % (Zielerreichungsgrad)
(rp + rn / Gesamtanzahl (=rp+fn+fp+rn)) mal 100
Sensitivität
Richtig-positiv Rate oder Trefferquote
-gibt den Anteil der korrekt als positiv klassifizierten Objekte ander Gesamtheit der tatsächlich positiven Objekte an
rp/rp+fn mal 100
Ergebnis: zu wie viel Prozent identifiziert der Test die Geeigneten korrekt
Spezifität
- Richtig-Negativ-Rate, kennzeichnende Eigenschaft
- Anteil der korrekt als negativ klassifizierten Objekte an der Gesamtheit der in Wirklichkeit negativen Objekte an
rn/rn+fp mal 100
Ergebnis: zu wie viel Prozent identifiziert der Test die nicht Geeigneten korrekt
Cut-Off-Wert beeinflusst Spezifität und Sensivität
- Verbesserung der Spezifität: Verschiebung des Cut-Off in den Bereich der Eignung rp
-> Die Wahrscheinlichkeit mehr rp in der Gruppe zu haben sinkt, die Wahrscheinlichkeit für rn steigt
Je höher die Spezifität, desto sicherer werden alle rn erfasst
Aber: es kommen auch viele falsch negative dazu
- Verbesserung der Sensitivität: Verschiebung des Cut-Offs in den Bereich der Nicht-Eignung (rn)
-> Die Wahrscheinlichkeit mehr rp in der gruppe zu haben steigt, die Wahrscheinlichkeit von rn sinkt.
Je höher die Sensitivität desto sicherer werden alle rp erfasst.
Aber: es kommen auch viele falsch positive dazu
Was ist schlimmer? falsch negativ vs. falsch positiv:
Will ich die Schüler frustrieren, indem ich die nicht in die nächste Klasse lasse, dann cut off-Wert weiter oben
Will ich versuchen alle unterzubringen mit der Gefahr, dass man am Ender der 2.Klasse sagen muss, sie haben es nicht geschafft?
Verhälrnis von Spezifität und Sensitivität
- Ein Konzentrationstest (KT) wird zur Diagnose von ADHS durchgeführt.
- Ergebnis: Alle Kinder mit ADHS liegen unter dem Cut-Off-Wert im KT
-> Hohe Sensitivität der KT
Aber: viele Kinder ohne ADHS liegen auch unter dem Cut-Off-Wert .
-> Geringe Spezifität des KT
man kann also aus hoher Sensitivität nicht schließen, dass der Test geeignet
Normwerte
Nebengütekriterien
- Vergleich von Ergebnissen diagnostischer Instrumente mit denjenigen
einer Referenzpopulation (z.B. Ergebnis eines Intelligenztests von
Schüler A mit der durchschnittlichen Intelligenz der Normalbevölkerung oder Abiturienten). - Die Normierung gibt an, für welche Zielgruppe dieser Test ein gültiges
Messinstrument sein soll.
-> Auswertekriterien für 7-jährige Schulkinder müssen anders sein als die
für 14-jährige Testteilnehmer.
Beispiel: IQ-Test: Schüler 7 Jahre: 60 von 100 Punkten, IQ= 110
Schüler 14 Jahre: 60 von 100 Punkten, IQ = ??
Wichtig bei Normierung!
Nebengütekriterien
- Einstichporbe muss repräsentativ sein (Faktoren: Alter, Geschlecht, soz. ökonom. Status, Religion, Wohnortgröße, Region usw.)
- Einstichprobe muss ausreichend groß sein
- Je größer die Stichprobe desto größer ist die Wahrscheinlichkeit die Verteilung wirklich abzubilden (vgl. Brillenträgergruppe: zufällig viele Brillenträger verzerren den Wert)
- Einstichproben sind spezifisch für Altersgruppen zu erstellen -> man kann aus den Ergebnissen einer Altersgruppe nicht auf die einer anderen schließen
z.B. WISC
->1650 Versuchspersonen
-> wenn man das auf einzelne Altersgruppen runterbricht, sind es nicht viele Personen
->67 Jungen stehen für alle 6 jährigen Jungen in Deutschland
Normierung: Einflussfaktoren
-Kultur
-Zeit
-gesellschaftliche Veränderungen
-Übersetzung in andere Sprachen
Wichtig bei der Auswahl von Tests
- Für welche Referenzgruppen (Alter, Geschlecht, Bildung, Berufe usw.)
liegen Normen vor? - Wie groß und wie repräsentativ sind die Eichungsstichproben?
- Wie aktuell sind die Normen?
- Welche Art der Normierung liegt vor?
- (Alters-)Äquivalentnormen
- Abweichungsnormen (meist bezogen auf eine Normalverteilung)
- Prozentrangnorm
Normskalen
Die aus der Testauswertung resultierenden Rohwerte sind für sich
genommen zunächst nicht aussagekräftig, da sie von den verwendeten Items abhängen.
* 38 richtige Aufgaben im IQ-Test
* 12 gelöste Aufgaben von 25 im Mathetest
* 70% gelöste Aufgaben im Vokabeltest
-> Ist das gut oder schlecht?
Um eine eindeutige Aussage über die individuelle Merkmalsausprägung treffen zu können, wird zusätzlich zum Testwert
ein Vergleichsmaßstab benötigt, anhand dessen der Testwerteingeordnet bzw. interpretiert wird: Normskalen.
Normskalen: Normen durch Transformation
Beispiel: Bei der Diagnose von Legasthenie gilt: die Lese- / Rechtschreibfähigkeiten müssen mindestens 1,3 SD (Standardabweichung) unter der
Intelligenzleistung liegen.
Kind: IQ = 110, SD = 15
Rechtschreibtest = 40 von 60 Punkten, SD = 8
Legasthenie ??
Lösung: Transformation der Normwerte in eine gemeinsame Skala =
Normskala
Normenskalen mit Verteilungsannahme: IQ, Z-Werte, T-Werte
Ermöglichen den Vergleich von mehreren Tests mit unterschiedlichen
Mittelwerten, Varianzen oder Standartabweichungen.
* Voraussetzung: Annahme, dass die Fähigkeit normal verteilt ist
- Meist in Population, nicht in Stichprobe!
- Wenn aus Stichprobe z.B. z Werte berechnet werden, dann muss
auch in der Stichprobe Normalverteilung vorliegen.
Skala:
z-Werte: M: 0, S:1, üblicher Bereich: -3 bis +3
IQ-Werte: M:100, S:15, ü.B.: 0 bis 145
T-Werte: M:50, S:10, ü.B.: 0 bis 80
PISA: M:500, S:100, ü.B.:-
