Gütekriterien 1 Flashcards
Hauptgütekriterien
Objektivität
Reliabilität
Validität
Objektivität
Bedeutet dass die Testergebnisse eines diagnostischen Verfahrens unabhängig davon sind wer den Test durchführt, auswertet &interpretiert
Durchführungsobjektivität
Durch standardisierte Instruktionen zu Testaufgaben,Antworten auf Rückfragen &zur Gestaltung der Testsituation
Praxisprobleme der Durchführungsobjektivität
Nur gewährleistet wenn sich VL an die Instruktion hält
Einschränkungen der Standardisierung bei Kindern,im hohen Alter&klinische Population (individuelle Lage)
Einschränkungen der Standardisierung durch unzureichendes Training der Testleiter
Welche Schritte gehören zum diagnostischen Prozess?
- Klären der Fragestellung und des Auftrags
- Entwickeln von Psychologischen Fragen (= Hypothesen)
- Planen der Untersuchungsstrategie (Auswahl geeigneter Verfahren)
- Diagnostische Untersuchung
- Bilden des diagnostischen Urteils durch Integration der Einzelbefunde
- Rückmeldung an den Auftraggeber
- (Formulieren von Empfehlungen)
Treffsicherheit diagnostischer Entscheidungen abhängig von:
Gestaltung des diagnostischen Prozesses
Nutzung der richtigen Hinweise
Richtige Aggregation / Verrechnung der Hinweise (siehe klinische vs. statistische Urteilsbildung)
Brauchbarkeit der diagnostischen Instrumente
Symmetrie zwischen Breite der Messung und Breite der Schlussfolgerung
Auswertungsobjektivität durch
exakte Anweisungen zur Auswertung im Manual (gleiches Verhalhalten der Testpersonen wird nach exakt denselben Regeln abgebildet)
Auswertungsschablonen auf Antwortbogen gelegt, korrekte Antworten werden gezählt
Kategoriensysteme bei freien Antworten (offenes Antwortformat)
Praxisprobleme der Auswertungsobjektivität
Beispiele zu richtigen& falschen Antworten häufig sehr unzureichend in Testmanualen dokumentiert
Übertragungsfehler bei manueller Testauswertung mit Auswertungsschablonen
Interpretationsobjektivität
gegeben, wenn unterschiedl. Diagnostiker aus dem diagnostischen Verhalten dieselben Schlüsse ziehen Interpretieren entspricht in diesem Kontext „Rohwert Bedeutung geben“
Informationen zu Art& Benennung des Merkmals sowie zu Ausprägung des Merkmals der Testperson in Relation zu anderen Personen (Normwerte) müssen vorliegen
Notwendigkeit Interpretationsobjektivität
Merkmal eindeutig benennen&beschreiben!
Ausprägung wird festgestellt über Normierung – Normwerte nicht selbsterklärend –Übersetzungshilfe
Praxisprobleme Interpretationsobjektivität
Testmanuale enthalten oft unzureichende Interpretationshilfen zur Einordnung &Interpretation der Testwerte
Unterschiedliche Konvention zur Verwendung von Cut‐off Werten (Eignungs‐, klinische Diagnostik, Forensik)
Reliabilität
Die Reliabilität zeigt die Zuverlässigkeit an, mit der ein Instrument bestimmte Dimensionen misst. Reliabilität ist dann gegeben, wenn ein Instrument bei wiederholter Messung der gleichen Objekte oder Merkmalsträger unter gleichen Bedingungen die gleichen Messergebnisse anzeigt.
Formen der Reliabilität
Paralleltest‐Reliabilität
Retest‐Reliabilität
Testzerlegung: Halbierung, Interne Konsistenz
Paralleltest
Vorgabe paralleler Versionen eines Tests mit ähnlichen, aber nicht identischen Items, die die gleichen Messeigenschaften haben, wie die des 1. Tests (Itemschwierigkeit, Trennschärfe); Korrelation zwischen verschiedenen Formen = Indikator für Reliabilität
in Praxis relativ selten wegen hohen Konstruktionsaufwandes
hilfreich u.a. bei Gruppenuntersuchungen (Verhindern von Abschreiben) oder bei wiederholter Messung
Itemschwierigkeit
gibt an, wie groß der Anteil an Personen ist, die das Item im Sinne des Merkmals bearbeitet haben
Wertebereich Itemschwierigkeit
0&1
Was bedeutet eine Atemschwierigkeit von 0&1?
Personen haben Item gleich beantwortet keine Varianz (unbrauchbare Items), weil Item nicht dazu beiträgt, Unterschiede zwischen Personen aufzuzeigen
Wann ist die Itemstreuung am größten
(p=.5) bei mittlerer Schwierigkeit
Trennschärfe
Die Trennschärfe gibt an, in welchem Ausmaß das Item das Gleiche misst wie der Test bzw. bei mehrdimensionalen Tests die Subskala des Tests. Die Trennschärfe zeigt zudem an, wie gut das Item zwischen Personen mit hoher vs. niedriger Merkmalsausprägung »trennt«.
Wie ist die Trennschärfe eines Item definiert?
als seine Korrelation mit dem Test oder der Skala des Tests, zu der das Item gehört.
Der Test‐ bzw. Skalenwert wird dabei über alle Items mit Ausnahme des analysierten bestimmt (part‐whole‐Korrektur).
Sie ist ein Kennwert dafür, in welchem Ausmaß die durch das Item erfolgte Differenzierung der Probanden in z.B. Löser&Nichtlöser mit derjenigen durch die Skala als Ganzes übereinstimmt.
Retest‐Reliabilität
Retest = Test‐ bzw. Messwiederholung
derselbe Test wird derselben Stichprobe von Probanden wiederholt dargeboten – Korrelation zwischen beiden Vorgaben = Indikator für Retest‐Reliabilität
von Stabilität des Merkmals beeinflusst
relevanter Kennwert bei Einsatz von Verfahren für prognostische Zwecke
Zeitintervall sollte so gewählt werden, dass einerseits noch von Konstanz des erfassten Merkmals ausgegangen werden kann, andererseits aber Erinnerungseinflüsse nicht mehr wirksam sind
Testzerlegung – Split‐Half‐Reliabilität
Test wird nach Durchführung in zwei möglichst äquivalente Hälften aufgeteilt, z.B.
• nach ungerader &gerader Nummer der Items (Odd‐even‐Methode)
• in erste &zweite Testhälfte (nicht bei Zeitbegrenzung oder Sortierung der Items nach Schwierigkeit möglich)
• auf Basis von Itemkennwerten (Bildung von Testzwillingen nach Schwierigkeit und Trennschärfe)
Korrelation der beiden Testhälften unterschätzt Reliabilität (weniger Items werden miteinander korreliert als bei Retest) – daher Spearman‐Brown‐Korrekturformel (Schätzung, wie hoch Reliabilität mit doppelter Itemanzahl wäre)
Testzerlegung Interne Konsistenz
Maximale Testzerlegung: jedes einzelne Item wird als Maß für das zu messende Merkmal aufgefasst – Zuverlässigkeit über Korrelation der Items miteinander geschätzt
Häufig genutzt: Cronbachs Alpha
Cronbachs Alpha
gut zu wissen!
je höher die Iteminterkorrelation ‐> desto höher Alpha ‐> desto höher i.d.R. die Konsistenz des Tests (aber auch abhängig von Itemanzahl, Stichprobenvarianz)
je mehr Items ein Test enthält, desto höher Alpha
weist ein kurzer Test ein sehr hohes Alpha auf, sind die Items redundant
Alpha ist stichprobenabhängig-höhere Varianz in heterogenen SPn führt zu höheren Werten für Alpha
Alpha eines Instrumentes bei empirischen Arbeiten immer gemessen an den eigenen Daten interpretieren
Wann ist Konsistenz akzeptabel
Anwendung .85
Problem Cronbachs Alpha
Alpha ist immer auch ein Maß der Breite/Dimensionalität des Messbereiches (inwiefern messen die Items inhaltlich dasselbe)
Alpha nur dann interpretieren wenn Unidimensionalität gegeben ist
