9. VL: Bestimmung der Güte von Multi-Item-Skalen + Tipps zur Dateneingabe mit SPSS Flashcards
Welche 3 Hauptgütekriterien haben eine zentrale Rolle?
- Objektivität
- Reliabilität
- Validität
Was wird bei der Konstruktion einer Skala angestrebt?
Es wird angestrebt, dass eine Skala bei minimalem Aufwand (Länge, Durchführungs- und Auswertungsaufwand etc.) eine möglichst maximale Qualität aufweist.
Was ist die Objektivität und welche 3 Arten davon gibt es?
Das Ausmass, in dem das Untersuchungsresultat unabhängig ist von jeglichen Einflüssen ausserhalb der untersuchten Person.
- Durchführungsobjektivität
- Auswertungsobjektivität
- Interpretationsobjektivität
Auf was bezieht sich die Durchführungsobjektivität?
Bezieht sich auf mögliche verzerrende Einflüsse aufgrund variierender Untersuchungsbedingungen.
Tipp:
Die Befragung sollte unter möglichst standardisierten Bedingungen durchgeführt werden, um eine hohe Durchführungsobjektivität zu gewährleisten.
Auf was bezieht sich die Auswertungsobjektivität?
Bezieht sich auf mögliche Fehler, die bei der Umsetzung der unmittelbaren Reaktionen der Befragten in Zahlwerte auftreten können.
Tipp:
Möglichst eindeutige Vorgaben zur Dateneingabe und Datentransformation (Umgang mit fehlenden Werten, Kreuzen zwischen Kästchen, Rekodierungen, Klassifikation offener Antworten etc.)
Auf was bezieht sich die Interpretationsobjektivität?
Bezieht sich auf mögliche Unterschiede bei den Schlussfolgerungen der numerischen Befragungsergebnisse in Abhängigkeit von der interpretierenden Person.
Tipp:
Angabe von Vergleichswerten (Mittelwerte, Streuungen & Konfidenzintervalle) und eindeutigen Skalenbeschreibungen.
Was ist die Reliabilität und welche Formen gibt es davon?
Reliabilität = Die Genauigkeit, mit der eine Skala ein Merkmal misst.
oder auch: Die Genauigkeit, mit der eine Skala das misst, was sie misst (unabhängig davon, ob sie das misst, was sie messen soll –> siehe Validität).
- Retest-Reliabilität
- Paralleltest-Reliabilität
- Split-Half-Reliabilität
- Konsistenzanalyse
Wie misst man die Retest-Reliabilität?
Der Fragebogen wird den Untersuchungsteilnehmern nach einem gewissen Zeitintervall erneut vorgegeben.
Die Korrelation der ersten Messung mit der zweiten Messung wird als Index für die Reliabilität des FBs angesehen.
Voraussetzung:
Ist nur sinnvoll bei „stabilen“ Merkmalen und wenn Erinnerungseffekte an die bei der ersten Messung gegebenen Antworten weitgehend ausgeschlossen sind (die Messung soll ja in der Regel kein „Gedächtnis-Test“ sein).
Wie geht man bei der Paralleltest-Reliabilität vor?
Zwei möglichst vergleichbare Fragebögen werden zeitgleich vorgegeben.
Die Korrelation der beiden Fragebögen wird als Index für die Reliabilität angesehen.
Vorteil:
Erinnerungseffekte werden ausgeschlossen.
Nachteil:
Die Konstruktion eines guten, d.h. wirklich „parallelen“ Verfahrens ist sehr aufwändig und schwierig.
Wie geht man bei der Split-Half-Reliabilität vor?
Der Fragebogen wird vorgelegt. Bei der Auswertung werden die Items eines Fragebogens in zwei möglichst äquivalente Teile aufgeteilt.
Die Korrelation zwischen den Antworten auf die beiden Fragebogenhälften wird bestimmt.
Da die Split-Half-Reliabilität im Gegensatz zur Paralleltest-Reliabilität nur auf der Hälfte der Items basiert, zugleich jedoch die Reliabilität mit steigender Itemanzahl wächst, wird hierbei die tatsächliche Reliabilität unterschätzt.
DIE UNTERSCHÄTZUNG DER RELIABILITÄT SOLLTE MITTELS SPEARMAN-BROWN-FORMEL FÜR TESTVERDOPPELUNG KORRIGIERT WERDEN!
Auf was muss VOR der Berechnung der Split-Half-Reliabilität geachtet werden?
Alle Items müssen in die selbe Richtung des zu erfassenden Merkmals gepolt sein!
Hohe Zahlwerte müssen z.B. für jedes Item eine positive Ausprägung des interessierenden Merkmals anzeigen.
Um dies zu erreichen, müssen evtl. einige Items recodiert werden!
Wie setzt sich die Konsistenzanalyse zusammen?
Die Konsistenzsanalyse ist eine Erweiterung der Split-Half-Methode.
Hierbei wird der Fragebogen nicht nur in zwei Hälften unterteilt, sondern jedes einzelne Item als eigenständiger Fragebogenteil („Parallel-Test“) betrachtet und es werden die Zusammenhänge zwischen allen Einzelitems analysiert.
Als Standardmethode zur Berechnung der inneren Konsistenz hat sich der Alpha-Koeffizient nach Cronbach (1951) durchgesetzt. Alpha basiert im Prinzip auf einer „test-längen-korrigierten“ durchschnittlichen Korrelation zwischen allen Items.
Achtung:
Auch vor Berechnung der inneren Konsistenz müssen alle Items in die selbe Richtung des zu erfassenden Merkmals gepolt sein!
Wie soll man die Reliabilitätskoeffizienten beurteilen?
Die Höhe von Reliabilitätskoeffizienten hängt von einer Vielzahl von Faktoren ab:
- Itemanzahl
Je mehr Items eine Skala enthält, desto höhere Reliabilitätskoeffizienten sind bei einer Konsistenzanalyse zu erwarten. - Inhaltliche Heterogenität
Wenn die Items inhaltlich recht heterogen sind, sind niedrigere interne Konsistenzen zu erwarten. - Zeitlicher Abstand
Bei Retest-Methode: Bei geringerem zeitlichen Abstand zwischen den Messungen werden i.d.R. höhere Retest-Reliabilitäten erreicht.
Ob die Reliabilität eines FB als gut oder schlecht anzusehen ist, hängt auch vom Verwendungszweck ab. Wann braucht man welchen Reliabilitätswert?
Für Individualdiagnosen sollten sehr hohe Reliabilitätswerte erreicht werden (möglichst > .90).
Für Gruppenvergleiche werden hingegen Reliabilitäten > .70 oft schon als befriedigend und > .80 als gut bewertet.
Um eine „optimale“ Skala zu konstruieren, sollte man auch immer die Gütekriterien der einzelnen Items analysieren. Welche Gütekriterien von Einzel-Items gibt es?
- Itemschwierigkeit
- Item-Trennschärfe
- Item-Varianz
- Item-Standardabweichung
- Reliabilitätsindex
- Cronbachs Alpha
