8. VL: Reliabilität 3: Interrater-Reliabilität und Validität 1: Inhalts- und Kriteriumsvalidität Flashcards
Welche beiden Arten von Daten gibt es?
Welche Vorgehensweisen werden dabei angewendet?
- Quantitative Daten: Fragebogen / Tests mit Skalen
- Qualitative Daten: offene Fragen / Interview
Vorgehensweise: Top-down vs. Bottom-up
Was ist der Hauptvorteil an qualitativen Daten?
Was ist der Hauptnachteil an qualitativen Daten?
Qualitative Daten:
Vorteil: Erfassen, was nicht direkt gesagt wird, Phänomene im Kontext
Nachteil: Überlegen was und wie man fragt, Transformation der unstrukturierten, freien Antworten in quantitaitive Teile = Kodieren der Daten sehr schwer
Wie können qualitative Daten kodiert werden?
Antworten mit Hilfe eines Kodiersystems quantifizieren:
- mit bereits vorhandenem Kodiersystem
- Entwicklung eines neuen Kodiersystems
Merke: Der Vorteil an einem bereits vorhandenem ist, dass es bereits in mehreren Versuchen ausprobiert wurde. Bsp. Facial Action Coding Sytsem (Ekman & Fries)
Durch welche beiden Wege kann ein neues Kodiersystem entwickelt werden?
- Topdown (deduktiv / theoretischer Ansatz)
2. Bottomup (induktiver / empirischer Ansatz)
Erkläre das Vorgehen beim Top-Down Ansatz in der Entwicklung eines neuen Kodiersystems!
- Theoriegeleitete Kategorie bilden
- Material lesen - sind Kategorien brauchbar?
- Überarbeitung des Kodiersystems
- Training und Testphase
- Kodieren
(Zuerst Theorie, dann Kodieren)
Erkläre das Vorgehen beim Bottom-Up Ansatz in der Entwicklung eines neuen Kodiersystems!
Kodiersystem entsteht erst beim Durchlesen der Daten oder man bemerkt nachtäglich, dass etwas mit dem Kodiersystem ursprünglich nicht eingefangen wurde.
Erkläre die beiden Vorgehensphasen der Kodierung der Daten. Auf was müssen die Kodierer besonders achten?
- Trainingsphase:
- genügend Material notwendig
- System anpassen mittels Feedback der Kodierer (unklare Kategorien besprechen)
- gute Übereinstimmung der Kodiere finden - Kodierphase:
- unabhängiges kodieren (nicht mehr ansprechen)
- nichts über die Hypothesen wissen
- für Auswertung nachträgliche Aussprache
- ABER: für die Schätzung der Reliabilität benötigt man ursprüngliche Bewertung
Anzahl Rater: Um Reliablität zu schätzen, benötigt man mindestens zwei unabhängige Kodierer. (mind. 20-25% der Pbn)
Welche Methoden zur Berechnung der Interrater-Reliabilität kennst du? Welche Skalenniveau haben sie?
a) Prozentualen Übereinstimmung (nominal)
b) Cohen’s Kappa (nominal)
c) Interrater-Korrelation (intervall)
d) Intraclass-Korrelation (intervall)
Beschreibe a) die Methode der Prozentualen Übereinstimmung!
Was ist das Problem dabei?
Einfacher Index der prozentualen Übereinstimmung der Kodierung bei nominalen (kategorialen) Skalen.
Beispiel: Beobachter machen Striche wenn sie Kind beobachten. Übereinstimmung der Striche aller Beobachter ausschlaggebend.
Intervall kann zeitlich aber auch mit Sätzen oder anderen Einheiten sein.
Problem: Nicht sensibel für das Ausmass der Übereinstimmung. Sehr anfällig für zufällige Übereinstimmung!
Beschreibe b) die Methode des Cohen’s Kappa.
Welche Werte kann Kappa annehmen?
Welche Wert können wie interpretiert werden?
Proportion prozentualer Übereinstimmung! Korrektur angewendet um die Übereinstimmung durch Zufall zu umgehen (siehe a)
–> Beste Methode für den Grad der Übereinstimmung
Beispiel: 2 Schichtleiter beurteilen 20 Arbeiter nach 3 Verhaltenskategorien.
Kappa kann Werte zwischen -1 = weniger als per Zufall, 0 = wenig Übereinstimmung und 1 = perfekte Übereinstimmung annehmen.
Allgemein gilt:
Kappa .75 sehr hohe Übereinstimmung
Beschreibe c) die Methode der Interrater Korrelation.
Was ist das Problem dabei?
Relative, Proportionale Übereinstimmung bei intervallskalierten Daten. Es geht um die Konsistenz in den Mustern der Ratings (höhe spielt keine Rolle).
Beispiel: 2 Rater kodieren einige Textpassagen im Bezug auf die Emotionalität.
Problem: Korrelation zeigt nur Muster auf und nicht die absolute Übereinstimmung. Wollen die Rater mit denselben Zahlen auch dasselbe ausdrücken?
Beschreibe d) die Intraclass Korrelation (ICC)
Erweiterung der Varianzaufteilung der KTT, d.h nebst dem Zufallsfehler werden auch systematische Fehler berücksichtigt. Mit dem ICC können systematische Fehler (z.B Varianz der Rater) herauspartialisiert werden.
Beispiel: 5 Rater beurteilen 10 Essays von Studenten.
Wie kann die Interraterreliabilität verbessert werden?
- Genaues Nachvollziehen, wo die Probleme liegen, Verbessern der Raterleistung
- Angleichen des Hintergrundes der Rater (Homogenisierung der Rater)
- Ausschluss von Rater, deren Werte sich von der Mehrheitsmeinung unterscheiden.
- Vereinfachung der beteiligten Informationsverarbeitungsprozessen.
- Veränderung der Skalenbeschreibung (Zwischenstufen mit Zahlen beschriften, Intervallskala besser als dichotom)
- Beispiele dafür, was gemeint ist und was nicht gemeint ist
- Beurteilung Merkmal für Merkmal (mehrere Durchgänge)
- Angleichen der Art, in der Beurteilungsobjekte präsentiert werden
- Erhöhung der Varianz
- Prozentsatz der von beiden / allen Ratern kodierten Pbn erhöhen
Wenn ein Test hohe Validität hat dann kann man…
.. 1. vom beobachteten Verhalten innerhalb der Testsituation auf das Verhalten ausserhalb der Testsituation schliessen
.. 2. vom beobachteten Verhalten innerhalb der Testsituation auf Fähigkeiten, Dispositionen, Persönlichkeit als Grundlage für das Verhalten schliessen.
Was ist Validität und zu welchen Zwecken können die Ergebnisse interpretiert werden?
Validität ist das wichtigste Gütekriterium! Gibt an, ob die Interpretation und Schlüsse des Tests valide sind.
Interpretation der Testergebnisse kann folgendes bezwecken:
- Bewerten: Vergleich mit der Leistung von anderen Pers.
- Verallgemeinerung: auf ähnliche Aufgaben, Situationen
- Extrapolieren: auf andere Bereiche ausserhalb (hochrechnen)
- Erklären: Annahme über Konstrukt und Prozesse
- Entscheidungen: für was sich jemand eignet
