Vorlesung 4 Flashcards
Messungen sind ein zentrales Instrument zur Gewinnung von Erkenntnissen. Was gilt dabei?
- Messungen sollen so präzise wie möglich sein.
- Die Güte der Messung beeinflusst maßgeblich die „Belastbarkeit“ der Schlussfolgerung.
- Die Güte der Messung wird selbst quantifiziert, um Interpretationen von Ergebnissen ableiten zu können, die mit wissenschaftlichen Verfahren gewonnenen wurden (die Güte der Messung wird gemessen).
Nennen Sie die Gütekriterien für diagnostische Verfahren?
Hauptgütekriterien:
- Objektivität
- Reliabilität
- Validität
- Normierung
Nebengütekriterien:
- Ökonomie
- Zumutbarkeit
- Vergleichbarkeit / Fairness
- Unverfälschbarkeit
- (praktische) Nützlichkeit
Beschreiben Sie das Gütekriterium “Objektivität”.
Maß der Unabhängigkeit der Erhebungsergebnisse von der untersuchenden Person und von der Untersuchungssituation Störeinflüsse können sich z.B. durch die erhebende Person (z.B. Verhalten gegenüber der Testperson) oder situative Bedingungen (z.B. Lärm, Lichtverhältnisse) ergeben.
Nennen Sie unterschiedliche Bereiche der Objektivität.
- Durchführungsobjektivität
- Auswertungsobjektivität
- Interpretationsobjektivität
Beschreiben Sie die Durchführungsobjektivität.
- Die Durchführung einer diagnostischen Untersuchung darf nicht von Untersucher zu Untersucher variieren.
- Wird z.B. gewährleistet durch konstante Rahmenbedingungen während der Erhebung:
- gleiche Instruktion, gleiche Bearbeitungszeiten, gleiche/keine Hilfestellungen, keine Störeinflüsse (Telefonklingeln, Unterbrechungen, Lärm, Ablenkungen, Tageszeit/Ermüdung)
- keine Bevorzugung oder Benachteiligung von bestimmten Personen oder Personengruppen bei Durchführung der Erhebung
- vorgeschaltete Übungsaufgaben zur Sicherung des Instruktionsverständnisses
- Reduktion sozialer Interaktionen auf ein Minimum
- computeradministrierte Testdurchführung
- Durchführungsobjektivität z.B. eingeschränkt bei Interviews und mündlichen Prüfungen
Beschreiben Sie die Auswertungsobjektivität.
- Derselben Testleistung muss unabhängig von der auswertenden Person derselbe Punktwert zugeordnet werden.
- Wird z.B. gewährleistet durch:
- klare Auswertungsregeln für offene Antworten
- Auswertungsschablonen bei Richtig-Falsch oder Multiple-Choice Aufgaben
- Prüfung der Übereinstimmung der Auswertungsergebnisse von unabhängigen Bewertern
- computeradministrierte Testauswertung
- Auswertungsobjektivität z.B. eingeschränkt bei offenen Antworten und ganzheitlichen Leistungen (z.B. Aufsatz, Referat)
Beschreiben Sie Interpretationsobjektivität.
- Aus den gleichen ausgewerteten Ergebnissen sollten unabhängig vom Auswerter die gleichen diagnostischen Schlüsse gezogen werden.
- Wird gewährleistet durch:
- Normwerte bei standardisierten Tests (sofern die Normstichprobe ausreichend groß und repräsentativ ist)
- eindeutige Benotungsmodelle bei Klassenarbeiten
- kriterielle Standards
Inwiefern ist Objektivität unterschiedlich schwer herzustellen?
- Durchführungs-, Auswertungs- und Interpretationsobjektivität bei Sportwettkämpfen [eher leicht]
- Auswertungsobjektivität bei Klassenarbeiten im Fach Mathematik [eher leicht]
- Auswertungsobjektivität bei Aufsätzen im Fach Deutsch [eher schwierig]
- Durchführungsobjektivität bei Vorlese-Wettbewerben [eher leicht]
- Auswertungsobjektivität bei Vorlese-Wettbewerben [eher schwierig]
- Durchführungsobjektivität bei mündlichen Prüfungen [eher schwierig]
Erklären Sie Reliabilität.
- Zuverlässigkeit eines Erhebungsverfahrens = Präzision, Genauigkeit der Messung (unabhängig davon, was tatsächlich gemessen wird)
- Vereinfacht: wenn man mit einem Test dasselbe (stabile) Merkmal bei demselben Merkmalsträger mehrfach misst und stets zum selben Ergebnis kommt, ist der Test reliabel
- Anhand der Reliabilität (Rel.) wird der Messfehler bestimmt (s.u.).
- Die Reliabilität wird geschätzt über Zusammenhangsmaße für mehrere Messungen (ab ca. Rel = 0,70 „akzeptable“ und ab ca. Rel = 0,80 „gute“ Reliabilität).
- beobachteter Wert (x) = tatsächliche Lesekompetenz (“True Score”) + Fehler (“Error”)
- x = T + E
Welche Arten von Reliabilität gibt es?
- Wiederholungsreliabilität: zeitliche Stabilität eines Merkmals
- Paralleltestreliabilität: äquivalente Ergebnisse für zwei Testhälften
- Split-half-Reliabilität: äquivalente Ergebnisse für zwei Testhälften
- innere Konsistenz: äquivalente Ergebnisse für alle Items; Homogenität von Tests
Definieren Sie Wiederholungsreliabilität/Restreliabilität!
- mehrfache Testung mit derselben Testform
- Berechnung der Korrelation zwischen den Ergebnissen der beiden Erhebungen gibt bei hinreichendem Zeitabstand Auskunft über die Stabilität des gemessenen Merkmals
- Verwendung nicht angezeigt bei zeit-instabilen Merkmalen (z.B. Einstellungen, Stimmung) und u.U. (je nach Merkmal) problematisch bei Kindern
- weitere Probleme: Erinnerungs-, Übungseffekte
Beschreiben Sie Paralleltestreliabilität.
- mehrfache Testung mit Parallelformen eines Tests
- Berechnung der Korrelation zwischen den Ergebnissen der beiden Erhebungen gibt Auskunft darüber, inwieweit die beiden Paralleltests äquivalent/gleichwertig sind
- aufwändige Konstruktion, aber auch nützlich zur Vermeidung von Abschreiben bei Gruppentests
Beschreiben Sie Testhalbierungsreliabilität/ Split-half-Reliabilität!
- einmalige Testvorgabe
- Aufteilung des Tests in zwei Testhälften (i.d.R. gerade vs. ungerade Aufgabennummern)
- Berechnung der Korrelation zwischen den Ergebnissen in beiden Testhälften gibt Auskunft über die Konsistenz von zwei Testhälften
Beschreiben Sie Interne Konsistenz.
- einmalige Testvorgabe
- durchschnittliche Korrelation aller Items einer Skala
- gibt Auskunft über die Homogenität eines Tests oder einer Skala
- Verwendung sinnvoll, wenn alle Items eines Tests das gleiche Merkmal messen sollen
Was ist Cronbachs Alpha!
Maß zur Berechnung der internen Konsistenz einer aus mehreren Items zusammengesetzten Skala bzw. eines Tests Je größer das Alpha, desto höher die interne Konsistenz. Bei perfekter interner Konsistenz beträgt Alpha +1,00.
