W5: Reliabilität Flashcards
Was sagt Reabilität aus?
- Messgenauigkeit eines Tests
- geringer Messfehler
- konsistente Ergebnisse von Testungen zu zwei unterschiedlichen Zeitpunkten
Was sagt der Messfehler aus?
Differenz zwischen dem hypothetischen wahren Wert und dem erhaltenen Testwert
Was gibt der Standardmessfehler (SEM) an?
Anteil der Messwertstreuung, der durch Einschränkungen in der Messgenauigkeit des Tests versursacht wird. Er fällt umso niedriger aus, je höher die Messgenauigkeit (Reliabilität) ist.
Wie hängen Standardmessfehler und Konfidenzintervall zusammen?
Mithilfe des Standardmessfehlers lässt sich für jeden gemessenen Testwert ein Konfidenzintervall bestimmen, in dem der wahre Wert zu erwarten ist.
Was bedeutet eine Reliabilität von .50?
50% systematische Varianz
50% Messfehler
–> ziemlich unbefriedigendes Resultat
Welches sind die unterschiedlichen Arten von Reliabilitätsmessungen?
- innere bzw. interne Konsistenz
- Retest-Korrelation
- Paralleltestkorrelation
Was ist eine mögliche Definition von Reliabilität?
Anteil der Varianz der wahren Werte an der Varianz der beobachteten Werte (Varianzverhältnis)
Welches ist der Wertebereich der Reliabilität?
Zwischen 0 und 1
Woher kennen wir die Varianz der wahren Werte?
Kennen wir gar nicht, muss geschätzt werden. Dies mithilfe von Korrelationen.
Was bedeutet der Reliabilitätswert von 1?
Wenn die Varianz der Fehlervariablen gleich 0 ist. In der Psychologie ist dies nie der Fall.
Was braucht es zur Bestimmung der Reliabilität?
- mehrere beobachtbare Variablen, die dasselbe Merkmal erfassen
- Messmodelle (haben Variablen eine gemeinsame latente Variable?)
- Messungen unter vergleichbaren Bedingungen wiederholt
- mind. zwei Messwerte
Was sind die Voraussetzungen der Reliabilitätsschätzung?
- Messungen weisen unkorrelierte Messfehler auf
- Annahme zur Übereinstimmung der Messung der wahren Werte zwischen beiden Messungen
- Fehlervarianz beider Tests sind gleich
Wie wird die Annahme zur Übereinstimmung noch unterteilt?
- tau Äquivalenz (perfekter Zusammenhang)
- essenziell tau-äquivalent (wahren Werte unterscheiden sich nur durch eine additive Konstante –> z.B. Trainingseffekte)
- tau kongenerisch (schwächster Zusammenhang, Wert einer Messung lässt noch auf den Wert einer anderen Messung rückschliessen)
Was besagt das Modell paralleler Messung?
Mittelwerte und Varianzen sind gleich. Bsp: Jede Person erzielt in Test A denselben wahren Wert wie in Test B, beide Messungen sind gleich messgenau
Was besagt das Modell essenziell paralleler Messung?
Mittelwerte sind unterschiedlich, Varianzen sind gleich. Bsp: Übungseffekt auf einem Test.
Was besagt das Modell tau-äquivalenter Messungen?
Diese Messungen messen dieselbe Eigenschaft / Fähigkeit mit derselben Skala, jedoch nicht genau gleich. Bsp: eine Person erzielt in Tests A und B denselben wahren Wert, aber die Grösse der Messfehler unterscheidet sich zwischen den Test.
Was besagt das Modell essenziell tau-äquivalenter Messungen?
Messen dieselbe Eigenschaft / Fähigkeit mit derselben Skala, jedoch mit unterschiedlichen Mittelwerten. Bsp: Der wahre Wert einer Messung A ist ggü der anderen Messung B um eine Konstante verschoben (z.B. Lerneffekt).
Was besagt das Modell tau-kongenerischer Messungen?
Man misst dieselbe Eigenschaft / Fähigkeit mit unterschiedlichen Einheiten (Skalen).
Wie geht man bei der Reliabilitätsanalyse vor?
- Umcodieren negativ formulierter Items
- Überblick über die Daten bekommen
- Entscheidung, wie die Reliabilität berechnet werden soll (z.B. interne Konsistenz)
Was besagt der Schwierigkeitsindex (Leichtigskeitsindex)?
Wie viele Personen das Item lösten konnten. Was wäre z.B. ein schwieriges Item? z.B. ich quäle gerne Tiere - dies würde sicherlich vielen Menschen schwer fallen zu bejaen.
Was besagt der Trennschärfekoeffizient?
Macht Aussagen über die Güte einzelner Items. Hohe Trennschärfekoeffizient begünstigen hohe Reliabilitäten.
Was ist die intere Konsistenz?
Inwiefern sind Items konsistent? Jedes einzelne Item wird als eigenständiger Testteil angesehen. Die innere Konsistenz berücksichtigt den Zusammenhang zwischen den Items und der Testlänge.
Was ist die Testhalbierungsreliabilität?
Tests sind in zwei Hälften aufgeteilt. Wie fest korrelieren die zwei Hälften? Annahme, dass diese hoch sein sollte. Beide Testhälften erfassen das gleiche Konstrukt.
Was sagt die Paralleltestreliabilität aus?
Korrelation zwischen zwei parallelen Versionen eines Testverfahrens. Zwei Versionen eines Verfahrens, die das gleiche Konstrukt erfassen, die Items sind aber unterschiedlich. Items-Zwillinge, die nicht das gleiche fragen, aber das gleiche erfassen sollten.
Was sagt die Stabilität (Test-Retestreliabilität)?
Den gleichen Test zu zwei verschiedenen Zeitpunkten. Zwischen den beiden Tests wird die Korrelation gemessen. Dabei wird davon ausgegangen, dass die Testergebnisse stabil bleiben über den Zeitraum hinweg. Kann zu Veränderungen kommen (Motivation, persönliche Ereignisse, Müdigkeit etc.) Erinnerungseffekte oder Übungseffekte können die zweite Intelligenzmessung verfälschen.
Wie wird die interne Konsistenz berechnet?
Mit Cronbach Alpha. Wir gehen davon aus, dass die Daten mind. essenziell tau-äquivalent sind. Cronbachs Alpha zieht alle möglichen Testhälften sowie alle Items mit in die Berechnung ein.
Welche Berechnung wird für den Testhalbierungskoeffizienten verwendent?
Spearman-Brown-Formel.
Wie kann Reliabilität erhöht werden?
- Reduzieren von Verständnisschwierigkeiten (klare Instruktionen, Übungsbeispiele)
- eindeutige Idemformulierung
- Objektivität gewährleisten
- sehr schwierige / sehr leichte Items entfernen
- Testlänge beachten (Zumutbarkeit, Ermüdung, Konzentration..)
Welches sind Faktoren, die die Reliabilität beeinflussen?
- Homogene Tests
- Schnelligkeitskomponente
- Verteilung der Kennwerte (z.b. Aussagen über breite Population, aber nur Daten von Maturanden)
- Länge des Tests
- Aufgabenschwierigkeit
- Zufallsfaktor (Richtig-Falsch od. Multiple Choice Antworten)
- mangelnde Objektivität
Was berechnet die Spearman-Brown-Formel?
Grunsatzfrage: Wie lange muss ein Test sein, damit er eine bestimmte Reliabilität aufweist? Wie viele inhaltshomogene Items muss man dazu nehmen?
Was ist der Cronbach’s Alpha?
Cronbachs Alpha wird verwendet, um den Grad an Übereinstimmung (interne Konsistenz) zwischen mehreren Fragen in einem Fragebogen zu messen.
Beispiele
Du möchtest die Kundenzufriedenheit anhand von drei Fragen messen: „Wie sauber finden Sie das Geschäft?“, „Sind Sie mit dem Warenangebot zufrieden?“ und „Wie bewerten Sie die Hilfsbereitschaft des Personals?“.
Cronbachs Alpha hilft dir, herauszufinden, ob diese Fragen die Kundenzufriedenheit auch tatsächlich messen können.
Mit steigender Itemanzahl wird der Cronbach Alpha
Koeffizient grösser/kleiner? Begründen Sie.
Mit steigender Itemanzahl vergrössert sich das Cronbach Alpha. Da auch ein Item mit nur geringer positiver Korrelation zum Rest des Testes die Kovarianz der Items erhöht, führen auch diese zu einem grösseren Cronbach Alpha. Daher führen zusätzliche Items
fast immer zu einem Anstieg.
Freut aber nur bedingt.. da Ökonomie und Zumutbarkeit des Tests sinken.
Items, die mit anderen Items negativ korrelieren,
erhöhen/reduzieren das Cronbach Alpha? Begründen Sie.
Nur Items die negativ mit anderen korrelieren reduzieren das Cronbach Alpha, da sie die Gesamtvarianz im Verhältnis zur Summe der Itemvarianzen verringern. (Siehe Bühner Kap. 4.4, S. 167)
Was wäre ein akzeptabler, was ein guter Reliabilitätskoeffizient?
- Unter .60
- .60-.70
- .70-.85
- Über .80
Daumenregel. Aber: kommt immer auf den Test drauf an… Evtl. können Personen auch gar nicht reliable Auskunft geben, obwohl der Test valide ist.. über .80 sicher höhere Reliabilitäten.
Wie hängen Homogenität, Trennschärfe und Reliabilität zusammen?
Trennschärfe kann als ein Indikator der Homogenität gesehen werden
- Hohe Trennschärfen führen (neben einer hohen Itemanzahl) zu einer hohen Reliabilität, also einer hohen Homogenität
- Die Eigentrennschärfe steht in direktem Zusammenhang mit der Reliabilität, da die Trennschärfe inhaltlich angibt, wie gut ein Item die angestrebte Eigenschaft oder Fähigkeit misst (quantifiziert durch eine Korrelation)
