W5: Reliabilität

Question 1

Was sagt Reabilität aus?

Answer 1

• Messgenauigkeit eines Tests
• geringer Messfehler
• konsistente Ergebnisse von Testungen zu zwei unterschiedlichen Zeitpunkten

Question 2

Was sagt der Messfehler aus?

Answer 2

Differenz zwischen dem hypothetischen wahren Wert und dem erhaltenen Testwert

Question 3

Was gibt der Standardmessfehler (SEM) an?

Answer 3

Anteil der Messwertstreuung, der durch Einschränkungen in der Messgenauigkeit des Tests versursacht wird. Er fällt umso niedriger aus, je höher die Messgenauigkeit (Reliabilität) ist.

Question 4

Wie hängen Standardmessfehler und Konfidenzintervall zusammen?

Answer 4

Mithilfe des Standardmessfehlers lässt sich für jeden gemessenen Testwert ein Konfidenzintervall bestimmen, in dem der wahre Wert zu erwarten ist.

Question 5

Was bedeutet eine Reliabilität von .50?

Answer 5

50% systematische Varianz
50% Messfehler

–> ziemlich unbefriedigendes Resultat

Question 6

Welches sind die unterschiedlichen Arten von Reliabilitätsmessungen?

Answer 6

• innere bzw. interne Konsistenz
• Retest-Korrelation
• Paralleltestkorrelation

Question 7

Was ist eine mögliche Definition von Reliabilität?

Answer 7

Anteil der Varianz der wahren Werte an der Varianz der beobachteten Werte (Varianzverhältnis)

Question 8

Welches ist der Wertebereich der Reliabilität?

Answer 8

Zwischen 0 und 1

Question 9

Woher kennen wir die Varianz der wahren Werte?

Answer 9

Kennen wir gar nicht, muss geschätzt werden. Dies mithilfe von Korrelationen.

Question 10

Was bedeutet der Reliabilitätswert von 1?

Answer 10

Wenn die Varianz der Fehlervariablen gleich 0 ist. In der Psychologie ist dies nie der Fall.

Question 11

Was braucht es zur Bestimmung der Reliabilität?

Answer 11

• mehrere beobachtbare Variablen, die dasselbe Merkmal erfassen
• Messmodelle (haben Variablen eine gemeinsame latente Variable?)
• Messungen unter vergleichbaren Bedingungen wiederholt
• mind. zwei Messwerte

Question 12

Was sind die Voraussetzungen der Reliabilitätsschätzung?

Answer 12

• Messungen weisen unkorrelierte Messfehler auf
• Annahme zur Übereinstimmung der Messung der wahren Werte zwischen beiden Messungen
• Fehlervarianz beider Tests sind gleich

Question 13

Wie wird die Annahme zur Übereinstimmung noch unterteilt?

Answer 13

• tau Äquivalenz (perfekter Zusammenhang)
• essenziell tau-äquivalent (wahren Werte unterscheiden sich nur durch eine additive Konstante –> z.B. Trainingseffekte)
• tau kongenerisch (schwächster Zusammenhang, Wert einer Messung lässt noch auf den Wert einer anderen Messung rückschliessen)

Question 14

Was besagt das Modell paralleler Messung?

Answer 14

Mittelwerte und Varianzen sind gleich. Bsp: Jede Person erzielt in Test A denselben wahren Wert wie in Test B, beide Messungen sind gleich messgenau

Question 15

Was besagt das Modell essenziell paralleler Messung?

Answer 15

Mittelwerte sind unterschiedlich, Varianzen sind gleich. Bsp: Übungseffekt auf einem Test.

Question 16

Was besagt das Modell tau-äquivalenter Messungen?

Answer 16

Diese Messungen messen dieselbe Eigenschaft / Fähigkeit mit derselben Skala, jedoch nicht genau gleich. Bsp: eine Person erzielt in Tests A und B denselben wahren Wert, aber die Grösse der Messfehler unterscheidet sich zwischen den Test.

Question 17

Was besagt das Modell essenziell tau-äquivalenter Messungen?

Answer 17

Messen dieselbe Eigenschaft / Fähigkeit mit derselben Skala, jedoch mit unterschiedlichen Mittelwerten. Bsp: Der wahre Wert einer Messung A ist ggü der anderen Messung B um eine Konstante verschoben (z.B. Lerneffekt).

Question 18

Was besagt das Modell tau-kongenerischer Messungen?

Answer 18

Man misst dieselbe Eigenschaft / Fähigkeit mit unterschiedlichen Einheiten (Skalen).

Question 19

Wie geht man bei der Reliabilitätsanalyse vor?

Answer 19

• Umcodieren negativ formulierter Items
• Überblick über die Daten bekommen
• Entscheidung, wie die Reliabilität berechnet werden soll (z.B. interne Konsistenz)

Question 20

Was besagt der Schwierigkeitsindex (Leichtigskeitsindex)?

Answer 20

Wie viele Personen das Item lösten konnten. Was wäre z.B. ein schwieriges Item? z.B. ich quäle gerne Tiere - dies würde sicherlich vielen Menschen schwer fallen zu bejaen.

Question 21

Was besagt der Trennschärfekoeffizient?

Answer 21

Macht Aussagen über die Güte einzelner Items. Hohe Trennschärfekoeffizient begünstigen hohe Reliabilitäten.

Question 22

Was ist die intere Konsistenz?

Answer 22

Inwiefern sind Items konsistent? Jedes einzelne Item wird als eigenständiger Testteil angesehen. Die innere Konsistenz berücksichtigt den Zusammenhang zwischen den Items und der Testlänge.

Question 23

Was ist die Testhalbierungsreliabilität?

Answer 23

Tests sind in zwei Hälften aufgeteilt. Wie fest korrelieren die zwei Hälften? Annahme, dass diese hoch sein sollte. Beide Testhälften erfassen das gleiche Konstrukt.

Question 24

Was sagt die Paralleltestreliabilität aus?

Answer 24

Korrelation zwischen zwei parallelen Versionen eines Testverfahrens. Zwei Versionen eines Verfahrens, die das gleiche Konstrukt erfassen, die Items sind aber unterschiedlich. Items-Zwillinge, die nicht das gleiche fragen, aber das gleiche erfassen sollten.

Question 25

Was sagt die Stabilität (Test-Retestreliabilität)?

Answer 25

Den gleichen Test zu zwei verschiedenen Zeitpunkten. Zwischen den beiden Tests wird die Korrelation gemessen. Dabei wird davon ausgegangen, dass die Testergebnisse stabil bleiben über den Zeitraum hinweg. Kann zu Veränderungen kommen (Motivation, persönliche Ereignisse, Müdigkeit etc.) Erinnerungseffekte oder Übungseffekte können die zweite Intelligenzmessung verfälschen.

Question 26

Wie wird die interne Konsistenz berechnet?

Answer 26

Mit Cronbach Alpha. Wir gehen davon aus, dass die Daten mind. essenziell tau-äquivalent sind. Cronbachs Alpha zieht alle möglichen Testhälften sowie alle Items mit in die Berechnung ein.

Question 27

Welche Berechnung wird für den Testhalbierungskoeffizienten verwendent?

Answer 27

Spearman-Brown-Formel.

Question 28

Wie kann Reliabilität erhöht werden?

Answer 28

• Reduzieren von Verständnisschwierigkeiten (klare Instruktionen, Übungsbeispiele)
• eindeutige Idemformulierung
• Objektivität gewährleisten
• sehr schwierige / sehr leichte Items entfernen
• Testlänge beachten (Zumutbarkeit, Ermüdung, Konzentration..)

Question 29

Welches sind Faktoren, die die Reliabilität beeinflussen?

Answer 29

• Homogene Tests
• Schnelligkeitskomponente
• Verteilung der Kennwerte (z.b. Aussagen über breite Population, aber nur Daten von Maturanden)
• Länge des Tests
• Aufgabenschwierigkeit
• Zufallsfaktor (Richtig-Falsch od. Multiple Choice Antworten)
• mangelnde Objektivität

Question 30

Was berechnet die Spearman-Brown-Formel?

Answer 30

Grunsatzfrage: Wie lange muss ein Test sein, damit er eine bestimmte Reliabilität aufweist? Wie viele inhaltshomogene Items muss man dazu nehmen?

Question 31

Was ist der Cronbach’s Alpha?

Answer 31

Cronbachs Alpha wird verwendet, um den Grad an Übereinstimmung (interne Konsistenz) zwischen mehreren Fragen in einem Fragebogen zu messen.

Beispiele
Du möchtest die Kundenzufriedenheit anhand von drei Fragen messen: „Wie sauber finden Sie das Geschäft?“, „Sind Sie mit dem Warenangebot zufrieden?“ und „Wie bewerten Sie die Hilfsbereitschaft des Personals?“.

Cronbachs Alpha hilft dir, herauszufinden, ob diese Fragen die Kundenzufriedenheit auch tatsächlich messen können.

Question 32

Mit steigender Itemanzahl wird der Cronbach Alpha
Koeffizient grösser/kleiner? Begründen Sie.

Answer 32

Mit steigender Itemanzahl vergrössert sich das Cronbach Alpha. Da auch ein Item mit nur geringer positiver Korrelation zum Rest des Testes die Kovarianz der Items erhöht, führen auch diese zu einem grösseren Cronbach Alpha. Daher führen zusätzliche Items
fast immer zu einem Anstieg.

Freut aber nur bedingt.. da Ökonomie und Zumutbarkeit des Tests sinken.

Question 33

Items, die mit anderen Items negativ korrelieren,
erhöhen/reduzieren das Cronbach Alpha? Begründen Sie.

Answer 33

Nur Items die negativ mit anderen korrelieren reduzieren das Cronbach Alpha, da sie die Gesamtvarianz im Verhältnis zur Summe der Itemvarianzen verringern. (Siehe Bühner Kap. 4.4, S. 167)

Question 34

Was wäre ein akzeptabler, was ein guter Reliabilitätskoeffizient?

Answer 34

• Unter .60
• .60-.70
• .70-.85
• Über .80

Daumenregel. Aber: kommt immer auf den Test drauf an… Evtl. können Personen auch gar nicht reliable Auskunft geben, obwohl der Test valide ist.. über .80 sicher höhere Reliabilitäten.

Question 35

Wie hängen Homogenität, Trennschärfe und Reliabilität zusammen?

Answer 35

Trennschärfe kann als ein Indikator der Homogenität gesehen werden

• Hohe Trennschärfen führen (neben einer hohen Itemanzahl) zu einer hohen Reliabilität, also einer hohen Homogenität
• Die Eigentrennschärfe steht in direktem Zusammenhang mit der Reliabilität, da die Trennschärfe inhaltlich angibt, wie gut ein Item die angestrebte Eigenschaft oder Fähigkeit misst (quantifiziert durch eine Korrelation)