VL8 Messen & Gütekriterien Flashcards
Was ist der Unterschied zwischen „Reliabilität“ und „Validität“?
a. Kann eine Messung reliabel sein, ohne valide zu sein? Begründen Sie Ihre Antwort.
b. Kann eine Messung valide sein, ohne reliabel zu sein? Begründen Sie Ihre Antwort.
Reliabilität= gibt die Verlässlichkeit bzw. Genauigkeit einer Messung an, misst die Konsistenz und Stabilität von Messungen über die Zeit und unter verschiedenen Bedingungen.
Validität= ist ein Maß dafür, ob ein Test wirklich das misst was er zu messen vorgibt. Er gibt die Güte der Operationalisierung an.
A) Ja, eine Messung kann reliabel sein, ohne valide zu sein. Ein Test kann konsistent die gleichen Ergebnisse erzielen ohne, dass das Ergebnis jedoch Aufschluss über die erwünschte zu messende Variable gibt.
B) Nein, da Validität nur gegeben ist wenn der Test das misst was er zu messen vorgibt, was nur der Fall ist, wenn die Messungen auch verlässlich sind.
Nennen Sie zwei Arten zur Bestimmung der Reliabilität eines Testverfahrens. Erläutern Sie für beide Arten wie man vorgehen muss, um diese empirisch zu bestimmen, und welche Probleme bei der Verwendung auftreten können, die die Reliabilitätsmessung verfälschen könnten.
Test-Retest Methode: denselben Test zweimal mit identischen Bedingungen durchführen und die Testergebnisse miteinander korrelieren.
Problematik: Es können Übungseffekte auftreten, Erinnerungseffekte (zeit abstand erweitern) und man muss die Stabilität des zu erfassenden Konstrukts berücksichtigen.
Parallel-Test Methode: zwei vergleichbare Test verwenden und deren Ergebnisse miteinander korrelieren.
Problematik: Übungseffekte, die Herstellung zwei paralleler Tests ist oft schwierig.
Was bedeutet es, wenn ein Messinstrument eine (im Sinne der Testgütekriterien) hohe Objektivität besitzt? Welche drei Aspekte der Objektivität können unterschieden werden?
Objektivität bezieht sich darauf, dass Messungen oder Bewertungen unabhängig von individuellen Einflüssen oder Meinungen sind und reproduzierbare Ergebnisse liefern.
3 Aspekte:
1. Durchführungsobjektivität= Ablauf und Aufbau sollten standardisiert werden, Instruktionen sollten vorformuliert/ non-verbal instruiert werden, Interaktion sollte trainiert/minimiert werden.
2. Auswertungsobjektivität= Es sollte genaue scoring-Anweisungen gegeben werden bzw. die Bewertung trainiert werden und das Analysen Schema explizit gemacht werden.
3. Interpretationsobjektivität= Es sollten Normdaten verwendet werden und Theoriegeleitete Interpretationen explizit gemacht werden.
Worin liegt der Unterschied zwischen einer ordinalskalierten und einer intervallskalierten Variable? Geben Sie jeweils für beide Skalenarten ein Beispiel.
Ordinalskalierte Variable= bilden Reihenfolgen ab, sie gehören zu qualitativen Skalierungen von Variablen. Sie geben Aufschluss über Größer-kleiner Relation jedoch ohne Berücksichtigung der Abstände. Bsp: Siegertreppchen
Intervallskalierte Variable= bilden Abstände ab, sie gehören zur quantitaven Skalierungen von Variablen. Sie können über die Gleichheit von Differenzen Aufschluss geben. Bsp.: Temperatur in Celsius
Worin liegt der Unterschied zwischen einer nominalskalierten und einer ordinalskalierten Variable?
Geben Sie jeweils für beide Skalenarten ein Beispiel.
Beide gehören zu den qualitativen Skalierungen. Nominalskalierte Variablen (bsp. Geschlecht: Männlich, weiblich, divers) können allerdings nur Aufschluss über Gleichheit/ Verschiedenheit von zwei Ausprägungen geben, während ordinalskalierte Variablen (Siegertreppchen) zusätzlich Aufschluss über die Rangfolge von Ausprägungen geben.
Nach welchem Vorgehen wird bei der Test-Retest Methode die Reliabilität eines Messinstruments bestimmt? Wie würde sich eine Instabilität des gemessenen Konstrukts auf die Test-Retest Reliabilität auswirken?
Bei der Test-Retest Methode wird derselbe Test zweimal mit identischen Bedingungen durchgeführt und die Testergebnisse werden miteinander korreliert. Instabilität eines Merkmals würde zu unterschiedlichen Ausgangsbedingen führen, wodurch die Korrelation beeinflusst wird, da das zu messende Merkmal sich in den zwei Messetappen in seiner Ausprägung verändert haben könnte.
Beschreiben Sie eine Möglichkeit, einen Berufseignungstest zu validieren. Welches Ergebnis spricht für eine hohe Validität?
Eine Möglichkeit, die Validität eines Berufseignungstests zu überprüfen, besteht darin, die Testergebnisse mit der tatsächlichen Leistung der Personen in ihrem Beruf zu vergleichen. Eine starke positive Korrelation zwischen Testergebnissen und beruflicher Leistung deutet auf eine hohe Validität hin.
(Oder einen anderen Test der dasselbe Kriterium messen soll entwickeln und schauen ob die Ergebnisse korrelieren)
Erläutern Sie, was mit den Begriffen „konvergente“ und „divergente“ Validität gemeint ist, und geben Sie ein Beispiel für jede Validitätsform.
Konvergente Validität= bedeutet, dass eine Messung stark mit anderen Messungen korreliert, die dasselbe Konstrukt messen. Zum Beispiel zeigen zwei Tests zur Depression eine hohe Korrelation.
Divergente Validität= bedeutet, dass eine Messung nicht oder nur schwach mit Messungen korreliert, die unterschiedliche Konstrukte erfassen sollen. Zum Beispiel korrelieren Tests zur Depression nur schwach mit Tests zur Angst.
Spricht beides für gute/hohe Validität.
