Bühner et al. (2018). Gütekriterien. In Diagnostik- und Testkuratorium

Question 1

1. In den Verfahrenshinweisen müssen gemäß DIN 33430 Angaben zur Zuverlässigkeit/Reliabilität der verwendeten Verfahren getroffen werden. Woraus müssen die Angaben dazu abgeleitet werden und welche Aspekte sind in den Verfahrenshinweisen aufzuführen?
Wie ist Zuverlässigkeit bzw. Reliabilität in der DIN definiert

Answer 1

als Grad der Genauigkeit eines Verfahrens, mit dem es das gemessene Merkmal erfasst

Question 2

1. In den Verfahrenshinweisen müssen gemäß DIN 33430 Angaben zur Zuverlässigkeit/Reliabilität der verwendeten Verfahren getroffen werden. Woraus müssen die Angaben dazu abgeleitet werden und welche Aspekte sind in den Verfahrenshinweisen aufzuführen?
Inwifern müssen Angaben zur Zuverlässigketi gemacht werden

Answer 2

In den Verfahrenshinweisen müssen, so steht es in der DIN (S. 29), Angaben zur Zuverlässigkeit des Verfahrens getroffen werden
➔ Angaben zur Reliabilität müssen aus empirischen Studien abgeleitet werden

Question 3

1. In den Verfahrenshinweisen müssen gemäß DIN 33430 Angaben zur Zuverlässigkeit/Reliabilität der verwendeten Verfahren getroffen werden. Woraus müssen die Angaben dazu abgeleitet werden und welche Aspekte sind in den Verfahrenshinweisen aufzuführen?
Nenne 3 Punkte, die ausgeführt / erläutert werden müssen

Answer 3

Was ausgeführt bzw. erläutert werden muss:
➔ Warum welche Methode der Zuverlässigkeitsbestimmung verwendet wurde ➔ Verwendete Stichprobe
➔ und Bedingungen der Datenerhebung

Question 4

1. In den Verfahrenshinweisen müssen gemäß DIN 33430 Angaben zur Zuverlässigkeit/Reliabilität der verwendeten Verfahren getroffen werden. Woraus müssen die Angaben dazu abgeleitet werden und welche Aspekte sind in den Verfahrenshinweisen aufzuführen?
Gibt es viele Zuverlässigkeiten?

Answer 4

Grundsätzlich gibt es nur eine Zuverlässigkeit, die auf verschiedene Arten und Weisen geschätzt werden kann

Question 5

1. In den Verfahrenshinweisen müssen gemäß DIN 33430 Angaben zur Zuverlässigkeit/Reliabilität der verwendeten Verfahren getroffen werden. Woraus müssen die Angaben dazu abgeleitet werden und welche Aspekte sind in den Verfahrenshinweisen aufzuführen?
Grundsätzlich gibt es nur eine Zuverlässigkeit, die auf verschiedene Arten und Weisen geschätzt werden kann.
…
Was ist die Voraussezung aller Zuverlässigkeitsschätzung

Answer 5

Man unterscheidet Methoden der Zuverlässigkeitsschätzung, die alle voraussetzen, dass der Test vorher auf Eindimensionalität geprüft wurde:

Question 6

1. In den Verfahrenshinweisen müssen gemäß DIN 33430 Angaben zur Zuverlässigkeit/Reliabilität der verwendeten Verfahren getroffen werden. Woraus müssen die Angaben dazu abgeleitet werden und welche Aspekte sind in den Verfahrenshinweisen aufzuführen?
Man unterscheidet folgende gängige Methoden der Zuverlässigkeitsschätzung, die alle voraussetzen, dass der Test vorher auf Eindimensionalität geprüft wurde:

Answer 6

➔ Retest-Korrelation
➔ Paralleltest-Korrelation
➔ Split-Half-Korrelation
➔ Interne Konsistenz, z.B. Cronbachs Alpha oder Omega
(McDonald, 1970; hier ist die Eindimensionalitätsannahme der Items nicht zwingend
erforderlich)

Question 7

1. In den Verfahrenshinweisen müssen gemäß DIN 33430 Angaben zur Zuverlässigkeit/Reliabilität der verwendeten Verfahren getroffen werden. Woraus müssen die Angaben dazu abgeleitet werden und welche Aspekte sind in den Verfahrenshinweisen aufzuführen?
Korrelationen haben einen Wertebereich von -1 bis +1.
Wertebereich und negative Werte bei Reliabilität?

Answer 7

➔ Reliabilitäten per Definition aber einen Wertebereich von 0 bis 1
➔ Werden negative Korrelationen als Reliabilitäten geschätzt, sind diese Null

Question 8

1. In den Verfahrenshinweisen müssen gemäß DIN 33430 Angaben zur Zuverlässigkeit/Reliabilität der verwendeten Verfahren getroffen werden. Woraus müssen die Angaben dazu abgeleitet werden und welche Aspekte sind in den Verfahrenshinweisen aufzuführen?

:)

Answer 8

Question 9

2. Welche Faktoren haben Einfluss auf die Reliabilitätsschätzung?
Nenne 7

Answer 9

• Testlänge
• Mittlere Korrelationshöhe
• Breite und Enge des Verhaltensausschnitts
• Itemanzahl
• Kontext
• Zusammensetzung der Stichprobe
• Varianz bzw. Varianzerhöhung

Question 10

2. Welche Faktoren haben Einfluss auf die Reliabilitätsschätzung?
* Testlänge und mittlere Korrelationshöhe der Items
Was bedeutet dies für Tests

Answer 10

➔ Fragebogen oder Test kann daher aus nur sehr wenigen, hoch korrelierten Items
bestehen und gleichzeitig eine hohe Reliabilität aufweisen
➔ solcher Test muss einen engen Verhaltensausschnitt messen (z.B. „Ich gehe abends
gerne aus“ und „Mir macht es Spaß, abends wegzugehen“)

Question 11

2. Welche Faktoren haben Einfluss auf die Reliabilitätsschätzung?
Kontext.
Was bedeutet dies für eine Testung

Answer 11

Kontext, in dem Testung durchgeführt wurde (z.B. Verfälschung)
➔ Daher muss man die Umstände der Testung kennen, um die Reliabilitätsschätzung beurteilen zu können

Question 12

2. Welche Faktoren haben Einfluss auf die Reliabilitätsschätzung?
Zusammensetzung der Stichprobe

Answer 12

Question 13

2. Welche Faktoren haben Einfluss auf die Reliabilitätsschätzung?
Varianz / Varianzerhöhung

Answer 13

Question 14

2. Welche Faktoren haben Einfluss auf die Reliabilitätsschätzung?
Was ist hier zu betrachten

Answer 14

Question 15

2. Welche Faktoren haben Einfluss auf die Reliabilitätsschätzung?
Auf was kann sich eine derartige künstliche Varianzerhöhung noch auswirken

Answer 15

Ähnlich kann sich eine derartige künstliche Varianzerhöhung auch auf andere
Korrelationsberechnungen auswirken
➢ dienen wiederum als Grundlage zur Berechnung der Zuverlässigkeit und
Gültigkeit

Question 16

3. Was versteht man unter Typentests? Was setzen sie voraus und welche Methoden eignen sich für die Ermittlung der Voraussetzung? Was ist in Bezug auf die Verfahrenshinweise und die Stabilität der Typen zu beachten?
Was sind Typentests und wie müssen diese nachgewiesen werden

Answer 16

Question 17

3. Was versteht man unter Typentests? Was setzen sie voraus und welche Methoden eignen sich für die Ermittlung der Voraussetzung? Was ist in Bezug auf die Verfahrenshinweise und die Stabilität der Typen zu beachten?
Was sollte zu Typentests vorliegen und warum?

Answer 17

Question 18

4. In der Eignungsdiagnostik sind häufig Vergleiche zwischen Personen relevant. Was muss hierbei berücksichtigt werden und was versteht man in diesem Zusammenhang unter „kritischer Differenz“?
In der Eignungsdiagnostik sind häufig Vergleiche zwischen Personen relevant.
Was muss berücksichtigt werden

Answer 18

Berücksichtigt werden muss, dass sich Messwerte zweier Kandidaten auch aufgrund von Messfehlern zufällig unterscheiden können

Question 19

4. In der Eignungsdiagnostik sind häufig Vergleiche zwischen Personen relevant. Was muss hierbei berücksichtigt werden und was versteht man in diesem Zusammenhang unter „kritischer Differenz“?
Was kann mithilfe der “kritischen Distanz” entschieden werden und was muss dabei beachtet werden?

Answer 19

Question 20

5. Unter Validität bzw. Gültigkeit wird in der DIN das Ausmaß verstanden, in dem Interpretationen von eignungsdiagnostischen Informationen zutreffend sind. Welche Aspekte müssen laut DIN in den Verfahrenshinweisen beachtet werden?
Was muss aus Verfahrenshinweisen klar abgeleitet werden? (5 Punkte)

Answer 20

Question 21

5. Unter Validität bzw. Gültigkeit wird in der DIN das Ausmaß verstanden, in dem Interpretationen von eignungsdiagnostischen Informationen zutreffend sind. Welche Aspekte müssen laut DIN in den Verfahrenshinweisen beachtet werden?
Unter Validität bzw. Gültigkeit wird in der DIN (2016, S. 7) was verstanden?
(3 Punkte)

Answer 21

Question 22

5. Unter Validität bzw. Gültigkeit wird in der DIN das Ausmaß verstanden, in dem Interpretationen von eignungsdiagnostischen Informationen zutreffend sind. Welche Aspekte müssen laut DIN in den Verfahrenshinweisen beachtet werden?
Validität:
Was muss aus den Verfahrenshinweisen deutlich werden?

Answer 22

Es wird in der DIN (DIN, 2016, S. 30) darüber hinaus Folgendes gefordert:
➔ „Aus den Verfahrenshinweisen muss deutlich werden, welche empirischen Nachweise
der Inhalts- und/oder Kriteriums- und/oder Konstruktgültigkeit eine Anwendung des Verfahrens bzw. der Verfahrensklasse für den intendierten Anwendungszweck des Verfahrens rechtfertigen“

Question 23

5. Unter Validität bzw. Gültigkeit wird in der DIN das Ausmaß verstanden, in dem Interpretationen von eignungsdiagnostischen Informationen zutreffend sind. Welche Aspekte müssen laut DIN in den Verfahrenshinweisen beachtet werden?

:) Validität (1)

Answer 23

Question 24

5. Unter Validität bzw. Gültigkeit wird in der DIN das Ausmaß verstanden, in dem Interpretationen von eignungsdiagnostischen Informationen zutreffend sind. Welche Aspekte müssen laut DIN in den Verfahrenshinweisen beachtet werden?

:) Validität (2)

Answer 24

Question 25

**6. Was muss zur Sicherung der Inhaltsvalidität /Inhaltsgültigkeit nachvollziehbar angegeben werden und was ist in Bezug auf die Anzahl der Items (einschließlich Elimination und Hinzufügen von Items) zu beachten?** Was muss zur Sicherung der Inhaltsgültigkeit bzw. Inhaltsvalidität angegeben werden

Answer 25

Zur Sicherung der Inhaltsgültigkeit bzw. Inhaltsvalidität muss nachvollziehbar angegeben sein, warum Items für Messung eines Konstrukts herangezogen werden

Question 26

**6. Was muss zur Sicherung der Inhaltsvalidität /Inhaltsgültigkeit nachvollziehbar angegeben werden und was ist in Bezug auf die Anzahl der Items (einschließlich Elimination und Hinzufügen von Items) zu beachten?** Zur Sicherung der Inhaltsgültigkeit bzw. Inhaltsvalidität muss nachvollziehbar angegeben sein, warum Items für Messung eines Konstrukts herangezogen werden. ... Welche drei Punkte gehören hier dazu

Answer 26

➔ Dazu muss Gegenstandsbereich des Fragebogens/Tests genau definiert werden ➔ Ableitung der Items muss aus theoretischem Modell dargestellt werden ➔ Jedes einzelne Item muss gerechtfertigt sein

Question 27

**6. Was muss zur Sicherung der Inhaltsvalidität /Inhaltsgültigkeit nachvollziehbar angegeben werden und was ist in Bezug auf die Anzahl der Items (einschließlich Elimination und Hinzufügen von Items) zu beachten?** Nach was richtet sich die Anzahl der Items

Answer 27

Anzahl der Items richtet sich u.a. nach der Breite des Konstrukts sowie nach gewünschter Zuverlässigkeit

Question 28

**6. Was muss zur Sicherung der Inhaltsvalidität /Inhaltsgültigkeit nachvollziehbar angegeben werden und was ist in Bezug auf die Anzahl der Items (einschließlich Elimination und Hinzufügen von Items) zu beachten?** Aufgrund von was sollten Items NICHT einfahch entfernt werden

Answer 28

Items nicht einfach aufgrund der Basis von statistischen Analysen entfernen (z.B. wegen zu geringer Trennschärfe) ➔ Immer Gefahr von Verlust an Inhaltsgültigkeit, da Item ja zuvor aus theoretischen Erwägungen heraus gewählt wurde und jetzt wieder rausgenommen wurde ➔ Oft Umformulieren von Items besser

Question 29

**6. Was muss zur Sicherung der Inhaltsvalidität /Inhaltsgültigkeit nachvollziehbar angegeben werden und was ist in Bezug auf die Anzahl der Items (einschließlich Elimination und Hinzufügen von Items) zu beachten?** Items nicht einfach aufgrund der Basis von statistischen Analysen entfernen (z.B. wegen zu geringer Trennschärfe). ... Das Hinzufügen von gleichlautenden Items zu Fragebogen aufgrund von niedriger Reliabilitätsschätzungen ebenfalls kritisch. Warum?

Answer 29

➔ Reduziert ebenfalls Inhaltsvalidität ➔ Diese Items führen dann zwangsweise durch ihre hohe Korrelation mit anderen identisch formulierten Items zu hohen Trennschärfen und damit auch zu hohen Reliabilitätsschätzungen ➔ Mit diesem Vorgehen werden die Inhaltsgültigkeit und zusätzlich die Eindimensionalität gefährdet ➔ guter Hinweis auf die Inhaltgültigkeit eines Fragebogen/Tests ist ein entsprechendes Kapitel in den Verfahrenshinweisen und darüber hinaus

Question 30

**6. Was muss zur Sicherung der Inhaltsvalidität /Inhaltsgültigkeit nachvollziehbar angegeben werden und was ist in Bezug auf die Anzahl der Items (einschließlich Elimination und Hinzufügen von Items) zu beachten?** :) Inhaltsgüte

Answer 30

Question 31

**7. Bezieht sich die Prüfung der Konstruktgültigkeit auf einzelne Daten oder auf die Gesamtheit der Aussagen? Und welche Aspekte müssen bezüglich der Konstruktgültigkeit/Konstruktvalidität in den Verfahrenshinweisen beachtet werden? ** Was ist wichtig darzulegen und zu untersuchen wenn ein Test entwickelt wird

Answer 31

Wird ein Test entwickelt, ist es wichtig, das nomologische Netz des Tests darzulegen und an das zu messende Konstrukt angrenzende oder überlappende Konstrukte zu untersuchen

Question 32

**7. Bezieht sich die Prüfung der Konstruktgültigkeit auf einzelne Daten oder auf die Gesamtheit der Aussagen? Und welche Aspekte müssen bezüglich der Konstruktgültigkeit/Konstruktvalidität in den Verfahrenshinweisen beachtet werden? ** Man bezeichnet Tests, die denselben Messanspruch haben, als ...

Answer 32

konvergente Verfahren

Question 33

**7. Bezieht sich die Prüfung der Konstruktgültigkeit auf einzelne Daten oder auf die Gesamtheit der Aussagen? Und welche Aspekte müssen bezüglich der Konstruktgültigkeit/Konstruktvalidität in den Verfahrenshinweisen beachtet werden?** Durch das Berechnen der Korrelation zwischen den beiden Testverfahren wird was geprüft?

Answer 33

Man bezeichnet Tests, die denselben Messanspruch haben, als konvergente Verfahren ➔ Durch das Berechnen der Korrelation zwischen den beiden Testverfahren wird die **konvergente Gültigkeit **geprüft

Question 34

**7. Bezieht sich die Prüfung der Konstruktgültigkeit auf einzelne Daten oder auf die Gesamtheit der Aussagen? Und welche Aspekte müssen bezüglich der Konstruktgültigkeit/Konstruktvalidität in den Verfahrenshinweisen beachtet werden?** Es handelt sich bei den Tests, die einen anderen Messanspruch besitzen als unser konstruiertes Verfahren, um (...) zur Prüfung der (...)

Answer 34

Question 35

**7. Bezieht sich die Prüfung der Konstruktgültigkeit auf einzelne Daten oder auf die Gesamtheit der Aussagen? Und welche Aspekte müssen bezüglich der Konstruktgültigkeit/Konstruktvalidität in den Verfahrenshinweisen beachtet werden?** Gültigkeitsprüfung bezieht sich nicht auf einzelne Daten der Prüfung, sondern auf was?

Answer 35

auf die Gesamtheit der Aussagen ➔ D.h. Testautoren stellen vor der Untersuchung Hypothesen auf, der zufolge z.B. die Korrelationen mit den konvergenten Tests höher ausfallen sollten als mit diskriminanten Tests

Question 36

**7. Bezieht sich die Prüfung der Konstruktgültigkeit auf einzelne Daten oder auf die Gesamtheit der Aussagen? Und welche Aspekte müssen bezüglich der Konstruktgültigkeit/Konstruktvalidität in den Verfahrenshinweisen beachtet werden?** Gültigkeitsprüfung bezieht sich nicht auf einzelne Daten der Prüfung, sondern auf die Gesamtheit der Aussagen ➔ D.h. Testautoren stellen vor der Untersuchung Hypothesen auf, der zufolge z.B. die Korrelationen mit den konvergenten Tests höher ausfallen sollten als mit diskriminanten Tests ... Was sollte vorlieen, damit von Konstruktgültigkeit gesprochen werden kann und aus was ergiebt sich diese

Answer 36

Question 37

**7. Bezieht sich die Prüfung der Konstruktgültigkeit auf einzelne Daten oder auf die Gesamtheit der Aussagen? Und welche Aspekte müssen bezüglich der Konstruktgültigkeit/Konstruktvalidität in den Verfahrenshinweisen beachtet werden?** Aus was ergiebt sich die Konstruktvalidität

Answer 37

Konstruktvalidität ergibt sich aus der Summe der Validierungsstrategien (konvergente und diskriminante Validierung)

Question 38

**7. Bezieht sich die Prüfung der Konstruktgültigkeit auf einzelne Daten oder auf die Gesamtheit der Aussagen? Und welche Aspekte müssen bezüglich der Konstruktgültigkeit/Konstruktvalidität in den Verfahrenshinweisen beachtet werden?** :) Konstruktgültigkeit

Answer 38

Question 39

**8. Was wird in der DIN in Bezug auf die Kriteriumsvalidität/Kriteriumsgültigkeit gefordert?** Was versteht man unter Kriteriumsgültigkeit

Answer 39

Unter Kriteriumsgültigkeit versteht man den Nachweis ➔ dass das aus einem eignungsdiagnostischen Verfahren abgeleiteten Ergebnis mit einem relevanten Kriterium „aus dem wirklichen Leben“ in substanzieller Beziehung steht ➔ Dabei muss das Kriterium nachweislich dem Einsatzbereich des Verfahrens entsprechen

Question 40

**8. Was wird in der DIN in Bezug auf die Kriteriumsvalidität/Kriteriumsgültigkeit gefordert?** Was sollte hierbei beschrieben werden / vorliegen

Answer 40

* In Verfahrenshinweisen soll beschrieben werden ➔ warum das in der Analyse jeweils verwendete Kriterium angemessen ist und ➔ wie es valide erfasst wird * Bei der Prüfung der Kriteriumsvalidität sollten explizite Hypothesen über vermutete Zusammenhänge vorliegen

Question 41

**8. Was wird in der DIN in Bezug auf die Kriteriumsvalidität/Kriteriumsgültigkeit gefordert?** :) Kriteriumsgültigkeit

Answer 41

Question 42

**9. Wie weit darf der aktuellste Validitätsnachweis für den intendierten Anwendungsbereich maximal zurückliegen?** Antworte

Answer 42

* Für die Gültigkeit (und übrigens auch für die Reliabilität) sollte der **aktuellste Nachweis** für den intendierten Anwendungsbereich** jünger als 8 **Jahre sein (DIN, 2016, S. 30) * Aus den Verfahrenshinweisen muss ersichtlich sein, ob die Gültigkeit für alle Messwerte eines Verfahrens gelten oder nur für Teile (z.B. in einem Konzentrationstest die relative Fehlerhäufigkeit oder die Anzahl korrekt bearbeiteter Items)

Question 43

**10.In vielen Fällen werden die Korrelationen zwischen einem Messwert eines Tests und einem Kriterium statistisch korrigiert. Welche Werte müssen in den Verfahrenshinweisen angegeben werden: die korrigierten und/oder unkorrigierten Werte?** Was sind die beiden häufigsten Korrekturen

Answer 43

Question 44

**10.In vielen Fällen werden die Korrelationen zwischen einem Messwert eines Tests und einem Kriterium statistisch korrigiert. Welche Werte müssen in den Verfahrenshinweisen angegeben werden: die korrigierten und/oder unkorrigierten Werte?** Erstelle hier noch Fragen!

Answer 44

Question 45

**10.In vielen Fällen werden die Korrelationen zwischen einem Messwert eines Tests und einem Kriterium statistisch korrigiert. Welche Werte müssen in den Verfahrenshinweisen angegeben werden: die korrigierten und/oder unkorrigierten Werte?** Erstelle hier noch Fragen!

Answer 45

Question 46

**11.Wann ist eine Normierung eines messtheoretisch fundierten Fragebogens oder Tests nötig?**

Answer 46

* Normierung ist immer dann nötig, wenn bei Interpretation der Ergebnisse eine Gegenüberstellung mit Vergleichsstichprobe angestrebt wird * Normwerte erleichtern die Interpretation der Testergebnisse