2) Grundlagen- Gütekriterien Flashcards

1
Q

Was sind die Hauptgütekriterien?

A
  1. Objektivität
  2. Reliabilität
  3. Validität
How well did you know this?
1
Not at all
2
3
4
5
Perfectly
2
Q

Was sind die Nebengütekriterien?

A
  1. Normierung
  2. Skalierung
  3. Zumutbarkeit
  4. Unverfälschbarkeit
  5. Fairness
  6. Ökonomie
  7. Nützlichkeit
How well did you know this?
1
Not at all
2
3
4
5
Perfectly
3
Q

Was besagt die Objektivität im allgemein?

A
  • Das Ergebnisse eines diagnostischen Verfahrend unabhängig davon zustande gekommen ist, wer die Untersuchung, Auswertung und Interpretation durchgeführt hat
How well did you know this?
1
Not at all
2
3
4
5
Perfectly
4
Q

Welche Unterformen der Objektivität gibt es ?

A
  1. Durchführungsobjektivität
  2. Auswertungsobjektivität
  3. Interpretationsobjektivität
How well did you know this?
1
Not at all
2
3
4
5
Perfectly
5
Q

Was besagt die Durchführungsobjektivität und was ist ihr Ziel?

A

Verfahren muss immer auf die Gleiche Weise durchgeführt werden
* Testmaterial mitgeliefert
* Durchführungsbedingungen Spezifizieren: Einzel/-Gruppen,Arbeitsplatzbedingungen
* Verhaltensanweisungen für den Testleiter: Instruktion, Zeitvorgaben
* ZIEL: maximale Standardisierung der Durchführung

How well did you know this?
1
Not at all
2
3
4
5
Perfectly
6
Q

Was ist die Kritik an der Durchführungsobjektivität?

A
  • das Ziel ist weder möglich, noch erwünscht
  • Geschlecht, Aussehen, Alter, Kleidung,… des Versuchsleiters nicht standardisierbar
How well did you know this?
1
Not at all
2
3
4
5
Perfectly
7
Q

Wann ist die Durchführungsobjektivität gegeben?

A
  • “hoch” / “ gegeben”, wenn alle Bedingungen festgelgt sind
How well did you know this?
1
Not at all
2
3
4
5
Perfectly
8
Q

Was besagt die Auswertungsobjektivität?

A

gleiches Verhalten der Testperson soll nach stets exakt den selben Regeln abgebildet werden
* Antwortverhalten meist “Kreuzchen”
* Auswertungs: eine Antwort “richtig” oder “falsch” & meist mit Schablonen (Anzahl der “richtigen” aufaddiert) -> Ergebnis = Rohwert

How well did you know this?
1
Not at all
2
3
4
5
Perfectly
9
Q

was sind zwei Beispiele für das Auswerten freier Antworten für die Auswertungsobjektivität?

A

1. HAWIE:
* Testleiter muss Antwort sofort bewerten, da nach bestimmter Anzahl von Falschen antworten abgebrochen wird
* Manual: genaue Angaben, wann “falsch” / “richtig”
2. Projektive Verfahren:
* lange Antworten werden wörtlich protokolliert, Auswertung inhaltsanalytisch nach kompliziertem Verfahren

Auswertungsobjektivität bei diesen Verfahren nicht perfekt

How well did you know this?
1
Not at all
2
3
4
5
Perfectly
10
Q

Was besagt die Interpretationsobjektivität? Und wann ist sie gegeben?

A
  • Interpretieren = dem Rohwert des Probanden eine Bedeutung geben
  • ist gegeben= wenn alle Testanwender diesen Rohwert in die gleiche Aussage über den Probanden transformieren
How well did you know this?
1
Not at all
2
3
4
5
Perfectly
11
Q

Was ist die Reliabilität

A

= Genauigkeit, mit der ein Test ein Merkmal erfasst

Unter Reliabilität versteht man die Zuverlässigkeit einer Messmethode. Eine Untersuchung wird dann als reliabel bezeichnet, wenn es bei einer Wiederholung der Messung unter denselben Bedingungen und an denselben Gegenständen zu demselben Ergebnis kommt.

How well did you know this?
1
Not at all
2
3
4
5
Perfectly
12
Q

Was versteht man unter Retest-Reliabilität?

A

ein und derselbe Test wird ein und derselben Stichprobe wiederholt dargeboten
* Retest-Reliabilität = Korrelation zw. den beiden Tests
* Stabilität des Merkmals beeinflusst die Retest- Reliabilität
* niedrige Werte sind nicht immer dem Test anzulasten

How well did you know this?
1
Not at all
2
3
4
5
Perfectly
13
Q

Was ist ein Beispiel für die Beeinflussung der Retest-Reliabilität durch die stabilität des Merkmals?

A

Persönlichkeit
* Alter der Probanden hat Einfluss auf die Höhe der Koffizienten
* -> Je älter, desto stabiler sind Persönlichkeitsmerkmale

How well did you know this?
1
Not at all
2
3
4
5
Perfectly
14
Q

Was ist Validität?

A
  • übereinstimmung von Testergebnissen mit dem, was der Test messen soll
  • Urteil darüber, wie angemessen Schlussfolgerungen sind

wichtigstes Gütekriterim
* hoch reliable/Objektiv: dennoch unbrauchbar
* Reliabilität / Objektivität: sind gute Vorausssetzungen aber keine Garantie
* Nachweis, dass der Test auch das misst, was er soll

How well did you know this?
1
Not at all
2
3
4
5
Perfectly
15
Q

Welche Arten der Vaidität gibt es?

A
  1. Inhaltsvalidität
  2. Kriteriumsvalidität
  3. Konstruktvalidität
How well did you know this?
1
Not at all
2
3
4
5
Perfectly
16
Q

Was fällt unter die Inhaltsvalidität?

A

wie repräsentativ sind die Items für das zu messende Merkmal
* Itemuniversum: sämtliche Items, die hypothethisch zu einem Konstrukt gefunden werden können
* inhaltsvalider Text besteht aus repräsentativer Auswahl von Items aus dem Universum

17
Q

Was besagt die Kriteriumsvalidität?

A

Zusammenhang zw. Testergebnis &konkreten Leistungen/ Verhaltensweisen außerhalb der Testsituation
* Kriterium muss für vorgesehenen Einsatbereich relevant sein
* Kriterium = Test soll erfassen/vorhersagen (Intelligenztest zur Vorhersage von Schulerfolg (=kriterium))
* Kriterium: etwas konkretes, dirket messbares (z.B Prüfungsleistungen)

Welches Kriterium infrage kommt, ergibt sich aus der diagnostischen Zielsetzung

18
Q

was sind geeignete Kriterien für die Kriteriumsvalidität?

A
  • Fantasie sind keine Grenzen gesetz
  • Kriterien sind aber auch nicht belibig
    -> nicht selbererklärende müssen begründet werden
  • Intelligenz, Ängstlichkeit & Extraversion = KEINE Kriterien -> Konstrukte
19
Q

Wie wird die Kriteriumsvalidität bestimmt ?

A
  • Angabe meist als Korrelationskoeffizient
  • Erhebnung d. Kriteriums zeitlich mit testdurchführung oder deutlich später
    zeitgleich: Übereinstimmungsvalidität
    später: Vorhersagevalidität, prognostische V.
  • ein test der spätere Leistungen vorhersagen soll, sind Angaben zur prognostischen Validität erforderlich
20
Q

Was versteht man unter Konstruktvalidität?

A

empirische Belege dafür, dass ein Test das Konstrukt erfasst, welches er erfassen soll - und nicht ein anderes
* Konstrukte (z.B Intelligenz) existieren nicht real = abstrakt

21
Q

Was ist das Nomologische Netzwerkt der Konstruktvalidität?

A
  • Konstrukte müssen im nomologischen Netzwerk verankert sein
  • Aussagen/ Gesetze, die die Beziehung zw. … beschreiben:
    1. beobachtbaren Merkmalen
    2. theoretischen Konstrukten & Beobachtbarem
    3. verschiedenen theoretischen Konstrukten
22
Q

Was ist Konvergente/ diskriminante Validität und wo gehören sie dazu?

A
  • theoretische Ebene: mehrere Konstrukte mit bestimmten Relationen
  • gehöhren zur Konstruktvalidität
  • Konvergent muss deutlich höher sein, als diskriminante Validität
23
Q

Definition konvergente Validität

A

Zusammenhang mit Indikatoren, die das gleiche Konstrukt erfassen

Bedeutet dass, ein Test hoch mit anderen Tests korreliert, die vorgeben, das gleiche Konstrukt zu messen.

24
Q

Definition diskriminante Validität

A

Zusammenhang mit Indikatoren, die andere Konstrukte erfassen

Bedeutet dass, ein Test nicht mit anderen Tests korreliert, die vorgeben, ein anderes Konstrukt zu messen.

25
Q

Was ist Normierung ?

A
  • Nebengütekrietium

liefert ein Bezugssystem: induviduelle Testwerte im Vergleich zu einer größeren, meist repräsentativen Stichprobe
* Normen wichtig für Individualdiagnostik -> sagt uns, was Rohpunkte bedeuten
* Rohwerte in transformierte Werte überführen

26
Q

Was versteht man unter Äquivalentnormen ?

A
  • Zuordnung der Rohwerte zu bestimmten Referenzgruppen
  • Altersgruppen; Gruppen mit bestimmten psyischen Störungen
27
Q

Was versteht man unter der Variabilitäts-/Abweichungsnorm?

A

Voraussetzung: Gauß’sche Normalverteilung
* Normwert gibt an, wie weit eine Person mit ihrer Testleistung unter/ über dem Mittelwert einer Verleichsgruppe liegt

Vergleichsgruppe: Alter-, Geschlechts,-bildungsspezifische Normen

28
Q

Was sind Prozentrangnormen ?

A
  • keine Annahmen über die Verteilung nötig
  • PR = cumf/N*100
  • Variabilitätsnormen können in PR transformiert werden
  • PR20 = nur 20% der vergleichbaren Probanden erreichen den gleichen oder noch niedrigeren Messwert
29
Q

Was ist Skalierung ?

A
  • Nebengütekriterium
  • meistens: “richtige” Antworten zu Gesamtwert addiert
  • -> klassische Theorie: wird nicht hinterfragt, ob diese Verrechnungsregel angemessen ist
  • -> Item-Response - Theorie: Kriterium der Skalierung kann empirisch überprüft werden
30
Q

Was versthet man unter Zumutbarkeit?

A
  • Nebengütekriterium
  • Belastung der Testperson
  • Ermüdung, Zeit, emotinal belastend, körperliche anstrengung
  • Akzeptanz
31
Q

Was ist die Unverfälschbarkeit ?

A
  • Nebengütekriterium
  • Interesse an “schlechten” oder “guten” Testergebnissen
  • Täuschung
  • soziale Erwünschtheit

unverfälschbarkeit ist schwer zu beurteilen

32
Q

Was ist Fairness?

A
  • Nebengütekriterium
  • Test gilt als fair, wenn er keine Personengruppe benachteiligt
    -> wichtig bei Auswahl von Bewerbern
    -> Diskriminierung aufgrund ethnischer, soziokultureller, Gruppenzugehörigkeit
  • Gefahr besteht, dass die Tests explizites Wissen erfassen oder Wissen zum Lösen voraussetzen
33
Q

Was versteht man unter Ökonomie als Gütekriterium?

A
  • Test ist ökonomisch, wenn sein Einsatz wenig Geld, Zeit & Aufwand kostet
34
Q

Was versteht man unter Nützlichkeit bei den Gütekriterien ?

A
  • entscheidend = praktische Relevanz
  • Test ist nur nützlich, wenn er das Merkmal zuverlässiger, valider und/oder ökonomischer erfassen kann als andere Verfahren