Brainscape's Knowledge GenomeTM

Browse over 1 million classes created by top students, professors, publishers, and experts.


See full index

M10: Diagnostik & Testtheorie > 04 Hauptgütekriterien > Flashcards

04 Hauptgütekriterien Flashcards

1
Q

Was sind die drei Hauptgütekriterien von Tests?

A
  • Objektivität
  • Reliabilität
  • Validität
How well did you know this?
1
Not at all
2
3
4
5
Perfectly
2
Q

Was sind Gütekriterien?

A

Qualitätsmerkmale psychologisch-diagnostischer Verfahren

How well did you know this?
1
Not at all
2
3
4
5
Perfectly
3
Q

Was sollte ich als Psychologin beim auswählen von Tests beachten?

A

Testhandbücher lesen und beurteilen, ob die Gütekriterien erfüllt sind oder nicht.

How well did you know this?
1
Not at all
2
3
4
5
Perfectly
4
Q

Welche drei Arten der Objektivität gibt es?

A
  • Durchführungsobjektivität
  • Auswertungsobjektivität
  • Interpretationsobjektivität
How well did you know this?
1
Not at all
2
3
4
5
Perfectly
5
Q

Was ist Objektivität?

A

In welchem Ausmass ist die Testung unabhängig von der Person, die die Testung durchführt, auswertet und interpretiert?

How well did you know this?
1
Not at all
2
3
4
5
Perfectly
6
Q

Wie kann Objektivität sicher gestellt werden?

A

Durch Gewissenhaftigkeit und Organisation

How well did you know this?
1
Not at all
2
3
4
5
Perfectly
7
Q

Welche drei Arten von Reliabilität gibt es?

A
  • (Innere) Konsistenz
  • Retest-Korrelation
  • Paralleltest-Korrelation
How well did you know this?
1
Not at all
2
3
4
5
Perfectly
8
Q

Was ist Reliabilität

A

Wie genau kann ein Verfahren ein Messgegenstand erfassen? (Messgenauigkeit)

How well did you know this?
1
Not at all
2
3
4
5
Perfectly
9
Q

Was ist Validität?

A

Kann das Verfahren das Messen, was es zu Messen beansprucht?

(Wenn z.B. eine Waage 3kg daneben liegt, und das jeden Tag, misst sie zwar Reliabel, das angezeigte Gewicht ist aber dann nicht valide)

How well did you know this?
1
Not at all
2
3
4
5
Perfectly
10
Q

Welche Arten von Validität gibt es?

A
  • Inhaltsvalidität
  • Konstruktvalidität
  • Kriteriumsvalidität
How well did you know this?
1
Not at all
2
3
4
5
Perfectly
11
Q

Warum sind die Hauptgütekriterien Hierarchisch?

A

Wenn das erste Kriterium - Objektivität - nicht gegeben ist, kann ein Test auch nicht reliabel und valide sein.

How well did you know this?
1
Not at all
2
3
4
5
Perfectly
12
Q

Wie kann Durchführungsobjektivität sichergestellt werden?

A

Standardisierte Testvorgabe (z.B. welche Hilfsmittel die Testperson brauchen darf, wie der Raum aussieht, wie sich die Testleitung verhalten und was sie sagen soll).

How well did you know this?
1
Not at all
2
3
4
5
Perfectly
13
Q

Wie kann Auswertungsobjektivität hergestellt werden?

A
  • Methode des lauten Denkens
  • Mehrere Personen, die auswerten
  • Klarer Auswertungsschlüssel
  • Materialien wie Auswertungsschablonen, Auswertungsblätter oder Auswertungsprogramme
How well did you know this?
1
Not at all
2
3
4
5
Perfectly
14
Q

Wie kann man Auswertungsobjektivität empirisch bestimmen?

A
  • Qualitativ: Methode des Lauten Denkens -> Person probiert Auswertung aus und denkt dabei laut
  • Korrelation zwischen den Auswertern berechnen
  • Varianzanalytische Pläne: Vraianz zwischen den Protokollbogen durch Varianz aller Testwerte)
How well did you know this?
1
Not at all
2
3
4
5
Perfectly
15
Q

Wie kann die Interpretationsobjektivität hergestellt werden?

A
  • Standardisierte Interpretation im Manual
  • Verschieden AuswerterInnen kommen zur gleichen Interpretation
How well did you know this?
1
Not at all
2
3
4
5
Perfectly
16
Q

Welche Validität ist direkt an die eigentliche Validität geknüpft?

A

Inhaltsvalidität

How well did you know this?
1
Not at all
2
3
4
5
Perfectly
17
Q

Was ist Inhaltsvalidität?

A

Wenn ein test/Fragebogen jedes Item des Merkmals wirklich hinreichend Präzise erfasst. -> die eigentliche Validität

z.B. “Ich gehe gerne auf Parties und bin immer pünktlich da” misst nicht nur Extraversion, sondern auch Gewissenhaftigkeit -> dies soll vermieden werden.

How well did you know this?
1
Not at all
2
3
4
5
Perfectly
18
Q

Was ist das Problem bei der Inhaltsvalidität?

A

Es gibt keinen statistischen Kennwert dafür, man kann sie nur durch Literatur und Logik oder mithilfe von Experten belegen.

-> Deswegen gibt es auch die Kriteriumsvalidität und die Kontruktvalidität, weil es dort möglich ist. -> Diese Arten bestimmten die Validität aber INDIREKT

How well did you know this?
1
Not at all
2
3
4
5
Perfectly
19
Q

Was hat einen wichtigen Einfluss auf die Validität?

A

Die Stichprobe -> eine homogene Stichprobe kann die Korrelationen verfälschen!

How well did you know this?
1
Not at all
2
3
4
5
Perfectly
20
Q

Was ist Augenscheinvalidität? (Zusätzlicher Validitätsbegriff)

A

Wenn der blosse Augenschein eines Tests für einen Laien gerechtfertigt erscheint. -> z.B. für den Getesteten

How well did you know this?
1
Not at all
2
3
4
5
Perfectly
21
Q

Was ist die Kriteriumsvalidität?

A

Hängt das Konstrukt (z.B. Einstellungsinterview, Intelligenztest), welches das Kriterium vorhersagen soll, Hypothesenkonform mit einem bestimmten Kriterium (z.B. Leistung der Mitarbeiter, Abiturnote) zusammen?

-> z.B. Vorhersagevalidität, Übereinstimmungsvalidität, Retrospektive Validität, Inkrementelle Validität

How well did you know this?
1
Not at all
2
3
4
5
Perfectly
22
Q

Was ist die Konstruktvalidität?

A

Hängt das Konstrukt mit andern, verwandten Konstrukten zusammen und mit fernen Konstrukten nicht zusammen?

(z.B. vergleich zweier Tests / zweier Abstrakter Konzepte (z.B. Intelligenz(tests)))

How well did you know this?
1
Not at all
2
3
4
5
Perfectly
23
Q

Was ist Inhaltsvalidität?

A

Ein Test und jedes Item davon misst das zu messende Merkmal (und nur das) hinreichend präzise.

How well did you know this?
1
Not at all
2
3
4
5
Perfectly
24
Q

Welche drei Arten von Konstruktvalidität gibt es?

A
  • Konvergente Konstruktvalidität
  • Diskriminante Konstruktvalidität
  • Faktorielle Konstruktvalidität
How well did you know this?
1
Not at all
2
3
4
5
Perfectly
25
Q

Welche vier Arten der Kriteriumsvalidität gibt es?

A
  • Vorhersagevalidität (Übereinstimmung des Konstruktes mit Zukünftigem Ereignis)
  • Übereinstimmungsvalidität (Übereinstimmung des Konstruktes mit zeitgleichem Ereignis)
  • Retrospektive Validität (Übereinstimmung des Konstruktes mit vergangenem Ereignis)
  • Inkrementelle Validität (misst sogar mehr als nur das Kriterium - erklärt mehr als die bisher etablierten Tests, Intelligenz erklärt z.B. nicht nur Schulerfolg sondern auch Berufserfolg)
How well did you know this?
1
Not at all
2
3
4
5
Perfectly
26
Q

Was ist ein Beispiel der inkrementellen Validität

A

Konstrukt “Emotionale Intelligenz” gilt als inkrementell valide, wenn das Mass für “Emotionale Intelligenz” über Intelligenz in seiner Standardform und Persönlichkeit im Sinne der Big 5 noch etwas mehr darüber hinaus vorhersagt.

How well did you know this?
1
Not at all
2
3
4
5
Perfectly
27
Q

Warum ist inkrementelle Validität gerade bei neuen Tests so wertvoll?

A

Wenn inkrementelle Validität gegeben ist, erklärt ein neuer Test etwas, was bisherige Tests noch nicht erklären konnten.

How well did you know this?
1
Not at all
2
3
4
5
Perfectly
28
Q

Was ist die Konvergente Validität

A

Zusammenhang zwischen eigenem Test und anderem Test des GLEICHEN Gültigkeitsbereiches.
(z.B. Intelligenz vs. Intelligenz)

-> ab zirka .20 Korrelation wird als ausreichend hoch angesehen bei unterschiedlichen Erfassungsmethoden (z.B. bei fragebogen vs semiprojektive Verfahren).

How well did you know this?
1
Not at all
2
3
4
5
Perfectly
29
Q

Was ist die Diskriminante Validität?

A

Zusammenhang des eigenen Tests mit anderem Test eines ANDEREN Gültigkeitsbereiches.
(z.B. Intelligenztest vs. Mass, dass Motivation erfasst)

-> Hier werden niedrige Zusammenhänge erwartet

How well did you know this?
1
Not at all
2
3
4
5
Perfectly
30
Q

Was ist die faktorielle Validität?

A

Lässt sich die theoretisch angenommene Struktur des Tests auch empirisch finden?

-> z.B. lassen sich Big5 auch in der Faktorenanalyse finden? (Konfirmatorische Faktorenanalyse)

How well did you know this?
1
Not at all
2
3
4
5
Perfectly
31
Q

Welche Methoden zur bestimmung der Konstruktvalidität gibt es?

A
  • Konfirmatorische Faktorenanalyse
  • Nicht Korrelative Ansätze
  • MTMM-Matrix
How well did you know this?
1
Not at all
2
3
4
5
Perfectly
32
Q

Welche nicht.korrelativen Ansätze zur Bestimmung der Konstruktvalidität gibt es?

A
  • Analyse von Gruppenunterschiede (z.B. Depressive vs. nicht Depressive -> unterscheiden sie sich?)
  • Extremgruppenvalidierungen (z.B. Erhalten Hochbegabte tatsächlich hohe werte?)
  • Prozessanalyse (z.B. lautes Denken -> Wird Konstrukt auch so verstanden, wie es intendiert war)
  • Vergleich von Selbst- und Fremdeinschätzungen
  • Experimentelle Variation (z.B. Analyse von Stabilität vs. Veränderung von Testwerten, z.B. Stimmungen, je nach Präsentation von Reizen, sollten sich verändern)
How well did you know this?
1
Not at all
2
3
4
5
Perfectly
33
Q

Was ist die MTMM-Matrix?

A
  • Multi-Trait-Multi-Method
  • Aufwendige und elaborierte Zusammenhangsanalyse unter einbezug verschiedener Erhebungsmethoden (zusätzlich zum vergleich von Konstrukten)
34
Q

Warum und von wem wurde der MTMM-Ansatz entwickelt?

A

Campell und Fiske (1959) wollten nicht nur konstruktnahe und konstruktferne Tests (trait) vergleicht, sondern auch verschiedene Methoden / Bedingungen (Z.b. Fragebogen vs. Interveiw vs. Verhaltensbeobachtung)

35
Q

Was möchte man mit dem MTMM-Ansatz herausfinden?

A
  • Wie hoch korreliert das Konstrukt mit anderen Konstrukten?
  • Wie hoch ist der Anteil der Methodenvarianz (welchen Einfluss hat die Methode auf die Korrelation?)
36
Q

Welche Diagonalen gibt es bei der MTMM-Matrix?

A
  • Mono-Trait-Mono-Method: Reliabilitätsdiagonale, Cronbachs Alpha
  • Hetero-Trait-Mono-Method (diskriminante Validität)
  • Konvergente Validität / Mono-Trait-Hetero-Method
  • Hetero-Trait-Hetero-Method (nicht eingezeichnet, diskriminante Validität)
37
Q

Was muss in der MTMM-Matrix gegeben sein, damit die Konvergente Validität gegeben ist?

A

Die Werte in der (konvergenten) Validitätsdiagonale müssen signifikant von Null verschieden und ausreichend hoch sein.

38
Q

Was muss in der MTMM-Matrix gegeben sein, damit die diskriminante Validität gegeben ist?

A
  • Die Werte in der (konvergenten) Validitätsdiagonale müssen höher sein als die Werte im Hetero-Trait/Hetero-Method-Block
  • Die Werte in der (konvergenten) Validitätsdiagonale müssen höher sein als die Werte im Hetero-Trait/Mono-Method-Block
  • Die verschiedenen Blöcke weisen ähnliche Muster auf.
39
Q

Welche Faktoren können sich mindernd auf die Validität auswirken?

A
  • Methodenfaktoren (Verschiedene Erhebungsmethoden)
  • Kriteriumskontamination und- defizienz (Kriterium erfasst etwas anderes, als was angestrebt war bzw. etwas das für das Kriterium wichtig ist, wird nicht erfasst)
  • Mangelnde Symentrie zwischen Prädiktor und Kriterium (Erfassen ein breites Konstrukt mit enger Eigenschaft)
  • Streuungsrestriktion (Stichprobe ist vorausgewählt)
  • mangelnde Reliabilität im Kriterium oder Prädiktor (Messgenauigkeit)
40
Q

Was ist Reliabilität?

A

Anteil der Varianz der wahren Werte an der Varianz der beobachteten Werte. (Grad der Messgenauigkeit eines Messwerts.)

41
Q

Welche Arten von Reliabilität gibt es?

A
  • Innere / Interne Konsitenz
  • Retest-Reliabilität/Korrelation (Stabilität)
  • Paralleltest-Korrelation
42
Q

Zwischen welchen Werten ist der Bereich der Reliabilität und was bedeutet sie?

A

0 = Varianz der True-Score-Variablen (wahre Werte) sind gleich 0
1 = Varianz der Fehlervariablen gleich 0 -> perfekte Messung

43
Q

Wie kann die Reliabilität bestimmt werden?

A
  • mit mehreren beobachtbaren Variablen, die dasselbe Merkmal erfassen UND
  • Messmodellen, die es erlauben zu prüfen, ob die Variablen auch wirklich eine gemeinsame latente VAriable erfassen
44
Q

Welche fünf Messmodelle bietet die klassische Testtheorie?

A
  • Modell paralleler Messungen
  • Modell essenziell paralleler Messungen
  • Modell tau-äquivalenter Messungen
  • Modell essenziell tau-äquivalenter Messungen
  • Modell tau-kongenerischer Messungen
45
Q

Aus welchen drei Annahmen ergeben sich die fünf Modelle?

A
  • Messungen weisen unkorrelierte (unsystematische) Messfehler auf (ist eine der Grundannahmen der KTT)
  • Die wahren Werte der beiden Messungen hängen zusammen (tau äquivalent, essentiell tau äquivalent, tau-kongenerisch)
  • Die Fehlervarianz der Tests sind gleich
46
Q

Welche Arten von Zusammenhängen zwischen zwei Tests gibt es? (TAU)

A
  • tau-äquivalent (perfekter Zusammenhang)
  • essentiel tau-äquivalent (Unterschied nur durch EINE additive Konstante, z.B. Trainingseffekt)
  • tau-kongenerisch (Vorhersage möglich, aber schwächster Zusammenhang)
47
Q

Was sind parallele Messungen?

A
  • Verwendung gleicher Skala
  • wahre Werte beider Messungen sind gleich
  • Fehlervarianzen beider Messungen sind gleich

z.B. jede Person erzielt in Test A denselben wahren Wert, wie in Tests B -> beide Messungen sind gleich Messgenau (reliabel?

48
Q

Was haben alle fünf Messmodelle gemeinsam?

A

Die Fehlervarianzen sind unkorreliert

49
Q

Was sind esseziell-parallele Messungen

A
  • Verwendung gleicher Skala
  • wahre Werte beider Messungen unterscheiden sich um eine additive Konstante
  • Fehlervarianzen beider Messungen sind gleich

z.B. Es gibt einen Übungseffekt für Test B, d.h. die Leistung in Test B ist um eine Konstante verschoben.

50
Q

Was sind tau-äquivalente Messungen?

A
  • Verwendeung gleicher Skala
  • wahre Werte beider Messungen sind gleich
  • Fehlervarianzen beider Messungen sind nicht gleich
51
Q

Was sind esseziell tau-äquivalente Messungen

A
  • Verwendung gleicher Skala
  • wahre Werte beider Messungen unterscheiden sich um eine additive Konstante
  • Fehlervarianzen beider Messungen sind nicht gleich
52
Q

Was sind tau-kongenerische Messungen?

A
  • Verwendung unterschiedlicher Skala
  • wahre Werte beider Messungen unterscheiden sich um eine additive oder multiplikative Konstante
  • Fehlervarianzen beider Messungen sind nicht gleich
53
Q

Was ist der Sinn der fünf Messmodelle der KTT?

A

Sie helfen uns zu verstehen, welches Modell wir haben und entsprechend welche Art der Reliabilitätsbestimmung Sinn macht

(und wie hoch die Reliabilität zu erwarten ist 8?) (Bei tau-kongenerischen Modell ist die Reliabilität tiefer als beim parallelen Modell)

54
Q

Wie geht man bei der Reliabilitätsanalyse vor?

A
  • negativ formulierte Items umkodieren!
  • Überblick über die Daten verschaffen, um herauszufinden, welche Reliabilität berechnet werden kann (mit Schwierigkeitsindex, Trennschärfekoeffizinten)
55
Q

Wann wird interne Konsistenz bzw. Testhalbierungsreliabilität angewendet?

A

Wenn man in einem Test homogene Items hat.

56
Q

Was ist ein Paralleltest?

A

Mist das gleiche Konstrukt mit unterschiedlichen Items, welche sich aber sehr ähnlich sind (gleiche Schwierigkeit, Mittelwerte etc.)

57
Q

Wann wird die Retestreliabilität angewandt?

A

Wenn das Konstrukt Stabil ist (Emotionen und Stimmungen würden sich z.B nicht eignen, weil sie fluktuieren)

58
Q

Was ist ein Retest?

A

Gleicher Test wird zu zwei unterschiedlichen Zeitpunkten angewandt und dann die Ergebnisse korreliert.

59
Q

Was ist beim retest wichtig?

A

Der Zeitraum zwischen den beiden Tests
* kleiner Abstand: Problem der Übungseffekte, wenig Motivation
* grosser Abstand: Natürliche Veränderungsprozesse verändern den wahren Wert einer Person tatsächlich (z.B. bei Intelligenz)

60
Q

Was ist der Trennschärfekoeffizient?

A

Trennschärfekoeffizient macht Aussagen über die Güte einzelner Items (im Gegensatz zur Realiablität, welche sich auf eine ganze Skala bezieht)

61
Q

Welche Arten von Interner Konsistenz gibt es?

A
  • Testhalbierung (1 Korrelation)
  • Innere Konsistenz (Jedes Item wird Korreliert, durchschnittliche Korrelation wird berichtet)
62
Q

Wie heisst die Formel, mit der Innere Konsistenz (und nicht Testhälften) gemessen wird?

A

Cronbachs-Alpha

63
Q

Was ist die Mindestanforderung für die Berechnung von Cronbachs Alpha / Innerer Konsistenz?

A

Die Tests müssen mindestens tau-äquivalent sein.

64
Q

Was ist die Mindestanforderung für die Berechnung von Spearman Brown / Testhalbierung?

A

Mindestens parallel

65
Q

Was ist die Mindestanforderung für Paralleltests?

A

Mindestens parallel

66
Q

Wie heisst die Formel, mit der Testhalbierungskoeffizienten gemessen werden?

A

Spearman-Brown-Formel

67
Q

Wie kann man die Reliabilität erhöhen?

A
  • Objektivität erhöhen
  • Eindeutige Itemformulierungen
  • Items mit geringer Trennschärfe entfernen
  • Längerer Test misst genauer (vs. Zumutbarkeit, Motivation)
68
Q

Welche Faktoren beeinflussen die Reliabilität?

A
  • Je homogenere Tests, desto höher die Interne Konsistenz
  • Hohe Trennschäfte füht zu homogenen Test und damit Interner Konsistenz
  • Zeitspanne zwischen den Tests hat Einfluss auf Retestreliabilität
  • Je höher der Schnelligkeitfaktor, desto höher die Scheinkonsistenz
  • homogene Stichprobe führt zu weniger Varianz und höherer (falscher) Korrelationskoeffizient
  • Mehr Aufgaben mit mitteler Schwierigkeit führen zu mehr Reliabilität
  • Je weniger Antwortmöglichkeiten desto grösser der Zufallsfaktor desto grösser die Reliabilität
69
Q

Welche Art der Reliabilität ist am besten bei heterogenen Tests?

A

Testwiederholung

70
Q

Was ist die Faustregel von Lienert und Raatz für die Testzeiten?

A

Testzeit so wählen, dass 80% der N Pbn alle n Aufgaben in Angriff nehmen können.

71
Q

Was ist der praktische Nutzen der Spearman-Brown-Formel?

A

Sie zeigt auf, wie lang ein Test sein muss, damit er eine bestimmte Reliabilität aufweist.

72
Q

Wo sind die Einsatzbereiche der Korrelationen in der Testpsychologie?

A

Für die Berechnung von Kennwerten, z.b.:
* Reliabilität (für Schätzung der Reliabilitätskoeffizienten)
* Validität (Bestimmung der Testvalidität)

73
Q

Wie berechnet man die maximale Korrelation?

A

Reliabilität 1 x Reliabilität 2 in der Wurzel = max. Korrelation

74
Q

Wird die Reliabilität mit steigender Itemanzahl grösser oder kleiner?

A

Er wird grösser (sofern die Items hochwertig sind) (aber Ökonomie und Zumutbarkeit können leiden)

75
Q

Wird das Cronbach’s Alpha mit steigender Itemanzahl grösser oder kleiner?

A

Es wird grösser

76
Q

Erhöhen oder Reduzieren Items, die mit anderen Items negativ korrelieren, das Cronbach Alpha?

A

Sie reduzieren das Cronbachs Alpha.

77
Q

Ist der Wert, den man durch eine Spearman-Brown Korrektur erhält höher oder tiefer als der “Ursprungswert?

A

Nach oben (ohne würde die Schätzung nur die Testhälfte betreffen)

78
Q

Was wäre ein akzeptabler, was ein guter Reliabilitätskoeffizient gemäss Hofmann?

A

.60 - .70 sind akzeptabel
.70- .85 ist ausreichend
.85 und mehr sind sehr gut

-> Je nach Autor sind diese Angaben sehr unterschiedlich!! Je nach Situation auch. Dies gilt nur für Gruppen und nicht für Einzelpersonen!

79
Q

Wie hängen Trennschärfe, Homogenität und Reliabilität zusammen?

A
  • Trennschärfe kann als Indikator der Homogenität (in den Items!) gesehen werden.
  • Hohe Trennschärfen führen zu einer hohen Homogenität und dadurch einer höheren Reliabilität.
80
Q

Wie lautet die Spearman-Brown-Formel zu Frage: “Welche Reliabilität wird durch Testverlängerung (oder -verringerung) erreicht’?”

A
81
Q

Wie lautet die Spearman-Brown-Formel zur Frage: “Wie lang muss ein Test sein, damit er eine bestimmte Reliabilität aufweist?

A

M10: Diagnostik & Testtheorie (14 decks)

Brainscape helps you reach your goals faster, through stronger study habits.
© 2024 Bold Learning Solutions. Terms and Conditions