Brainscape's Knowledge GenomeTM

Browse over 1 million classes created by top students, professors, publishers, and experts.


See full index

Testtheorie > Validität > Flashcards

Validität Flashcards

1
Q

Wann ist ein Test valide?

A

-“gültig” wenn er das misst was er messen soll
- wenn die spezifischen Interpretationen von Testwerten in Hinblick auf die beabsichtigten Verwendungen eines Tests gerechtfertigt sind
- Qualitätsmerkmal hinsichtlich Zulässigkeit von Testwertinterpretationen

How well did you know this?
1
Not at all
2
3
4
5
Perfectly
2
Q

Welche Bereiche der Testwertinterpretation gibt es?

A
  • Bewertung: Vergleich, abschließende Bewertung
  • Verallgemeinerung Interpret Item -> auf andere Items
    Testitems ensprechen Inhalte eines Lehrplans
  • Extrapolation auf andere Bereiche außerhalb Tests:
    zB höherer Testwert -> höherer Erfolg
  • kausales Erklären -> Indikator für kausales Konstrukt
    zB testwert Indikator für Fähigkeit
  • Entscheidungsfindung: mögliche Konsequenzen als Folge des Testergebnis, schlusfolgernd

-> Validierung: Überlegung welche Bereiche?
T

How well did you know this?
1
Not at all
2
3
4
5
Perfectly
3
Q

Welche Merkmalsdefinitionen kennen wir?

A

operationale Merkmalsdefinition
theoretische Merkmalsdefinition
-> fließende Grenzen

How well did you know this?
1
Not at all
2
3
4
5
Perfectly
4
Q

Was ist eine operationale Merkmalsdefinition?

A
  • Testaufgaben repräsentieren Anforderungsbereich direkt
  • bezieht sich zunächst nur auf spezifische Tests/Inhalte
    zB Merktest für Kurzzeitgedächtnis, Fragebogen zu Einstellungen
How well did you know this?
1
Not at all
2
3
4
5
Perfectly
5
Q

Was ist eine theoretische Merkmalsdefinition?

A

Theorien herangezogen die spezifizieren worauf bestimmte Unterschiede zwischen Personen zurückgeführt werden können

zB Eysenck (1981): Annahmen neuronale Strukturen -> Persönlichkeitsdimension Extraversion

How well did you know this?
1
Not at all
2
3
4
5
Perfectly
6
Q

Welche Arten der Validität kennen wir?

A
  1. Inhaltsvalidität
  2. Kriteriumsvalidität
  3. Konstruktvalidität

weitere Begriffe:
- Übereinstimmungsvalidität
- prognostische Validität
- diskriminante Validität
- konvergente Validität
- Augenscheinvalidität

How well did you know this?
1
Not at all
2
3
4
5
Perfectly
7
Q

Was ist Inhaltsvalidität? Wie ist sie messbar?

A
  • misst Test wirklich interessierendes Merkmal?
  • unterschiedliche Antworten entsprechen unterschiede im interessierenden Merkmal?
    -> bezieht sich vA auf Verallgemeinbarkeit: sind ausgewählte Items eine repräsentative Auswahl

-> nicht messbar, nur durch gute theoretische Fundierung und daran orientierte Itemkonstrukton gebunden

How well did you know this?
1
Not at all
2
3
4
5
Perfectly
8
Q

Was ist Augenscheinvalidität?

A

Gibt an wieweit der Validitätsanspruch vom bloßen Augenschein her einem Laien gerechtfertigt erscheint

How well did you know this?
1
Not at all
2
3
4
5
Perfectly
9
Q

Was ist Konstruktvalidität? Welche Bereiche unterscheidet man? Wie ist sie Messbar?

A
  • Zusammenhang zwischen Items und Merkmalen wissenschaftlich fundiert
  • Ergebnisse vor Hintergrund eines theoretischen Konstrukts zu interpretieren
  • Bereich der Theorie/Bereich der Beobachtung = hypothetisch deduktiver Ansatz
    -theoretische Zusammenhänge als Axiome formuliert = Korrespondenzregeln, verknüpfen Theorie und Beobachtung
  • vorhergesagte Zusammenhänge: empirische Gesetze -> werden durch empirische Beobachtungen geprüft
  • nomologisches Netz aus Korrespondenzregeln und daraus abgeleiteten epirischen Gesetzen
  • schrittweise Prüfung des nomologischen Netzes = Ziel der Prüfung der Konstruktvalidität

Messmethoden: diskriminante/konvergente Validität, Multi-Trait-Multi-Method-Analysen, Analyse von Antwortprozessen (zB laut denken), verglich von theoretisch erwarteten Itemschwierigkeiten mit empirisch ermittelten

  • nie engültig belegt oder gar bewiesen; nur genau so lange gerechtfertigt bis sie falsifiziert wird

Problem: früher oft Mülleimerkategorie: beliebige Korrelationen als Belege für Konstruktvalidität bezeichnet

How well did you know this?
1
Not at all
2
3
4
5
Perfectly
10
Q

Womit beschäftigt sich der Bereich der Theorie der Konstruktvalidität?

A
  • latente Konstrukte und deren Zusammenhänge
  • im Idealfall Zusammenhänge durch Axiome formalisiert
How well did you know this?
1
Not at all
2
3
4
5
Perfectly
11
Q

Was besagen die Korrespondenzregeln bei der Konstruktvalidität?

A

geben an wie theoretische Zusammenhänge auf den Bereich des Beobachtbaren auswirken -> Zusammenhänge zwischen manifesten Variablen, Zusammenhänge zwischen Gruppen

-> Zusammenhänge empirisch weiter geprüft, überprüft ob theoretische Vorhersagen mit Empirie übereinstimmt

How well did you know this?
1
Not at all
2
3
4
5
Perfectly
12
Q

Wann wird von konvergenter Validität gesprochen?

A

es wird eine relativ hohe Korrelation zwischen zwei Tests gemessen -> Konstruktvalidität

How well did you know this?
1
Not at all
2
3
4
5
Perfectly
13
Q

Wann wird von diskriminanter Validität gesprochen?

A

es wird eine relativ niedrige Korrelation zwischen zwei Tests gemessen -> Konstruktvalidität

How well did you know this?
1
Not at all
2
3
4
5
Perfectly
14
Q

Was ist eine Multi-Trait-Multi-Method Matrix (MMTM)?

A
  • auf Korrelationen basierendes Vorgehen
  • sowohl interessierende als auch konkurrierende Traits mit unterschiedlichen Methoden erfasst und Ergebnisse korreliert
    -> Werte für konvergente und diskriminante Validität

-> Matrix sollte bestimme Bedinungen erfüllen:
1. mono trait, mono method > mono trait, hetero method = retest
2. mono trait, hetero method > hetero trait, mono method
3. hetero trait, mono method > hetero trait, hetero method

How well did you know this?
1
Not at all
2
3
4
5
Perfectly
15
Q

Was ist Kriteriumsvalidität?

A

Test hat Kritval wenn von Testwert erfolgreich auf ein Kriterium geschlossen werden kann (=Verhalten außerhalb der Testsituation)
-> Enge der Beziehung und Belastbarkeit von Testwert und externes Verhalten bestimmt Kritval

größte Bedeutung: welche Außenkriterien gewählt?
-> muss gut begründet und nachvollziehbar sein
- können zeitlich parallel (übereinstimmungsval) existieren
- können sich auf zukünftige Ausprägungen eines Merkmals beziehen (prognostische Validität)

How well did you know this?
1
Not at all
2
3
4
5
Perfectly
16
Q

Wie kann die Kriteriumsvalidität praktisch berechnet werden?

A

Korrelation von Testergebnis (X) und Außenkriterium (A)
vâl=r(X,A)

problematisch: Validität wird durch zwei Messfehler “verdünnt” -> fällt wegen Messfehler geringer aus als in Wirklichkeit

vâl=r(X,A) ≤ vâl=r(τₓ,τₐ)

17
Q

Welche Verdünnungsformeln kennen wir und wofür werden sie angewendet?

A

theoretische Beseitigung des Messfehlers

  1. beseitigung beider Messfehler:
    r(τₓ,τₐ)= r (X, A) / (√rêl(X) * √rêl(A))
  2. beseitigung das Messfehlers vom Test:
    r(τₓ,A)= r (X, A) / √rêl(X)
  3. Beseitigung des Messfehlers vom Kriterium:
    r(X, τₐ)= r (X, A) / √rêl(A)
18
Q

Was ist die Grundrate bzw. Grundquote und was ist die Selektionsrate bzw. Selektionsquote?

A
  • Individuum muss über bestimmte Mindestausprägung eines Merkmals verfügen um für Anforderung X geeignet zu sein
  • je nach Ausprägung ist nur ein gewisser Anteil der relevanten Population wirklich geeignet
    -> Anteil = GR bzw. GQ
  • auf Grund Testergebnis bestimmter Anteil als geeignet beachtet -> SR bzw. SQ
19
Q

Wie läuft der argumentatnionsbasierte Ansatz der Validierung ab?

A

a) Spezifikation einer angestrebten Testwertinterpretation
-> muss für jede Interpretation separat erfolgen
Vorsicht bei unkritischen Generalisierungen

b) Identifikation und Formulierung von empirisch prüfbaren Grundannahmen, erschöpfende Grundannahmen
-> ist Konstrukt und Ausprägungsspektrum hinreichend gut repräsentiert?
-> Konstrukirrelevante Varianz: zusätzliche messfehlerhafte Varianzquellen
-> Konstruktunterrepräsentation: wesentliche Aspekte nicht abgedeckt
-> empirisch prüfbar zB konkurrierende Hypothesen

c) Sammlung empirischer Evidenz mit der Grundannahmen gestützt oder widerlegt werden können
-> Testinhalte, Antwortprozesse, interne Struktur der Daten, Beziehungen der Testwerte zu anderen Variablen
-> sind nicht Indizien für unterschiedliche Validitätsarten sondern integrativ zu beurteilen

d) abschließende integrative Beurteilung der Angemessenheit der intendierten Teswertinterpretation
-> alle Versuche die relevanten Grundannahmen zu widerlegen erfolglos blieben

-> Validierung:
-Prozess unterstützende Belege (Evidenz) für die beabsichtigte Testwertinterpretation zu sammeln
-immer nur vorläufigen Charakter
- ähnelt theoriegeleiteter und hypothesenbasierter Forschung
- kein immer gleiches Routineverfahren
- folgt dem Falsifikationsprinzip

20
Q

Wie hat sich das Konzept Validität mit der Zeit verändert?

A

heute: zusammenfassendes Gütekriterium, integrativ
Verwendung und Belastbarkeit von Testwertinterpretationen
früher: Eigenschaft eines Tests

“Validität eines Tests” ist FALSCH
spezifische, explizit zu definierende Interpreationen und Verwendungen von Testwerten
-> jede Interpretation erfordert separate Prüfung der Validität

21
Q

Welche Arten der Validität kennen wir?

A
  1. Kriteriumsvalidität (Aupenkriterium)
  2. Übereinstimmungsvalidität
  3. prognostische Validität
  4. inkrementelle Validität (Maß dafür wie der Test die Vorhersage eines bestimmten Kriteriums verbessert)
  5. Inhaltsvalidität (Experten)
  6. Augenscheinvalidität (Laien)
  7. konvergente Validität
  8. diskriminante Validität
  9. faktorielle Validität: Befunde der CFA die Struktur bestätigen

—> zusammengefasst als gemeinsames Qualitätsurteil

22
Q

Was ist der Validitätskoeffizient nach Taylor Russel? Wie beeinflusst sie Kosten-Nutzen Rechnungen?

A
23
Q

Was ist das Validitätsargument?

A

Gesamtheit der Argumentation zur Stützung der Validität einer spezifischen Testwertinterpretation

24
Q

Was ist eine erklärende Inferenz?

A

Annahme dass Personen mit niedrigen Testwerten eine niedrige, Personen mit hohen Testwerten eine hohe Ausprägung im latenten Merkmal

25
Q

Welche Voraussetzungen stellt die Validierung an eine Versuchsplanung?

A
  • Stichprobe muss ausreichend sein

Testtheorie (10 decks)

Brainscape helps you reach your goals faster, through stronger study habits.
© 2024 Bold Learning Solutions. Terms and Conditions