3. Validität Flashcards

1
Q

Erfasse Validität

A

Die Gültigkeit, Wahrheit oder Angemessenheit von Schlussfolgerungen oder Konstrukten wird bewertet

How well did you know this?
1
Not at all
2
3
4
5
Perfectly
2
Q

Welche drei Theorien zur Validität gibt es?

A

KORRESPONDENZ-THEORIE
KOHÄRENZ-THEORIE
PRAGMATISMUS

How well did you know this?
1
Not at all
2
3
4
5
Perfectly
3
Q

Erfasse die Korrespondenz-Theorie

A

Eine Behauptung ist wahr, wenn sie mit der Empirie übereinstimmt

How well did you know this?
1
Not at all
2
3
4
5
Perfectly
4
Q

Erfasse die Kohärenztheorie

A

Eine Behauptung ist wahr, wenn sie auf einer Gruppe kohärenter akzeptierter Behauptungen aufbaut

How well did you know this?
1
Not at all
2
3
4
5
Perfectly
5
Q

Erfasse die Pragmatismus Theorie

A

Eine Behauptung ist wahr, wenn sie nützlich ist

How well did you know this?
1
Not at all
2
3
4
5
Perfectly
6
Q

Erkläre die jeweilige Probleme an den drei Theorien zur Validität

A

Korrespondenz-Theorie: Daten nicht theoriefrei beschreibbar
Kohärenztheorie: Kohärente Systeme müssen nicht wahr sein
Pragmatismus: Nicht jede Wahrheit ist (sofort) nützlich

How well did you know this?
1
Not at all
2
3
4
5
Perfectly
7
Q

Nenne die vier Arten der Validität

A
  1. Validität von statistischen Schlussfolgerungen
  2. Interner Validität
  3. Externer Validität
  4. Konstruktvalidität
How well did you know this?
1
Not at all
2
3
4
5
Perfectly
8
Q

Validität von Statistischen Schlussfolgerungen

A

werden statistische Methoden korrekt angewandt und richtig interpretiert?

  • Skalenniveau?
  • sind alle Voraussetzungen gegeben?
  • wurde richtig gerechnet?
How well did you know this?
1
Not at all
2
3
4
5
Perfectly
9
Q

Interner Validität

A

Ist der Zusammenhang kausal?

How well did you know this?
1
Not at all
2
3
4
5
Perfectly
10
Q

Externer Validität

A

Generalisierbarkeit wenn stichprobe, settings und treatmentbedingunen variiert werden?

How well did you know this?
1
Not at all
2
3
4
5
Perfectly
11
Q

Konstruktvalidität

A

Ist der Ruckschluss aus den beobachteten Variballen (manifest) auf das Konstrukt (latent) gültig?

How well did you know this?
1
Not at all
2
3
4
5
Perfectly
12
Q

Umgang mit Gefährdungen der Validität

A

— Liste von häufigen Gefährdungen zur Kritik der eigenen Versuchspläme erstellen
— Versuchsplanerischer Ausschluss von Validitätsgefährdungen (durch Randomisierung)
— Statistische Kontrolle

How well did you know this?
1
Not at all
2
3
4
5
Perfectly
13
Q

Das Erkennen von Gefährdungen hängt von _________________ und _______________ ab

A

Theoriebildung

Erkenntnisstand

How well did you know this?
1
Not at all
2
3
4
5
Perfectly
14
Q

Nenne die verschiedenen Fehlertypen

A

ALPHA FEHLER
BETA FEHLER
Fehler der Effektgrößenabschätzung

How well did you know this?
1
Not at all
2
3
4
5
Perfectly
15
Q

Erfasse alpha-fehler

A

Ablehnung der „richtigen“ Nullhypothese

Zusammenhang wir behauptet obwohl nicht vorhanden

How well did you know this?
1
Not at all
2
3
4
5
Perfectly
16
Q

Erfasse Beta-Fehler

A

Beibehaltung der „falschen“ Nullhypothese

Vorhandener Zusammenhang wird nicht entdeckt

17
Q

Erfasse P-Wert

A

Die Wahrscheinlichkeit dafür dass ein Effekt mindestens in der beobachteten Höhe in einer Stichprobe auftritt, wenn kein Effekt in der Population angenommen wird

18
Q

Statistische Kontrolle enthält:

A

— Kovariationen
— Mittelwertsunterschiede in der KG und EG
— Signifikanztestung
— Effektgröße

19
Q

Um Fehlinterpretationen zu vermeiden, soll in Publikationen folgende Angaben sein:

A

— Effektgrößen
— 95% Konfidenzintervalle
— exakte P-Werte

20
Q

Name the nine threats to statistical conclusion validity

A
1. low statistical power
2 violated assumptions of stat. tests
3. fishing
4. unreliable messures
5. restriction of range
6. unreliability of treatment implementation
7. extraneous variance in experimental setting
8. heterogeneity of units
9. inaccurate effect size estimation
21
Q

Erfasse ‚Low Statistical power‘ als Gefährdung zur Validität (Probleme und potenzielle Lösungen)

A

Problem:
• hoher standardfehler
• große Konfidenzintervalle
• viele ß-Fehler

Lösungen:
• vor der Untersuchung, optimalen Stichprobenumfang berechnen
• power-analyse nach der Datenerhebung

22
Q

Möglichkeite Methoden um ‚Statistical Power‘ zu erhöhen?

A
— matching, stat. Paarbildung, stat. Zwillinge
— Erhebung von Kovariaten
— Erhöhung der Stichprpbengröße
— gleiche Zellen benutzung
— Verbesserung der Messung (mehrere Messwerte pro person, bessere Instrumente)
— stärkeres Treatment
— mehr Treatmentvariabilität
— Messwiederholungen
— homogene Stichproben
— Einsatz teststarker stat. Verfahren
23
Q

Erfasse ‚Violated assumptioms of statistical tests‘ als Gerfährdung zur Validität.

A
  • nicht immer problematisch (t-Test robust)
  • Unabhängigkeit der Stichprobenelemente nicht gegeben

LÖSUNG: nested designs

24
Q

Was sind ‚Nested Designs‘?

A

hierarchische Modelle, welche bei der Auswertung mehrere Ebenen, deren Verknüpfungen berücksichtigen

25
Q

Erfasse ‚Fishing‘ und wie es zu eine Gefährdung der Validität wird?

A

— viele Variablen werden untereinander korreliert
— viele Gruppenmittelwerte werden paarweise verglichen
— nur die sig. Ergebnisse werden berichtet

26
Q

Lösungen für ‚Fishing‘?

A

— Bonferroni - Korrektur
— Multivariate Auswertungen
— Post-hoc signifikanztests

27
Q

Erfasse ‚Unreliability of measures‘ als Gerfährdung zur Validität

A

Problem: Erhöhung der Fehlervarianz

— abschwächung von bivariaten Zusammenhängen z.b. Korrelationen, Mittelwertsunterschiede

28
Q

Unreliabilty of measures: Lösungen

A

— mehr Messungen
— mehr Rater/Rater-Training
— bessere Messinstrumente
— latente Merkmalsanalysen (SEM)

29
Q

Erfasse ‚Restriction of Range‘ als Gefährdung zur Validität.

A

Problem: Varianzvernichtung durch ungeeignete Datenerhebung
— kaum Unterschiede in Treatment (kleine vs. mittlere Dosis)
— Decken- oder Bodeneffekte durch Stichprobenauswahl
— Pilottests

30
Q

Erfasse ‚Unreliability of Treatment Implementation‘ als Gefährdung zur Validität.

A

— keine kontrollierte Laborbedingungen
— treatment ist vom Versuchsleiter abhängig
— kein standardisiertes Vorgehen
— komponenenten nach Bedarf zusammengestellt

folgen:
erhöhte Fehlervarian, reduzierte effektgröße

31
Q

Erfasse ‚Extraneous Variance‘

A

Störvariablen

  • Geräusch
  • Temperatur
  • Versuchsleiter

Lösungen! standardisiertes vorgehen, erhebung der möglivhen Störquellen und aberücksichtigung bei der Auswertung

32
Q

Extraneous variance: Lösungen

A

— standardisiertes vorgehen

— Erhebung der Störvariabeln, und Berücksichtigung in der Auswertung

33
Q

Heterogeneity of Units

A

bei der aV gibt ed zu viel