3. Validität Flashcards
Erfasse Validität
Die Gültigkeit, Wahrheit oder Angemessenheit von Schlussfolgerungen oder Konstrukten wird bewertet
Welche drei Theorien zur Validität gibt es?
KORRESPONDENZ-THEORIE
KOHÄRENZ-THEORIE
PRAGMATISMUS
Erfasse die Korrespondenz-Theorie
Eine Behauptung ist wahr, wenn sie mit der Empirie übereinstimmt
Erfasse die Kohärenztheorie
Eine Behauptung ist wahr, wenn sie auf einer Gruppe kohärenter akzeptierter Behauptungen aufbaut
Erfasse die Pragmatismus Theorie
Eine Behauptung ist wahr, wenn sie nützlich ist
Erkläre die jeweilige Probleme an den drei Theorien zur Validität
Korrespondenz-Theorie: Daten nicht theoriefrei beschreibbar
Kohärenztheorie: Kohärente Systeme müssen nicht wahr sein
Pragmatismus: Nicht jede Wahrheit ist (sofort) nützlich
Nenne die vier Arten der Validität
- Validität von statistischen Schlussfolgerungen
- Interner Validität
- Externer Validität
- Konstruktvalidität
Validität von Statistischen Schlussfolgerungen
werden statistische Methoden korrekt angewandt und richtig interpretiert?
- Skalenniveau?
- sind alle Voraussetzungen gegeben?
- wurde richtig gerechnet?
Interner Validität
Ist der Zusammenhang kausal?
Externer Validität
Generalisierbarkeit wenn stichprobe, settings und treatmentbedingunen variiert werden?
Konstruktvalidität
Ist der Ruckschluss aus den beobachteten Variballen (manifest) auf das Konstrukt (latent) gültig?
Umgang mit Gefährdungen der Validität
— Liste von häufigen Gefährdungen zur Kritik der eigenen Versuchspläme erstellen
— Versuchsplanerischer Ausschluss von Validitätsgefährdungen (durch Randomisierung)
— Statistische Kontrolle
Das Erkennen von Gefährdungen hängt von _________________ und _______________ ab
Theoriebildung
Erkenntnisstand
Nenne die verschiedenen Fehlertypen
ALPHA FEHLER
BETA FEHLER
Fehler der Effektgrößenabschätzung
Erfasse alpha-fehler
Ablehnung der „richtigen“ Nullhypothese
Zusammenhang wir behauptet obwohl nicht vorhanden
Erfasse Beta-Fehler
Beibehaltung der „falschen“ Nullhypothese
Vorhandener Zusammenhang wird nicht entdeckt
Erfasse P-Wert
Die Wahrscheinlichkeit dafür dass ein Effekt mindestens in der beobachteten Höhe in einer Stichprobe auftritt, wenn kein Effekt in der Population angenommen wird
Statistische Kontrolle enthält:
— Kovariationen
— Mittelwertsunterschiede in der KG und EG
— Signifikanztestung
— Effektgröße
Um Fehlinterpretationen zu vermeiden, soll in Publikationen folgende Angaben sein:
— Effektgrößen
— 95% Konfidenzintervalle
— exakte P-Werte
Name the nine threats to statistical conclusion validity
1. low statistical power 2 violated assumptions of stat. tests 3. fishing 4. unreliable messures 5. restriction of range 6. unreliability of treatment implementation 7. extraneous variance in experimental setting 8. heterogeneity of units 9. inaccurate effect size estimation
Erfasse ‚Low Statistical power‘ als Gefährdung zur Validität (Probleme und potenzielle Lösungen)
Problem:
• hoher standardfehler
• große Konfidenzintervalle
• viele ß-Fehler
Lösungen:
• vor der Untersuchung, optimalen Stichprobenumfang berechnen
• power-analyse nach der Datenerhebung
Möglichkeite Methoden um ‚Statistical Power‘ zu erhöhen?
— matching, stat. Paarbildung, stat. Zwillinge — Erhebung von Kovariaten — Erhöhung der Stichprpbengröße — gleiche Zellen benutzung — Verbesserung der Messung (mehrere Messwerte pro person, bessere Instrumente) — stärkeres Treatment — mehr Treatmentvariabilität — Messwiederholungen — homogene Stichproben — Einsatz teststarker stat. Verfahren
Erfasse ‚Violated assumptioms of statistical tests‘ als Gerfährdung zur Validität.
- nicht immer problematisch (t-Test robust)
- Unabhängigkeit der Stichprobenelemente nicht gegeben
LÖSUNG: nested designs
Was sind ‚Nested Designs‘?
hierarchische Modelle, welche bei der Auswertung mehrere Ebenen, deren Verknüpfungen berücksichtigen
Erfasse ‚Fishing‘ und wie es zu eine Gefährdung der Validität wird?
— viele Variablen werden untereinander korreliert
— viele Gruppenmittelwerte werden paarweise verglichen
— nur die sig. Ergebnisse werden berichtet
Lösungen für ‚Fishing‘?
— Bonferroni - Korrektur
— Multivariate Auswertungen
— Post-hoc signifikanztests
Erfasse ‚Unreliability of measures‘ als Gerfährdung zur Validität
Problem: Erhöhung der Fehlervarianz
— abschwächung von bivariaten Zusammenhängen z.b. Korrelationen, Mittelwertsunterschiede
Unreliabilty of measures: Lösungen
— mehr Messungen
— mehr Rater/Rater-Training
— bessere Messinstrumente
— latente Merkmalsanalysen (SEM)
Erfasse ‚Restriction of Range‘ als Gefährdung zur Validität.
Problem: Varianzvernichtung durch ungeeignete Datenerhebung
— kaum Unterschiede in Treatment (kleine vs. mittlere Dosis)
— Decken- oder Bodeneffekte durch Stichprobenauswahl
— Pilottests
Erfasse ‚Unreliability of Treatment Implementation‘ als Gefährdung zur Validität.
— keine kontrollierte Laborbedingungen
— treatment ist vom Versuchsleiter abhängig
— kein standardisiertes Vorgehen
— komponenenten nach Bedarf zusammengestellt
folgen:
erhöhte Fehlervarian, reduzierte effektgröße
Erfasse ‚Extraneous Variance‘
Störvariablen
- Geräusch
- Temperatur
- Versuchsleiter
Lösungen! standardisiertes vorgehen, erhebung der möglivhen Störquellen und aberücksichtigung bei der Auswertung
Extraneous variance: Lösungen
— standardisiertes vorgehen
— Erhebung der Störvariabeln, und Berücksichtigung in der Auswertung
Heterogeneity of Units
bei der aV gibt ed zu viel
