VL6 - Validität Flashcards
Welche Arten von Störeinflüssen oder Fehlern können uns
in Studien unterlaufen?
a) Systematischer Fehler (Bias)
b) Konfundierung
c) Regression zur Mitte
d) Zufallsfehler = Rauschen
a) Systematischer Fehler (Bias)
- führt zu einer fehlerhaften Schätzung des Effekts/Ergebnisses einer Studie
➔Es gibt zwei Arten systematischer Fehler:
* Selektionsbias: Systematische Unterschiede zwischen denjenigen Personen, die an einer Studie
teilnehmen, und denen, die nicht teilnehmen
=Beispiel: RCT Rückenschmerzprogramm – nur gesündere machen mit
* Informations- oder Messbias: Messungen der Variablen sind inkorrekt
b) Konfundierung:
- Ein Faktor (z.B. Motivation), der nicht gemessen oder in der Studie kontrolliert wurde, beeinflusst die
Ergebnisse - Tritt insbesondere dann auf, wenn dieser Faktor in den beiden Gruppen (Experimental- und
Kontrollgruppe) unterschiedlich ausgeprägt ist - Kontrolltechnik: Matchen, Stratifizieren, Randomisieren
c) Regression zur Mitte:
- Eine Variable mit einer extremen Ausprägung bei der ersten Messung zeigt die Tendenz, bei einer
zweiten Messung sich dem Mittelwert anzunähern. - Muss insbesondere bei Experimenten oder bei jeglicher Veränderungsmessung kontrolliert werden.
d) Zufallsfehler = Rauschen
- Zufallsfehler in der Messung: sollten sich bei validen und reliablen Instrumenten idealerweise ausbalancieren.
- Kontrolltechnik: Große Stichproben, insbesondere auch zur Vermeidung des Fehlers zweiter Art.
Fehler 1. und 2. Art in Studien
- Fehler 1. Art: Wir nehmen fälschlicherweise einen Effekt an.
➔ Vermeiden durch gutes Studiendesign. - Fehler 2. Art: Wir “verpassen” einen Effekt, der eigentlich da ist.
➔ Ausreichende Stichprobengröße.
Verhältnis interne und externe Validität
Meist stehen die interne und externe Validität in einem reziproken Verhältnis, d.h. durch mehr Kontrolle
in einem Experiment erhöht man die interne Validität, reduziert dabei aber auch die externe Validität.
Interne Validität:
Eine Untersuchung ist dann intern valide, wenn die beobachtbare Änderung in der AV eindeutig (kausal) auf die Variation der interessierenden UV zurückgeführt werden können. (Bröder , 2011)
- Interne Validität setzt also voraus, dass keine (konfundierte) Störvariable vorliegt, die eine
Alternativerklärung für den vorgefundenen Effekt darstellen würde. - Intern valide Untersuchungen werden daher durch eine gute Kontrolle der Störvariablen erreicht
Arten von Störvariablen (4)
- Störvariablen der Versuchspersonen
- Störvariablen in der Untersuchungssituation
- Störvariablen durch Mehrfachmessung
- Störvariablen durch Erwartungen von Versuchsleiter und/oder Versuchsperson
Externe Validität:
Externe Validität liegt vor, wenn ein Untersuchungsergebnis auch auf andere als in der vorliegenden Untersuchung gegebenen Bedingungen übertragen werden kann (Bröder , 2011)
* Externe Validität bezieht sich also auf die Generalisierbarkeit experimenteller Effekte auf andere Situationen und Teilnehmer.
Störvariablen der Versuchspersonen
personengebundene Störvariablen
Selektionsbias
Personengebundene Störvariablen
Dauerhafte Eigenschaften:
* Ängstlichkeit
* Intelligenz
* Geschlecht
Temporäre Eigenschaften:
* Müdigkeit
* Stimmung
* Ausmaß des Hungers
Störvariablen in der Untersuchungssituation
Störvariablen der Situation
Störvariablen der Situation
- Die Situation selbst kann einen Einfluss auf das Verhalten oder die Leistung einer Person in einem Experiment haben.
Beispiele: - Lärm
- Ungünstige Beleuchtung
- Ablenkung der Versuchspersonen
- Problematisch kann es sein, wenn diese Störungen systematisch auftreten (z.B. der Baulärm
immer dann zunimmt, wenn die Kontrollgruppe dran ist) ➔ systematischer Fehler - Treten die Störungen zufällig auf, erhöhen sie den Zufallsfehler
Störvariablen durch Mehrfachmessung (7)
- Zwischenzeitliches Geschehen (history)
- Reifung (maturation)
- Testung (testing)
- Instrumente (instrumentation)
- Statistische Regression
- Drop-out (mortality)
- Interaktion zwischen Auswahl und anderen Störfaktoren (Versuchsleitereffekte)
Zwischenzeitliches Geschehen (history):
Ereignisse, die zeitgleich mit der Maßnahme geschehen, können die Effekte (mit-)beeinflussen
Reifung (maturation)
Die Beobachtungseinheiten verändern sich aufgrund biologischer Ursachen parallel zur Maßnahme;
z.B. könnte die sensomotorische Koordination bei Kleinkindern auch ohne Intervention besser werden.
Testung (testing)
Vorherige Messungen haben (durch Übung, Erinnerung, o.ä.) einen Einfluss auf die späteren Messungen;
z.B. können Probanden bei der Wiederholung eines Sprungtests „adaptieren“
Instrumente (instrumentation)
Messinstrumente sind zwischen den Bedingungen untereinander nicht vergleichbar;
z.B. könnte derselbe Sprachtest bei Sechsjährigen sprachliche Fertigkeiten und bei Achtjährigen Konzentrationsfähigkeit messen
z.B. können Instrumente falsch kalibriert sein
Statistische Regression (regression toward the mean)
Extremwerte tendieren bei erneuter Messung zu mittleren Werten.
Drop-out (mortality)
Unterschiedlicher Verlust an Beobachtungseinheiten über die Zeit in verschiedenen Bedingungen
“Hawthorne-Effekt”
Der Hawthorne-Effekt besagt, dass Menschen ihr Verhalten ändern, wenn sie wissen, dass sie beobachtet werden.
Alle Kontrolltechniken (9)
Experimentalgruppe(n) und Kontrollgruppe(n)
Randomisierung
Matching/Parallelisieren
Messwiederholung
Ausbalancieren
Eliminieren
Konstanthalten
Einführung der Störvariablen als UV
Erhöhung der Dosierung der UV
Kontrolltechniken
Zur Minimierung dieser zufälligen und systematischen Fehler, die die interne Validität herabsetzen, wurden zahlreiche Kontrolltechniken entwickelt.
Störvariablen durch Erwartungen von Versuchsleiter und/oder Versuchsperson
Interaktion zwischen Auswahl und anderen Störfaktoren (Versuchsleitereffekte) oder „Demand characteristics“:
Experimentalgruppe(n) und Kontrollgruppe(n)
= Es werden zwei Gruppen gebildet, von denen eine Gruppe
die experimentelle Bedingung erhält, die andere Gruppe jedoch nicht (Warteliste, Placebo, inaktive
Behandlung, „attention control“).
* Konsequenz: Natürliche Reifungsprozesse oder Regression
zur Mitte können kontrolliert werden, da sie in der
Kontrollgruppe ebenso auftreten sollten.
* Problem: Man muss sichergehen, dass beide Gruppen
vergleichbar sind –> Ausbalancieren und Randomisieren
Randomisierung
= Die Beobachtungseinheiten werden den Gruppen per Zufall zugewiesen, so dass alle potentiellen Störvariablen „in the long run“ in allen Gruppen möglichst gleich stark ausgeprägt sind.
* Konsequenz: Fehlerreduktion und zwar umso mehr, je größer n.
Probleme bei der Randomisierung
- Problem 1: Oft nicht anwendbar, wenn bereits bestehende Gruppen untersucht werden, oder eine Gruppenzuteilung unethisch wäre.
- Problem 2: Bei kleinem n kann die Zuteilung von Personen zu Gruppen zu starken Ungleichverteilungen potentieller Störvariablen führen.
Matching/Parallelisieren
= Die Beobachtungseinheiten werden bezüglich der mutmaßlichen Störvariablen in eine Rangreihe gebracht und den Gruppen dann „alternierend“ zugewiesen, so dass die Störvariable in allen Gruppen möglichst gleich ausgeprägt ist.
Beispiel Matching:
Untersuchung zum Einfluss der Lernmethode (A versus B) auf die Lernleistung. Eine mögliche Störvariable könnte hier der IQ der Personen sein.
Wichtig: Kein „A-B-A-B“-Schema sondern Zuweisung nach „A-B-B-A“
Messwiederholung
- Die Variation der unabhängigen Variablen erfolgt innerhalb der Beobachtungseinheiten
(„within-subjects“ im Vergleich zu „between-subjects“). - Vorteil: Der Einfluss des Fehlers verringert sich, da personenbezogene Unterschiede feststellbar sind.
Nebenwirkung: Kann neue Störeinflüsse zur Folge haben: - Positionseffekte: Störeinfluss bedingt durch die Position der Bedingungen. Kann sich positiv oder negativ auf die AV auswirken (z.B. Übungs- oder Ermüdungseffekt).
- Carry-Over-Effekte: zeitlich frühere Bedingungen haben einen inhaltlichen Einfluss auf die Werte der AV unter zeitlich späteren Bedingungen. –> Ausbalancieren
Ausbalancieren
= Bei Messwiederholungs-Designs relevant, um z.B. Positionseffekte kontrollieren zu
können. Die Reihenfolge der „treatments“ wird entweder in jeder Versuchsperson oder über randomisierte
Gruppen hinweg „ausbalanciert“.
Bei einer vollständigen Ausbalancierung von z.B. drei Bedingungen A, B, und C benötigt man 6
Gruppen. Dabei werden alle möglichen Abfolgen als Gruppen realisiert.
Unvollständige Plane benötigen weniger Gruppen und können in den meisten Fällen ebenfalls eine
adäquate Kontrolle gewährleisten.
Eliminieren
= Die Störvariable wird eliminiert
(d.h. auf eine Ausprägung von Null gesetzt).
* Voraussetzung: SV muss bekannt und eliminierbar sein.
Konstanthalten
= Die Störvariable wird in allen Gruppen auf den gleichen Wert fixiert.
* Voraussetzung: SV ist bekannt
Einführung der Störvariablen als UV
- Voraussetzung: SV ist bekannt
Erhöhung der Dosierung der UV
= Die Unterschiedlichkeit der UV-Abstufungen wird vergrößert (z.B. Extremgruppenvergleich), um so die Effekte zu erhöhen (und den relativen Anteil des Einflusses der
Störvariablen zu verringern)
Versuchsleitereffekte
Durch das Wissen, welcher Proband zu welcher Gruppe gehört, verhalten sich Versuchsleiter anders, z.B. andere, subtile nonverbale Kommunikation zwischen VL und Proband, Datenmanipulation, fehlerhafte Durchführung des Versuchs etc.
demand characteristics
besteht in Hinweisreizen der Studie, nach denen die Probanden ihr Verhalten ausrichten (z.B. Hawthorne Effekt)
Störeinflüsse der externen Validität
Interaktion zwischen Maßnahme und Testung
Interaktion zwischen Maßnahme und Auswahl
Interaktion zwischen Maßnahme und Situation
Interaktion zwischen Maßnahme und Testung
(externe Validität)
Der Effekt des treatments ist für vorgetestete und
nicht vorgetestete Gruppen unterschiedlich stark (Prätestsensitivierung), z.B. können PrätestFragebogen über Vorurteile Probanden so sensitivieren, dass sich die Wirkung des anschließenden Anti-Diskrimininierungsfilms dadurch ändert.
Interaktion zwischen Maßnahme und Auswahl (externe Validität)
Die Effekte des treatments sind für verschiedene
Gruppen von Beobachtungseinheiten unterschiedlich stark; z.B. können sich unterschiedliche Effekte eines Stresstrainings bei untersuchten Studierenden vs. Managern vs. Patienten zeigen
Interaktion zwischen Maßnahme und Situation
(externe Validität)
Der Effekt ist für unterschiedliche Untersuchungskontexte unterschiedlich stark;
z.B. könnten Patienten bei einer stationären Behandlung anders auf eine Therapie reagieren als bei ambulanter Behandlung
