VL6 - Validität Flashcards

1
Q

Welche Arten von Störeinflüssen oder Fehlern können uns
in Studien unterlaufen?

A

a) Systematischer Fehler (Bias)
b) Konfundierung
c) Regression zur Mitte
d) Zufallsfehler = Rauschen

How well did you know this?
1
Not at all
2
3
4
5
Perfectly
2
Q

a) Systematischer Fehler (Bias)

A
  • führt zu einer fehlerhaften Schätzung des Effekts/Ergebnisses einer Studie

➔Es gibt zwei Arten systematischer Fehler:
* Selektionsbias: Systematische Unterschiede zwischen denjenigen Personen, die an einer Studie
teilnehmen, und denen, die nicht teilnehmen
=Beispiel: RCT Rückenschmerzprogramm – nur gesündere machen mit
* Informations- oder Messbias: Messungen der Variablen sind inkorrekt

How well did you know this?
1
Not at all
2
3
4
5
Perfectly
3
Q

b) Konfundierung:

A
  • Ein Faktor (z.B. Motivation), der nicht gemessen oder in der Studie kontrolliert wurde, beeinflusst die
    Ergebnisse
  • Tritt insbesondere dann auf, wenn dieser Faktor in den beiden Gruppen (Experimental- und
    Kontrollgruppe) unterschiedlich ausgeprägt ist
  • Kontrolltechnik: Matchen, Stratifizieren, Randomisieren
How well did you know this?
1
Not at all
2
3
4
5
Perfectly
4
Q

c) Regression zur Mitte:

A
  • Eine Variable mit einer extremen Ausprägung bei der ersten Messung zeigt die Tendenz, bei einer
    zweiten Messung sich dem Mittelwert anzunähern.
  • Muss insbesondere bei Experimenten oder bei jeglicher Veränderungsmessung kontrolliert werden.
How well did you know this?
1
Not at all
2
3
4
5
Perfectly
5
Q

d) Zufallsfehler = Rauschen

A
  • Zufallsfehler in der Messung: sollten sich bei validen und reliablen Instrumenten idealerweise ausbalancieren.
  • Kontrolltechnik: Große Stichproben, insbesondere auch zur Vermeidung des Fehlers zweiter Art.
How well did you know this?
1
Not at all
2
3
4
5
Perfectly
6
Q

Fehler 1. und 2. Art in Studien

A
  • Fehler 1. Art: Wir nehmen fälschlicherweise einen Effekt an.
    ➔ Vermeiden durch gutes Studiendesign.
  • Fehler 2. Art: Wir “verpassen” einen Effekt, der eigentlich da ist.
    ➔ Ausreichende Stichprobengröße.
How well did you know this?
1
Not at all
2
3
4
5
Perfectly
7
Q

Verhältnis interne und externe Validität

A

Meist stehen die interne und externe Validität in einem reziproken Verhältnis, d.h. durch mehr Kontrolle
in einem Experiment erhöht man die interne Validität, reduziert dabei aber auch die externe Validität.

How well did you know this?
1
Not at all
2
3
4
5
Perfectly
8
Q

Interne Validität:

A

Eine Untersuchung ist dann intern valide, wenn die beobachtbare Änderung in der AV eindeutig (kausal) auf die Variation der interessierenden UV zurückgeführt werden können. (Bröder , 2011)

  • Interne Validität setzt also voraus, dass keine (konfundierte) Störvariable vorliegt, die eine
    Alternativerklärung für den vorgefundenen Effekt darstellen würde.
  • Intern valide Untersuchungen werden daher durch eine gute Kontrolle der Störvariablen erreicht
How well did you know this?
1
Not at all
2
3
4
5
Perfectly
9
Q

Arten von Störvariablen (4)

A
  • Störvariablen der Versuchspersonen
  • Störvariablen in der Untersuchungssituation
  • Störvariablen durch Mehrfachmessung
  • Störvariablen durch Erwartungen von Versuchsleiter und/oder Versuchsperson
How well did you know this?
1
Not at all
2
3
4
5
Perfectly
10
Q

Externe Validität:

A

Externe Validität liegt vor, wenn ein Untersuchungsergebnis auch auf andere als in der vorliegenden Untersuchung gegebenen Bedingungen übertragen werden kann (Bröder , 2011)
* Externe Validität bezieht sich also auf die Generalisierbarkeit experimenteller Effekte auf andere Situationen und Teilnehmer.

How well did you know this?
1
Not at all
2
3
4
5
Perfectly
11
Q

Störvariablen der Versuchspersonen

A

personengebundene Störvariablen
Selektionsbias

How well did you know this?
1
Not at all
2
3
4
5
Perfectly
12
Q

Personengebundene Störvariablen

A

Dauerhafte Eigenschaften:
* Ängstlichkeit
* Intelligenz
* Geschlecht
Temporäre Eigenschaften:
* Müdigkeit
* Stimmung
* Ausmaß des Hungers

How well did you know this?
1
Not at all
2
3
4
5
Perfectly
13
Q

Störvariablen in der Untersuchungssituation

A

Störvariablen der Situation

How well did you know this?
1
Not at all
2
3
4
5
Perfectly
14
Q

Störvariablen der Situation

A
  • Die Situation selbst kann einen Einfluss auf das Verhalten oder die Leistung einer Person in einem Experiment haben.
    Beispiele:
  • Lärm
  • Ungünstige Beleuchtung
  • Ablenkung der Versuchspersonen
  • Problematisch kann es sein, wenn diese Störungen systematisch auftreten (z.B. der Baulärm
    immer dann zunimmt, wenn die Kontrollgruppe dran ist) ➔ systematischer Fehler
  • Treten die Störungen zufällig auf, erhöhen sie den Zufallsfehler
How well did you know this?
1
Not at all
2
3
4
5
Perfectly
15
Q

Störvariablen durch Mehrfachmessung (7)

A
  • Zwischenzeitliches Geschehen (history)
  • Reifung (maturation)
  • Testung (testing)
  • Instrumente (instrumentation)
  • Statistische Regression
  • Drop-out (mortality)
  • Interaktion zwischen Auswahl und anderen Störfaktoren (Versuchsleitereffekte)
How well did you know this?
1
Not at all
2
3
4
5
Perfectly
16
Q

Zwischenzeitliches Geschehen (history):

A

Ereignisse, die zeitgleich mit der Maßnahme geschehen, können die Effekte (mit-)beeinflussen

How well did you know this?
1
Not at all
2
3
4
5
Perfectly
17
Q

Reifung (maturation)

A

Die Beobachtungseinheiten verändern sich aufgrund biologischer Ursachen parallel zur Maßnahme;
z.B. könnte die sensomotorische Koordination bei Kleinkindern auch ohne Intervention besser werden.

18
Q

Testung (testing)

A

Vorherige Messungen haben (durch Übung, Erinnerung, o.ä.) einen Einfluss auf die späteren Messungen;
z.B. können Probanden bei der Wiederholung eines Sprungtests „adaptieren“

19
Q

Instrumente (instrumentation)

A

Messinstrumente sind zwischen den Bedingungen untereinander nicht vergleichbar;
z.B. könnte derselbe Sprachtest bei Sechsjährigen sprachliche Fertigkeiten und bei Achtjährigen Konzentrationsfähigkeit messen
z.B. können Instrumente falsch kalibriert sein

20
Q

Statistische Regression (regression toward the mean)

A

Extremwerte tendieren bei erneuter Messung zu mittleren Werten.

21
Q

Drop-out (mortality)

A

Unterschiedlicher Verlust an Beobachtungseinheiten über die Zeit in verschiedenen Bedingungen

22
Q

“Hawthorne-Effekt”

A

Der Hawthorne-Effekt besagt, dass Menschen ihr Verhalten ändern, wenn sie wissen, dass sie beobachtet werden.

23
Q

Alle Kontrolltechniken (9)

A

Experimentalgruppe(n) und Kontrollgruppe(n)
Randomisierung
Matching/Parallelisieren
Messwiederholung
Ausbalancieren
Eliminieren
Konstanthalten
Einführung der Störvariablen als UV
Erhöhung der Dosierung der UV

24
Q

Kontrolltechniken

A

Zur Minimierung dieser zufälligen und systematischen Fehler, die die interne Validität herabsetzen, wurden zahlreiche Kontrolltechniken entwickelt.

25
Q

Störvariablen durch Erwartungen von Versuchsleiter und/oder Versuchsperson

A

Interaktion zwischen Auswahl und anderen Störfaktoren (Versuchsleitereffekte) oder „Demand characteristics“:

26
Q

Experimentalgruppe(n) und Kontrollgruppe(n)

A

= Es werden zwei Gruppen gebildet, von denen eine Gruppe
die experimentelle Bedingung erhält, die andere Gruppe jedoch nicht (Warteliste, Placebo, inaktive
Behandlung, „attention control“).
* Konsequenz: Natürliche Reifungsprozesse oder Regression
zur Mitte können kontrolliert werden, da sie in der
Kontrollgruppe ebenso auftreten sollten.
* Problem: Man muss sichergehen, dass beide Gruppen
vergleichbar sind –> Ausbalancieren und Randomisieren

27
Q

Randomisierung

A

= Die Beobachtungseinheiten werden den Gruppen per Zufall zugewiesen, so dass alle potentiellen Störvariablen „in the long run“ in allen Gruppen möglichst gleich stark ausgeprägt sind.
* Konsequenz: Fehlerreduktion und zwar umso mehr, je größer n.

28
Q

Probleme bei der Randomisierung

A
  • Problem 1: Oft nicht anwendbar, wenn bereits bestehende Gruppen untersucht werden, oder eine Gruppenzuteilung unethisch wäre.
  • Problem 2: Bei kleinem n kann die Zuteilung von Personen zu Gruppen zu starken Ungleichverteilungen potentieller Störvariablen führen.
29
Q

Matching/Parallelisieren

A

= Die Beobachtungseinheiten werden bezüglich der mutmaßlichen Störvariablen in eine Rangreihe gebracht und den Gruppen dann „alternierend“ zugewiesen, so dass die Störvariable in allen Gruppen möglichst gleich ausgeprägt ist.

30
Q

Beispiel Matching:

A

Untersuchung zum Einfluss der Lernmethode (A versus B) auf die Lernleistung. Eine mögliche Störvariable könnte hier der IQ der Personen sein.
Wichtig: Kein „A-B-A-B“-Schema sondern Zuweisung nach „A-B-B-A“

31
Q

Messwiederholung

A
  • Die Variation der unabhängigen Variablen erfolgt innerhalb der Beobachtungseinheiten
    („within-subjects“ im Vergleich zu „between-subjects“).
  • Vorteil: Der Einfluss des Fehlers verringert sich, da personenbezogene Unterschiede feststellbar sind.
    Nebenwirkung: Kann neue Störeinflüsse zur Folge haben:
  • Positionseffekte: Störeinfluss bedingt durch die Position der Bedingungen. Kann sich positiv oder negativ auf die AV auswirken (z.B. Übungs- oder Ermüdungseffekt).
  • Carry-Over-Effekte: zeitlich frühere Bedingungen haben einen inhaltlichen Einfluss auf die Werte der AV unter zeitlich späteren Bedingungen. –> Ausbalancieren
32
Q

Ausbalancieren

A

= Bei Messwiederholungs-Designs relevant, um z.B. Positionseffekte kontrollieren zu
können. Die Reihenfolge der „treatments“ wird entweder in jeder Versuchsperson oder über randomisierte
Gruppen hinweg „ausbalanciert“.
Bei einer vollständigen Ausbalancierung von z.B. drei Bedingungen A, B, und C benötigt man 6
Gruppen. Dabei werden alle möglichen Abfolgen als Gruppen realisiert.
Unvollständige Plane benötigen weniger Gruppen und können in den meisten Fällen ebenfalls eine
adäquate Kontrolle gewährleisten.

33
Q

Eliminieren

A

= Die Störvariable wird eliminiert
(d.h. auf eine Ausprägung von Null gesetzt).
* Voraussetzung: SV muss bekannt und eliminierbar sein.

34
Q

Konstanthalten

A

= Die Störvariable wird in allen Gruppen auf den gleichen Wert fixiert.
* Voraussetzung: SV ist bekannt

35
Q

Einführung der Störvariablen als UV

A
  • Voraussetzung: SV ist bekannt
36
Q

Erhöhung der Dosierung der UV

A

= Die Unterschiedlichkeit der UV-Abstufungen wird vergrößert (z.B. Extremgruppenvergleich), um so die Effekte zu erhöhen (und den relativen Anteil des Einflusses der
Störvariablen zu verringern)

37
Q

Versuchsleitereffekte

A

Durch das Wissen, welcher Proband zu welcher Gruppe gehört, verhalten sich Versuchsleiter anders, z.B. andere, subtile nonverbale Kommunikation zwischen VL und Proband, Datenmanipulation, fehlerhafte Durchführung des Versuchs etc.

38
Q

demand characteristics

A

besteht in Hinweisreizen der Studie, nach denen die Probanden ihr Verhalten ausrichten (z.B. Hawthorne Effekt)

39
Q

Störeinflüsse der externen Validität

A

Interaktion zwischen Maßnahme und Testung
Interaktion zwischen Maßnahme und Auswahl
Interaktion zwischen Maßnahme und Situation

40
Q

Interaktion zwischen Maßnahme und Testung
(externe Validität)

A

Der Effekt des treatments ist für vorgetestete und
nicht vorgetestete Gruppen unterschiedlich stark (Prätestsensitivierung), z.B. können PrätestFragebogen über Vorurteile Probanden so sensitivieren, dass sich die Wirkung des anschließenden Anti-Diskrimininierungsfilms dadurch ändert.

41
Q

Interaktion zwischen Maßnahme und Auswahl (externe Validität)

A

Die Effekte des treatments sind für verschiedene
Gruppen von Beobachtungseinheiten unterschiedlich stark; z.B. können sich unterschiedliche Effekte eines Stresstrainings bei untersuchten Studierenden vs. Managern vs. Patienten zeigen

42
Q

Interaktion zwischen Maßnahme und Situation
(externe Validität)

A

Der Effekt ist für unterschiedliche Untersuchungskontexte unterschiedlich stark;
z.B. könnten Patienten bei einer stationären Behandlung anders auf eine Therapie reagieren als bei ambulanter Behandlung