Expeiment, Quasi-Experiment und nicht-experimentelle Methoden Flashcards
Welche Hypothesen werden i.d.R. in Experimenten getestet?
Universelle oder fast-universelle Hypothesen
Bedingungen, die ein Experiment ausmachen
- Der Experimentator variiert systematisch mind. eine Variable & registriert, welchen Effekt diese aktive Veränderung bewirkt
- Gleichzeitigt schaltet er die Wirkung von anderen Variablen aus (mit einer der Techniken zur Kontrolle von Störvariablen)
- > Ein Experiment ermöglicht Aussagen über Kausalität, jedoch nur, wenn beide Bedingungen erfüllt sind. Ein nicht experimentelles Design nicht
Warum werden Experimente durchgeführt?
- Sie stellen die beste Methode zur Überprüfung von Hypothesen über Ursache-Wirkungs-Zusammenhänge dar
- Experimente können genutzt werden, um die Effektivität von Behandlungen, Trainingsprogrammen oder allgemein von Interventionsmaßnahmen zu evaluieren
- Sie Schließen in beiden Fällen am besten Alternativerklärungen aus
Definition: Experiment
Bei einem Experiment verändert der Versuchsleiter (V1) aktiv mind. eine UV und beobachtet die Wirkung dieser Veränderung an (mind.) einer AV. Gleichzeitig schaltet er die Wirkung der Störvariablen aus
Typen von Variablen in einem Experiment
- Unabhängige Variable (UV oder independet variable, IV)
- Abhängige Variable (AV oder dependent variable, DV):
- Störvariable (extraneous variable, confounding variable):
- Moderatorvariable
Grundidee eines Experiments
- Es wird mind. eine UV durch einen Eingriff des Experimentators manipuliert.
- Auf diese Weise werden mind. zwei unterschiedliche Bedingungen hergestellt.
- Anschließend wird beobachtet, ob sich in den ver. Bedingungen das Verhalten oder Erleben der Teilnehmer in einem bestimmten Aspekt unterschiedet. Also ob die AV mit der UV kovariiert
- Im Idealfall unterschieden sich die ver. Bedingungen ausschließlich durch die Ausprägung der UV -> „isolierte Manipulation“, es kann ein Kausalschluss gezogen werden
Grundlagen für Kausalschlüsse
- > Um schließen zu können, dass eine Variable A einen ursächlichen Einfluss auf eine Variable B ausübt, müssen generell drei Voraussetzungen erfüllt sein:
1. A und B kovariieren: Kovariation
2. A trifft zeitlich vor B auf: zeitliche Präzedenz
3. Ausschluss von Alternativerklärungen
Grundlagen für Kausalschlüsse: 1. Kovariation: Definition & Feststellung im Experiment
- Definition: Die Bedingung der Kovariation ist erfüllt, wenn zwischen den beiden beteiligten Variablen ein Zusammenhang besteht: Veränderungen in UV müssen mit Änderungen in der Ausprägung der AV einhergehen
- Feststellung im Experiment: Um feststellen zu können, ob eine Kovariation vorliegt, müssen die Auswirkungen von mind. zwei unterschiedlichen Ausprägungen der UV verglichen werden, diese werden durch Manipulation des Experimentators erreicht. Wenn es sich bei den Bedingungen einfach um Situationen handelt, in denen einmal die UV anwesend und einmal abwesend ist, dann spricht man von Experimental- und Kontrollbedingung
Grundlagen für Kausalschlüsse: 2. Zeitliche Präzedenz
Definition: Die UV, also die Ursache muss zeitlich vor der AV stattfinden, um die Kausalrichtung einer Kovariation bestimmen zu können. Eine Messung der AV muss also nach der Manipulation der UV stattfinden
Grundlagen für Kausalschlüsse: 3. Ausschluss von Alternativerklärungen: Störvariablen, Konfundierung, Kontrolltechnicken, Ausbalanciert & konstantgehaltene Variablen
- Störvariablen: Variablen, die in der untersuchenden Hypothese nicht als Ursache genannt werden, die aber dennoch einen Einfluss auf die AV haben könnten -> kommt als Alternativerklärung dann in Betracht, wenn sie mit der UV kovariiert = Konfundierung
- Konfundierung: UV und Störvariable kovariieren. Eindeutige Kausalschlüsse sind nur möglich, wenn Konfundierung vermieden werden -> um Konfundierungen auszuschließen müssen Experimentatoren Störvariablen kontrollieren
- Kontrolltechniken: Grundlegende Idee – Störvariablen konstant zu halten oder zu balancieren
- Konstant gehaltene Variablen: Können weder mit der UV noch mit der AV kovariieren und können daher als Alternativerklärung ausgeschlossen werden
- Ausbalancierte Variablen: Wenn Störvariablen nicht konstant gehalten werden können (wie z.B.: Personenbezogene Variablen), dann sollten sie ausbalanciert werden. Durch das Balancieren wird sichergestellt, dass die Variablen in den ver. Bedingungen im Mittel gleich ausgeprägt sind und somit auch den gleichen „mittleren“ Einfluss auf die AV ausüben Wichtigste Technik: Randomisierung
Mögliche Umgänge mit Störvariablen
- Als UV mit ins Experiment einbeziehen und aktiv untersuchen
- Kontrollieren
a) Konstant halten: Dafür sorgen, dass der Wert der Störvariable während des gesamten Experiments und über die Gruppen konstant bleibt (z.B.: alle VP werden zur gleichen Tageszeit, mit dem gleichen Material, … getestet)
- > Nicht immer optimal: wenn man ganz enge Wertestufen einer Störvariable nimmt kann die Generalisierbarkeit leiden, daher ist es günstig möglichst viele Stufen der Störvariablen mit einzubeziehen
b) Zufällig kombinieren: Die einzelnen Stufen der Störvariable werden nicht konstant gehalten, sondern mehrere ver. Stufen der Störvariable zufällig mit den Stufen der UV kombiniert
- > Je weniger VP desto unsicherer ist der Zufall natürlich
Arten von Experimenten: Einteilung nach Zielen
- Prüfexperiment: Ziel ein oder mehrere Hypothesen zu prüfen, wenn von Experiment gesprochen wird i.d.R. Prüfexperiment
- Erkundungsexperiment: Ziel Daten zu sammeln, welche die Bildung neuer Hypothese gestatten, Variation von UVn, ohne eine Hypothese formuliert zu haben, um zu erkunden, wie die Av darauf reagiert
- Vorexperiment: meist kleines Experiment, das im Rahmen der Planung eines (Prüf- oder Erkundungs-) Experiments durchgeführt wird, Ziel ist die Verbesserung der Durchführung des Experiments, der Operationalisierungstechniken,…
Arten von Experimenten: Einteilung nach der Zahl der UVn
- Einfaktorielles (unifaktorielles) Experiment: nur eine UV wird untersucht
- Mehrfaktorielles (multifaktorielles) Experiment: mehrere Uvn werden untersucht
Arten von Experimenten: Einteilung nach Zahl der AVn
- univariate Experimente:
Eine AV - Multivariate Experimente:
Mehrere Avn
Arten von Experimenten: Einteilung nach Durchführungsort + vor und Nachteile
- Laborexperiment:
a) hohe interne (bessere Kontrolle) , geringe externe Validität (schlechtere Generalisierbarkeit),
b) oft indirekte Messung
c) künstliches Setting in kontrollierter Umgebung Kontrolle über Teilnehmende & SV - Feldstudie:
a) geringe interne (Kontrolle von Störvariablen schwieriger sowie die Operationalisierung) , hohe externe Validität (besser generalisierbar)
b) natürliches Setting in natürlicher Umgebung -> Verlust der Kontrolle von SV und Teilnehmende sowie ver. Bedingungen
c) direkte Verhaltensmessung durch Beobachtung
Arten von Experimenten: Internet-Experiment
- Definition
a) Der gesamte Ablauf des Experiementes ist programmiert
b) Diese Programm wird von der VP über das Internet abgerufen
c) Der V1 tritt mit der VP nicht in direkten Kontakt - Vorteile:
a) Die Zahl der Vpn kann meist ohne großen Aufwand deutlich erhöht werden.
b) Ein VI-Erwartungseffekt kann nicht auftreten.
c) Der Versuchsablauf ist standardisiert (bis auf Variationen, die durch die ver-wendeten Computer und Programme und ihre Einstellungen entstehen)
d) Die Vpn können das Experiment zu einem ihnen passenden Zeitpunkt durch-führen.
- Nachteile:
a) Die Vpn, die an einem Internet-Experiment teilnehmen, unterscheiden sich möglicherweise von denen, die das nicht tun (Selbstselektion)
b) Die Angaben der Vp sind nicht überprüfbar (Alter, Geschlecht etc.). Es kann auch nicht ausgeschlossen werden, dass eine Vp mehrmals am Experiment teil-nimmt (z. B. an verschiedenen Computern).
c) Störvariablen der experimentellen Situation sind vom VI nicht kontrollierbar (z. B. Anwesenheit, „Mitarbeit“ anderer Personen; Verwendung von Hilfsmit-teln wie Lexica etc.; störende Einflüsse wie TV, Radio, Telefon; der aktuelle Zu-stand der Vp).
d) Die Vp kann das Experiment jederzeit ohne Begründung beenden. Dies ist problematisch, wenn der vorzeitige Abbruch mit dem Inhalt der Untersuchung zusammenhängt (z. B. zu schwierige, anstrengende Aufgaben, unangenehme Fragen).
Arten von Experimenten: Echtes Experiment
- mind. eine UV wird aktiv variiert
2. die Wirkung der relevanten Störvariablen wird ausgeschaltet
Arten von Experimenten: Quasi-Experiment
Bei einem Quasiexperiment sind die beiden Bedingungen eines Experiments nicht erfüllt
Überblick: Schritte eines Experiments
- Fragestellung: Meist beginnt man mit einer allgemeineren und vagen Fragestellung, die sich nach der Sichtung der bisherigen Forschungsliteratur spezifiziert
- (Sach-)Hypothesen: Grundlage für die Formulierung von Hypothesen sind den bisherigen Forschungsergebnissen, die man in der Fachliteratur gefunden hat, theoretische Überlegungen, aber auch empirische Beobachtungen. AV und UV identifizieren
- Operationalisierung: Begriffe der Hypothese werden beobachtbaren Phänomene zugeordnet (z.B.: Messung von Aggressivität -> schlagen, beschimpfen)
- Versuchsplan: der logische Aufbau des Versuchs
- Kontrolle von Störvariablen
- Stichprobe: Auswahl der Vp, die ausgewählt Gruppe der Vp nennt man Stichprobe, sie ist eine Untermenge der Grundgesamtheit/ Population, für welche die Hypothese Gültigkeit beansprucht
- Empirische Vorhersage und statistische Hypothesen: aus der empirischen Vorhersage werden statistische Hypothesen abgeleitet (Aussagen über Mittelwerte, Varianzen, ..)
- Durchführung: Muss im Detail festgelegt werden, auch welche Hilfsmittel und Geräte verwendet werden, besonders wichtig: Instruktionen
- Auswertung der Daten: Prüfung der statistischen Hypothesen
- Schluss auf die Sachhypothese: aus der statistischen Hypothese muss auf die Bewährung oder Falsifikation der Sachhypothese geschlossen werden
- Diskussion: Der Ergebnisse für Theorie und Praxis, Reflexion der Vorzüge und etwaiger Fehler
- Bericht
Experiment: Operationalisierung: Definition
- Definition: Man ordnet den Begriffen der Hypothese empirisch beobachtbare Indikatoren zu -> Meist gibt es dafür viele ver. Möglichkeiten
- Die Information, die mittels einer Operationalisierung gewonnen wird, wird als Datum (Mehrzahl: Daten) bezeichnet
Experiment: Operationalisierung: Güte der Operationalisierung
- Für eine gute Operationalisierung ist meist Wissen darüber notwendig wie sich die eine nicht direkt beobachtbare Variable kausal auf eine direkt beobachtbare Variable auswirkt
- Konstruktvalidität: Bezeichnet die Güte einer Operationalisierung
Experiment: Operationalisierung: Operationalisierungstechniken
-> Auch Methoden der Datengewinnung genannt
1.Wissenschaftliche Beobachtung:
Alle Operationalisierungstechniken brauchen zwangsläufig die wissenschaftliche Beobachtung als Hilfsmittel zur Datengewinnung
a) zielgerichtet: Beobachtung ist auf diejenigen Aspekte gerichtet, die im wis-senschaftlichen Kontext stehen
b) methodisch kontrolliert: Kenntnisse aus ver. Bereichen zur Vermeidung von Fehlern werden herangezogen
- Für die Psychologie spezielle Gruppen von Operationalisierungstechniken:
a) Verhaltensbeobachtung:
wissenschaftliche Beobachtung, die auf das Ver-halten von Individuen oder Gruppen gerichtet ist
b) Befragung:
Vp antwortet auf ihr gestellte Fragen. Diese können mehr oder weniger strukturiert sein und mündlicher oder schriftlicher Art sein
c) Test:
Vp wird unter standardisierten Bedingungen standardisierte Reize vor-gegeben z.B.: Testbilder, -aufgaben oder -fragen. Die Reaktionen der Vp werden üblicherweise interpretiert, indem sie mit der Reaktion anderer VP verglichen werden
d) Analyse von Verhaltensspuren:
weiter Bereich von Daten: z.B.: Zeichnungen, Briefe, Fotos, Tagebücher, Tonskulpturen, … Spezielle Form: verbale Aufzeichnungen
-> können kombiniert eingesetzt werden
Verhältnis Operationalisierung und Messung
Wenn eine Variable gemessen werden soll, setzt das eine brauchbare Operationa-lisierung voraus, das umgekehrt gilt jedoch nicht, man kann eine Variable sehr wohl Operationalisieren ohne sie zu messen
Versuchsplan: Vor- und Nachteile Vorher- & Nachermessung
- Vorher- und Nachhermessung:
a) Vorhermessung: Wenn die Werte der AV vor der Realisierung der UV gemessen wird
b) Nachhermessung: Wenn die Werte der AV nach der Realisierung der UV gemessen wird - Vorteile der Vorhermessung:
a) Man kann feststellen, ob sich die beiden Gruppen von Anfang an unterscheiden
b) Aus der Differenz zw. der Vorher- und Nachhermessung lässt sich feststellen, in welchem Ausmaß sich die AV verändert hat - Nachteile der Vorhermessung:
a) Kosten: Zeitaufwand, Material, Beobachter, kosten für die Vp,..
b) Nicht bei jeder Fragestellung möglich
c) Übungseffekte: Vorhermessung kann sich auf die Nachermessung aus-wirken
Experiment: Gruppen
a) Experimentalgruppe: Die Gruppe, bei der diejenige Stufe der UV realisiert wird, die den Forscher interessiert
b) Kontrollgruppe: Soll den Vergleich ermöglichen und die Störvariablen kontrollieren
Experiment: Interne Validität
- Definition: Wenn ein Experiment einen eindeutige Kausalschluss ermöglicht, wird es auch als intern valide bezeichnet -> Das wichtigste Kriterium zur Beurteilung der Güte von Experimenten
- Problem: Da meist nicht alle potenziell relevanten Störvariablen bekannt sind, ist interne Validität ein Ziel, von dem letztlich nie mit absoluter Gewissheit behauptet werden kann, dass es erreicht wurde
- Verbesserung: Kontrolltechniken einsetzten und interne Validität dadurch erhöhen
In Welche Bereichen eines Experiments muss die Kontrolle von Störvariablen stattfinden?
- personengebundene Störvariablen
2. Störvariablen im Versuchsaufbau
Kontrolltechniken personengebundener Störvariablen
- Randomisierung
2. Parallelisierung
Kontrolltechniken personengebundener Störvariablen: 1. Randomisierung : Definition & Umsetzung
- Definition: Die Zufällige Zuteilung der VP zu den ver. Bedingungen eines Experiments. Dabei besteht für jede VP die gleiche Chance, einer bestimmten Bedingung zugeordnet zu werden
- Umsetzung: Im Kopf machen ist kein Zufallsprinzip, dazu sind wir Menschen nicht in der Lage:
a) Lose
b) Münzwurf
c) Zufallszahlen: z.B.: ist Zufallszahl grade kommt VP in Gruppe 1, ist sie ungrade in Gruppe 2
d) Achtung: Wenn man gleich große Stichproben will, sollte man die Zufallsverfahren (Münzwurf oder Zufallszahlen) so formulieren, dass sie für 2 VP gleichzeitig gelten (z.B.: Wenn die Zufallszahl gerade ist, dann kommt die nächste Vp in die Gruppe 1 und die übernächste in die Gruppe 2, wenn die Zufallszahl ungerade ist, dann umgekehrt.)
Kontrolltechniken personengebundener Störvariablen: 1. Randomisierung: Vor- und Nachteile
- Vorteile:
a) Störvariablen müssen weder bekannt sein, noch operationalisiert oder gemessen werden
b) Alle personengebunden Störvariablen werden balanciert, egal ob wir sie kennen oder nicht - Nachteile:
a) Es kann trotzdem ungleiche Gruppen geben: Diese Gefahr ist umso geringer je größer die Stichprobe ist
b) es gilt, je homogener eine Population desto weniger VP benötigt man
Kontrolltechniken personengebundener Störvariablen: 1. Randomisierung: Block-Randomisierung
- Wir bringen unsere Versuchsbedingungen (A,B,C,D) durch Lose in eine zufällige Reihenfolge: unser erster Block (z.B.: C,A,B,D)
- Die ersten vier Teilnehmer werden entsprechend der Reihenfolge im ersten Block nun nacheinander den Bedingungen C, A, B und D zugeordnet.
- Für die nächsten vier Teilnehmer benutzen wir erneut unsere Lose und erstellen eine neue zufällige Reihenfolge der Bedingungen (z.B.: Block 2: D, B, A, C)
- Die VP 5-8 werden dann gemäß der Reihenfolge in Block 2 den Bedingungen zugeordnet.
- Diese Prozedur wird so lange wiederholt, bis die gewünschte Anzahl an VP erreicht ist
o Vorteile der Block-Randomisierung: - Leicht zu Handhaben
- Es ist sichergestellt, dass an jeder Bedingung gleich viele VP teilnehmen
- Es werden Störvariablen kontrolliert, die erst im Laufe der Durchführungszeit eines Experiments auftreten
- Es werden zeitbezogene Störvariablen kontrolliert
Kontrolltechniken personengebundener Störvariablen::
1. Parallelisierung: Definition
- Vor dem Experiment wird diejenige Störvariable bei den VP gemessen, die durch die Parallelisierung kontrolliert werden, soll. Man bildet dann zunächst Gruppen aus VP, die auf der Störvariable den gleichen oder zumindest einen sehr ähnlichen Wert haben. Die Größe der Gruppen richtet sich nach Anzahl der Bedingungen im Experiment (gibt es nur zwei Bedingungen besteht eine Gruppe jeweils aus zwei VP). Schließlich wird aus jeder Gruppe ein Teilnehmer jeder der ver. Bedingungen zugewiesen
- Kombination mit Randomisierung: Trotzdem sollte man die Parallelisierung noch mit einer Randomisierung kombinieren die Aufteilung der VP aus den Gruppen in die ver. Bedingungen sollte als zufällig erfolgen
Kontrolltechniken personengebundener Störvariablen::
1. Parallelisierung: Parallelisierung anhand der AV
Manchmal wird die AV zur Parallelisierung genutzt, dann gibt es eine Vorher- Nachher-Messung Problem: Wegen Übungseffekten nicht immer möglich
Kontrolltechniken personengebundener Störvariablen::
1. Parallelisierung: Vor- und Nachteile
- Vorteile: Gut bei kleinen Stichproben, wenn man trotzdem ein Between-Design durchführen will/muss
- Nachteile:
a) Höherer Aufwand im Vergleich zum Randomisieren
b) Die Störvariable muss bekannt sein und gemessen werden
c) Man kann nur eine sehr begrenzte Anzahl an personengebundenen Störvariablen kontrollieren
c) Bei einer bekannten und messbaren Störvariable ist parallelisieren um so empfehlenswerter, je kleiner die Stichprobe ist
d) Trotzdem empfiehlt sich noch einen Randomisierungsprozess mit einzubauen
Kontrolltechniken von Störvariablen in der Versuchssituation: Arten
- Konstanthalten
- Elimination
- balancieren /Zufallsvariation
- Randomisieren
- Einführung einer Kontrollgruppe
- Kontrolle von Erwartungseffekten
a) Demand characteristics
b) Placebo-Effekt
c) Rosenthal-Effekt
Kontrolltechniken von Störvariablen in der Versuchssituation: 1. Konstanthalten
- Definition: jenseits der UV werden einfach alle als wichtig erachteten Merkmale der Untersuchungssituation in allen Bedingungen bei allen VP konstant gehalten
- Die Störvariable wird für die Dauer des Versuches konstant gehalten, alle VPn sind ihr gleich ausgesetzt
- Achtung: Nur weil die Störvariable bei allen VP gleich ist, heißt dass nicht, dass sie bei allen VP auch gleich wirkt (z.B.: Der V1 kann trotzdem auf eine VP sympathisch wirken und auf eine andere nicht)
- Nachteil:
a) Hat Einfluss auf die Generalisierbarkeit
b) kann sehr (zeit)aufwändig sein
Kontrolltechniken von Störvariablen in der Versuchssituation: 2. Elimination
- Eine Variante der Kontrolle durch Konstanthalten. Es wird dafür gesorgt, dass der Wert der Störvariable in allen Bedingungen und bei alle VP null beträgt, also dass die Störvariable gar nicht erst auftritt
- Vorteile: Radikalste und wirksamste Technik
- Nachteile: nicht bei allen Variablen möglich
Kontrolltechniken von Störvariablen in der Versuchssituation: 3. Balancieren/ Zufallsvariation
- Anstatt nur eine Stufe der Störvariable während des ganzen Experiments konstant zu halten, kann man ver. Stufen der Störvariable variieren (z.B.: ein V1 ist männlich und ein V1 weiblich und zufällig arbeiten sie mit gleich vielen VP aus beiden Gruppen)
- Im within-Design: können die Reihenfolgen der ver. Bedingungen balanciert werden
- Achtung: Variation darf nicht mit der Variation der UV parallel gehen
- Vorteil: mehr Generalisierbarkeit wieder möglich
Kontrolltechniken von Störvariablen in der Versuchssituation: 4. Randomisierung
Neben den VP können auch andere Bedingungen eines Experiments zufällig zugeordnet werden. Wird z.B.: häufig genutzt, wenn in einem Experiment Versuchsmaterialien auf Bedingungen aufgeteilt werden müssen
Kontrolltechniken von Störvariablen in der Versuchssituation: 5. Einführung einer Kontrollgruppe - welche Arten von Störvariablen können kontrolliert werden?
- > Kann viele Arten von Störvariablen kontrollieren, bei einem Experiment, wo uns beide Ausprägungen der UV interessieren, ist jeweils die eine Gruppe Kontrollgruppe für die andere:
a) Veränderungen und Einflüsse zwischen den Zeitpunkten: z.B.: Ermüdung, Unaufmerksamkeit, Gewöhnung, … Wenn beide Gruppen diesen Bedingungen geleichermaßen, ausgesetzt sind, kann ihre Wirkung kontrolliert werden
b) Reaktive Effekte der Vormessung: Eine VP lässt sich durch die Vorhermessung beeinflussen und die Nachhermessung wird dadurch verfälscht (z.B.: die Vorhermessung stößt einen Denkprozess an, soziale Erwünschtheit,…)
Kontrolltechniken von Störvariablen in der Versuchssituation: 6. Erwartungseffekte - a) Demand characteristics
- Definition: Hinweise/ Merkmale in Untersuchungssituationen, aufgrund derer VP spezifische Erwartungen entwickeln oder das Gefühl haben, dass ihnen signalisiert wird, welches Verhalten gezeigt werden soll oder welcher Effekt wahrscheinlich auftritt. Können im Experiment von VP genutzt werden, um ihr Verhalten gezielt zu steuern -> viele VP haben die Tendenz „gute VP“ zu sein und wollen die Hypothese des VL bestätige
- Kontrolle: Erwartungen stellen nur dann eine relevante Störvariable dar, wenn sie mit der UV konfundiert sind. Eine wirksame Kontrolle muss also lediglich sicherstellen, dass die Teilnehmer in den ver. Bedingungen nicht systematisch unterschiedliche Erwartungen aufbauen
a) Bildversuch
b) Experimentellen Ablauf in allen Bedingungen konstant halten
Kontrolltechniken von Störvariablen in der Versuchssituation: 6. Erwartungseffekte - b) Placebo-Effekt
- Definition: Ein Effekt tritt ein, nur weil eine VP glaubt, dass sie in einer wirksamen Weise behandelt wird bzw. das eine Maßnahme einen bestimmten Effekt hat
- Kontrolle:
a) Placebo-Kontroll-Studien: Mind. drei Gruppen. Die EG bekommt die wirksame Behandlung, die KG bekommt keine Behandlung, die Placebo-Gruppe glaubt dass sie eine Behandlung bekommt, bekommt aber in Wirklichkeit keine Behandlung
- > haben PG und EG gleich Ergebnisse wirkt das Medikament nicht, haben PG und KG gleiche Ergebnisse wirkt das Medikament - Problem:
a) in Psychologischen Studien oft schwierig ein geeignetes Placebo zu finden
b) ethische Probleme z.B.: Therapieforschung -> Lösungsansatz “nachschalten” der Behandlung
Kontrolltechniken von Störvariablen in der Versuchssituation: 6. Erwartungseffekte - c) Rosenthal-Effekt (Versuchsleitereffekt): Definition
- Definition: Die (unbewussten) Erwartungen des VL beeinflussen ungewollt das Ergebnis des Experiments. Wird primär über nonverbales Verhalten übermittelt. Häufig konfundiert die Erwartung des VL mit der UV, da er die Hypothese kennt und für Experimental- und Kontrollgruppe unterschiedliche Ergebnisse erwartet
Konfundierung: Definition, Problem, Konsequenzen und Vermeidungsstrategien
- Definition: eine Störvariable variiert (korreliert) systematisch mit der UV
- Problem: Das Ergebnis kann nicht auf die Wirkung der UV zurückgeführt werden, weil ihre Wirkung nicht von der Wirkung der Störvariable getrennt werden kann
- Konsequenzen:
a) Lässt sich eine Konfundierung nicht vermeiden kann man kein Experiment durchführen (ausweichen auf nicht-experimentelle Untersuchungen, evlt. Quasi-Experiment)
b) Wird nach dem Experiment eine Konfundierung festgestellt, ist das Experiment unbrauchbar - Schutz vor Konfundierung:
a) Vorab: Studium der Fachliteratur, um möglichst viele Störvariablen zu entdecken
b) Vorab: Diskussion mit Fachkollegen
Externe Validität: Definition & Sicherstellung
- Definition: Beschreibt die Übertragbarkeit der Ergebnisse eines Experiments. Ist die externe Validität hoch, so können die Ergebnisse auch auf nicht untersuchte Personen oder Situationen übertragen werden
- Sicherstellung: Möglichst repräsentative Stichprobe und Untersuchungssituationen, die denen Situationen, auf die man die Ergebnisse generalisieren möchte in möglichst vielen Merkmalen ähneln
Externe Validität: In der Psychologie
Oft kritisiert aufgrund von artifiziellen Bedingungen und nicht repräsentativen Stichproben, da die Mehrheit der VP Psychologiestudierende sind
Wie wichtig ist externe Validität?
Es gibt Experimente, in denen sie nicht wichtig ist, da man Aussagen über Kausalbeziehungen und Hypothesen machen will und daher absichtlich künstliche Bedingungen herstellt
- Wie kann die externe Validität erhöht werden?
a) Repräsentative Stichprobe, wenn nötig. Wenn Phänomene untersucht werden, die mit großer Sicherheit auch für anderen Menschengruppen als die untersuchte gelten (z.B.: wahrnehmungsprozesse) dann ist Repräsentativität schon gegeben, auch wenn die Stichprobe die Population nicht angemessen repräsentiert
b) Feldexperimente: Durchführung nicht im Labor, sondern im Feld -> stark diskutiert, da durch die Mangelnde Möglichkeit der Kontrolle von Störvariablen die interne Validität sinkt
c) Replikation: Wenn eine Replikation unter anderen Umständen und mit anderen VP und VL möglich ist, scheint die externe Validität hoch
d) Partielle Replikation: gezielt werden einige Abläufe des ursprünglichen Experiments verändert, um die Auswirkungen dieser Änderungen auf einen Effekt zu beobachten. So kann man feststellen welche Randbedingungen wirklich notwendig sind, damit der Effekt eintritt
Versuchspläne mit mehr als zwei Gruppen - Vorteil & Versuchspläne
- Vorteile: Wenn man mehrere Stufen der UV hat, kann man auch Werte herausfinden, bei denen die UV am stärksten wirkt
- Versuchsplan mit mehreren Stufen einer UV:
a) Hypothesen, die Behauptungen über Unterschiede und über Rangreihen der Wirksamkeit der UV-Stufen aufstellen oder
b) Prüfung von Hypothesen über mathematische Funktionen (z.B.: ob AV und UV in einer linearen Beziehung zueinander stehen)
c) Typische Statistische Verfahren zur Prüfung von Hypothesen mit einfaktoriellen Versuchsplänen: (einfaktorielle) Varianzanalyse (für AV auf Intervallskalenniveau)
Multi-/ Mehrfaktorielle Versuchspläne: Definition, Aufbau, Darstellung, Design,
- Definition: Versuchspläne mit mehreren UVn
- Aufbau:
a) jede Kombination von UV-Stufen wir experimentelle Bedingung genannt.
b) Grundsätzlich sollte in einem mehrfaktoriellen Design jede Stufe einer UV mit jeder Stufe der anderen UVn kombiniert werden.
c) Generell kann man in mehrfaktoriellen Designs die Zahl der Bedingungen bestimmen, indem man die Anzahl der Stufen der ver. UNv miteinander multipliziert (2 UVn mit jeweils 2 Stufen: 2x2 = 4; gäbe es 2 UVn mit einmal 3 und einmal 2 Stufen, dann: 3x2=6).
d) Experimente mit mehr als drei UVn werden jedoch eher selten durchgeführt - Einfachste Darstellung: In einer Matrix , jede Zelle entspricht einer experimentellen Bedingung
- Die Zahl der UVn bei mehrfaktoriellen Versuchsplänen ist begrenzt durch:
a) Man kann in einem Experiment nur eine geringe Zahl von VP untersuchen bzw. man kann einer VP nur eine kleine Zahl von experimentellen Bedingungen zumuten
b) Interaktionen zw. vielen Variablen sind sehr schwer zu interpretieren
c) Statistische Gesetzmäßigkeiten erschweren die Bestimmung der Signifikanz, je größer die Zahl er UVn ist - Designs: mehrfaktorielle Designs können sowohl Within- also auch Between-Subjects durchgeführt werden. Enthält eine Experiment mit mehreren UVn sowohl eine UV, die Within manipuliert wird und eine, die Between manipuliert wird, spricht man von einem gemischten Design
Within-Subjects-Design: Definition
Definition: Eine VP durchläuft alle experimentellen Bedingungen (≠ Messwiederholungen ? er nennt es Messwiederholung, KP)
häufig in der Kognitionspsychologie gebraucht
Within-Subjects-Design mit Messwiederholung
- Definition Messwiederholung: Die AV wird bei jeder VP unter identischen Bedingungen mehrfach gemessen
- wozu?:
Für die Messung von Werten, die interindividuell stark schwanken können (z.B.: Reaktionszeit) und umso ein möglichst genaues Bild des Durchschnittlichen Wertes einer Person zu bekommen (z.B.: die durchschnittliche Reaktionszeit)
Within-Subjects-Design: Vorteile
- Ökonomischer: Ist ökonomischer da wir weniger VP und somit auch meist weniger Ressourcen brauchen
- Personengebundene Störvariablen: Da in allen Bedingungen dieselben VP untersucht werden, sind alle personengebundenen Störvariablen perfekt parallelisiert.
- Verhaltensveränderungen: Für jede einzelne VP kann bestimmt werden, wie sich die UV auf sein/ihr Verhalten auswirkt -> besonders vorteilhaft, wenn wir die Veränderung von Verhalten untersuchen wollen
- Empfiehlt sich auch bei der subjektiven Beurteilung von Merkmalen von Stimuli: Wenn man Vp z.B.: eine Reihe von Fotos vorlegt und die Attraktivität der Personen beurteilt werden soll, dann würde bei einen Between-subjects-Design jeder VP nur ein Foto gezeigt werden, bei Within-Subjects-Desgin wurden der VP alle gezeigt werden. Da Kontext die Beurteilung verändert (die VP im With-Subjects-Design würden ihre Urteile wahrscheinlich aufgrund des Vergleichs mit den anderen gezeigten Fotos ziehen) können Experimente so zu konträren Ergebnissen kommen -> Experimente von Birnbaum konnten diese Effekte zeigen
- Sensitiver: Sind sensitiver als Between-Subjects-Designs sie entdecken leicht auf kleine Effekte: Da die Unterschiede zwischen Personen bestimmt werden können und von der Fehlervarianz (= Varianz, die nicht durch die UV erklärt werden kann) getrennt werden können
- Populationseffekte: Es leichter Populationseffekte aufgedeckt werden, da within-Subjects-Designs über eine größere Power verfügen
Within-Subjects-Design: Nachteile
- Es können keine Bildversuche durchgeführt werden -> daher auch mehr demand characteristics -> keine Naivität der VP
- Positionseffekte (Stellungseffekt): Die Leistung der VPn verändert sich im Laufe des Experiments aufgrund er Reihenfolge der experimentellen Bedingungen, was die interne Validität des Experiments gefährdet
- Carry-Over-Effekte (Übertragungseffekt) : eine frühere Bedingung beeinflusst das Verhalten der VP in nachfolgenden Bedingungen inhaltlich
a) Es gibt keine effektive Möglichkeit der Kontrolle von Carry-Over-Effekten, wenn Carry-Over-Effekte vermutet werden, ist von der Verwendung eines With-Subjects-Designs abzuraten. Das gleiche gilt für Experimente, in denen die Manipulation der UV ausschließlich durch unterschiedliche Instruktionen realisiert wird
b) Um zu überprüfen ob eine Carry-Over-Effekt besteht, kann man das selbe Experiment einmal in einem Within- und einmal in einem Between-Subjects-Design realisieren
- > 2. und 3. können auch kombiniert auftreten
Within-Subjects-Design: Kontrolle von Positionseffekten - Grundsätzliche Idee
Aller Techniken besteht darin, die Position der experimentellen Bedingungen zu balancieren – so ist sichergestellt, dass etwaige Positionseffekte in allen Bedingungen den gleichen „mittleren“ Einfluss auf das Verhalten der VP ausüben
Within-Subjects-Design mit Messwiederholung: Kontrolle von Positionseffekten
-> Durch die Messwiederholung ist es möglich, dass die Position der ver. Bedingungen pro VP balanciert, wird
a) Block-Randomisierung: Jeder Block enthält jede Bedingung des Experiments genau ein mal. Innerhalb des Blocks werden die Bedingungen in eine zufällige Reihenfolge gebracht. Die Anzahl der Blöcke entspricht der Anzahl der Messwiederholungen, die in jeder Bedingung durchgeführt werden soll. Die VP für die die Blöcke erstellt werden durchlaufen die Bedingungen dann gemäß der Blöcke.
Problem: Nur bei einer hohen Anzahl von Messwiederholungen wirksam
b) ABBA-Balancierung (Spiegelbild-Methode): Die vorher verwendeten Bedingungen (AB) werden gedoppelt und in umgekehrter Reihenfolge noch einmal realisiert (ABBA)
Problem: Kann nur bei linearen Positionseffekten verwendet werden. Dass die Positionseffekte linear sind muss vorher bekannt sein und es muss gesichert sein, dass es auch wirklich linear ist
Within-Subjects-Design ohne Messwiederholung: Kontrolle von Positionseffekten
- Positionseffekte können nicht bei jeder einzelnen VP kontrolliert werden, sondern müssen über die VP hinweg kontrolliert werden
Kontrolle:
1. Vollständiges Ausbalancieren
- Unvollständiges Ausbalancieren:
a) Das Lateinische Quadrat
b) Zufallsauswahl
c) Spiegelbildmethode
Wenn nicht alle möglichen Reihenfolgen von experimentellen Bedingungen realisiert werden können, müssen Positionseffekte dadurch kontrolliert werden, dass gezielt eine geeignete Kombination von einigen Reihenfolgen ausgewählt werden
Within-Subjects-Design ohne Messwiederholung: Kontrolle von Positionseffekten: Vollständiges Ausbalancieren
- Definition: Die Bedingungen des Experimentes werden zunächst in alle möglichen Reihenfolgen gebracht. Je nach Anzahl der Bedingungen (X) entstehen so X! Reihenfolgen. (z.B.: Bei 3 Bedingungen entstehen 3! = 6 Reihenfolgen). Die VP werden dann gleichmäßig und zufällig auf die verschiedenen Reihenfolgen aufgeteilt.
- Problem: Die Zahl der experimentellen Bedingungen wächst sehr schnell (4! = 24, 5! = 120, 6! = 720). Daher brauch man auch viele Vp, da man ja jeder Bedingung mind. eine VP zuordnen muss. Bei Experimenten mit mehr als 4 Bedingungen kann das vollständige Ausbalancieren daher häufig nicht angewandt werden
Within-Subjects-Design ohne Messwiederholung: Kontrolle von Positionseffekten: Unvollständiges Ausbalancieren: Das Lateinische Quadrat
- Wenn nicht alle möglichen Reihenfolgen von experimentellen Bedingungen realisiert werden können, müssen Positionseffekte dadurch kontrolliert werden, dass gezielt eine geeignete Kombination von einigen Reihenfolgen ausgewählt werden
- Das Lateinische Quadrat besitzt 2 Eigenschaften:
a) Die Anzahl der im Experiment verwendeten Reihenfolgen entspricht der Anzahl der experimentellen Bedingungen (z.B.: 3 Bedingungen 3 Reihenfolgen). Da bedeutet, dass jede Bedingungn zumindest einmal in jeder Position vorkommt (z.B.: Bedingung A kommt einmal an Position 1, einmal an Position 2 und einmal an Position 3 vor)
b) Jede Bedingung wird jeder anderen Bedingung genau einmal vorangehen und einmal folge
Die VP werden den ausgewählten Reihenfolgen dann gleichmäßig und zufällig zugeteilt
- Es gibt mehrere lateinische Quadrate, die in einem Experiment mit einer gegebenen Anzahl von Bedingungen verwendet werden können
- Vorteile: kann in ein einfaktoriellen Versuchsplan integriert werden, die Position der ein-zelnen experimentellen Bedingungen wird als UV eingeführt, jede Reiehnfolge wird einer Gruppe von VPn zugeordnet -> Positionseffekt kann nicht nur kon-trolliert werden, sondern auch seine Wirkung kann überprüft werden
- Nachteile: Positionseffekt wird über alle VP hinweg kontrolliert
Within-Subjects-Design ohne Messwiederholung: Kontrolle von Positionseffekten: Unvollständiges Ausbalancieren: Zufallsauswahl
: Aus allen möglichen Reihenfolgen von experimentellen Bedingungen werden mithilfe eines Zufallsverfahrens diejenigen ausgewählt, die den VPn zugeordnet werden. Jede VP erhält eine andere Reihenfolge besonders wirksam, wenn viele VPn am Experiment teilnehmen; ermöglicht eine Kontrolle über alle Vpn hinweg
Within-Subjects-Design ohne Messwiederholung: Kontrolle von Positionseffekten: Unvollständiges Ausbalancieren: Spiegelbildmethode: Voraussetzungen + Vor- und Nachteile
Es wird nur eine einzige Reihenfolge von experimental Bedingungen herrausge-griffen. Diese wird aber verdoppelt und gespiegelt. Alle Vp erhalten die so ent-standen Sequenz (z.B.: Bedingungen: x,y,z Spiegelbildmethode: x,y,z,z,y,x )
Voraussetzungen:
I. Es muss möglich sein, jede experimentelle Bedingung bei je-der Vp ohne Veränderung der anderen Umstände (z.B.: Ge-dächtnis, Motivation) zweimal durchzuführen
II. Der Positionseffekt muss linear sein
Vorteil:
Der Positionseffekt wird für jede einzelne VP kontrolliert
Nachteil:
Man muss die Linearität des Positionseffektes vorher überprüfen
Within-Subjects-Design: Kontrolle von Carry-Over-Effekten
-> Wegen der Asymmetrie von Cary-Over-Effekten kann vollständiges Ausba-lancieren diese nicht kontrollieren
- Beseitigung des Cary-Over-Effekts: Wenn man Cary-Over-Effekt kennt, kann er so umgestaltet werden, dass die Ursache beseitigt wird nur sinnvoll, wenn Umgestaltung die Hypothesenprüfung nicht beeinträchtigt
- Between-Subjekt Design anwenden
->Wenn man Within-Design braucht und mit Cary-over-Effekten zu rechnen ist, dann wenigstens zwischen den Bedingungen möglichst viel zeit verstreichen lassen und Ausbalancieren
Versuchspersonen-Erwartungseffekte
- Erwartung der VP:
muss nur kontrolliert werden, wenn man annimmt, dass die Erwartung der VP ihr Verhalten verändert
a) Erwartung, wie eine experimentelle Bedingung wirkt:
Man muss besonders dann damit rechnen, wenn die Vp auch weiß, welche anderen Bedingungen es gibt
Kontrolle:
I. Blindversuch: Vp weiß nicht, welcher Bedingung sie ausgesetzt ist, Untersuchung muss so gestaltet sein, dass VP darauf auch nicht schließen kann
II. Beeinflussung der VP-Erwartung: Die Erwartung der Vp experimentell manipulieren
III. Doppelblindversuch: Erlaubt es Vl-Erwartung und Vp-Erwartung zu kontrollieren und Placeboeffekt zu testen
IV. Placeboeffekt: -> Kann auch negative Wirkungen haben und auch bei psychotherapeutischen Maßnahmen möglich
b) Erwartungen aufgrund von Aufforderungsvariablen (Demand-Variablen):
Bestimmte Variablen der experimentellen Situation können der Vp signalisieren, welches Verhalten zu erwarten ist (z.B.: Sagen dass Halluzinationen auftreten können führt zum vermehren Auftreten von Halluzinationen) -> können mit den Bekannten Methoden zum Ausschalten von Störvariablen kontrolliert werden
c) Erwartung über soziale Erwünschtheit von Verhalten:
- > In Untersuchungen in denen Verhaltensweisen involviert sind, die mit sozialen Normen und Werten zu tun haben
Wichtig: Nur weil eine VP eine Erwartung hat, heißt das nicht, dass sie sich entsprechend dieser Erwartung verhält
Motive von VP
- Motive für Teilnahme/ Nichtteilnahme:
a) Wenn substanzieller Anteil der angesprochenen Vp die Teilnahme verweigert & die Verweigerung mit dem Inhalt des Experiments zusammenhängt kann das zu Verzerrungen führen
b) Durch Belohnung oder „sanften“ Zwang (VP-Stunden im Psychologie-Studium) kann der Anreiz und so die Anzahl an VP erhöht werden
c) Zwang kann aus ethischen Gründen und aus aktive Manipulation der VP nicht ratsam sein
d) Anzahl der VP, die die Teilnahme ablehnen angeben, damit das bei der Interpretation berücksichtigt werden kann
e) Wenn die Verweigerung der Teilnahme asymmetrisch ist – d.h. wenn die Zahl der Ablehner bei einer experimentellen Bedingung systematisch höher ist als bei einer anderen –, kann ein echtes Experiment auf keinen Fall durchgezogen werden. Man kann in einem solchen Fall u.U. aber immer noch auf einen quasi-experimentellen Versuchsplan zurückgreifen
- Motive, die das Verhalten im Experiment beeinflussen
a) Kooperation/Nichtkooperation: Gründe können in erzwungener Teilnahme, mit schlechten Vorerfahrungen, … liegen
b) Testangst – Bewertungsangst (evaluation apprehension): Unsicherheiten und Angst können das Verhalten der Vp im Experiment beeinträchtigen -> Aufklärung oder Kotrolltechniken
c) Bedürfnis nach sozialer Anerkennung: sozial erwünschtes Verhalten zeigen -> Kotrolltechniken oder in Fragebögen „Lügenitems“
Mehrfaktorielle Designs: Haupteffekte und Interaktionen in 2x2-Desgin: Definition: Hautpeffekt, einfacher Haupteffekt & Interaktion
- Definition -
a) Haupteffekt: Die Wirkung einer UV unabhängig von den Stufen der anderen UVn in einem mehrfaktoriellen Design wird als Haupteffekt bezeichnet. Es gibt immer so viele Haupteffekte, wie es UVn (Faktoren) in einem Experiment gibt.
b) einfacher Haupteffekt: Die Wirkung eines Faktors innerhalb einer Stufe es anderen Faktors. Pro Faktor gibt es so viele einfache Haupteffekte wie es Stufen des anderen Faktors gibt
- Definition – Interaktion: Eine Interaktion liegt dann vor, wenn die Wirkung einer UV von der Stufe der anderen UV abhängig ist
Mehrfaktorielle Designs: Haupteffekte und Interaktionen in 2x2-Desgin: Bestimmung einer Interaktion
Wir müssen zunächst die Effekte bestimmen, die eine UV auf den ver. Stufen der anderen UV hat. Diese Effekte vergleichen wir dann miteinander. Sind diese Effekte auf den ver. Stufen der andern UV nicht gleich groß, so liegt eine Interaktion vor. Liegt eine Interaktion vor, sollte man mit der Interpretation der Haupteffekte vorsichtig sein, diese können dann auch nur aufgrund der Interaktion aufgetreten sein
Mehrfaktorielle Designs: Haupteffekte und Interaktionen in 2x2-Desgin: Graphische Darstellung der Ergebnisse
- Liniendiagramm:
y-Achse: AV
x-Achse: UV
Die Stufen der zweiten UV werden durch Linien präsentiert. Eine Interaktion besteht immer dann, wenn die Linien nicht parallel verlaufen - Balkendiagramm:
y-Achse: AV
x-Achse: UV
Die Stufen der zweiten UV werden durch Balken präsentiert. Eine Interaktion erkennt man daran, dass die Differenz zweier benachbarter Balken nicht gleich groß sind
Interaktionen und Haupteffekte komplexeren Designs
Je komplexer das Desgin, desto mehr Haupteffekte und Interaktionen können geprüft werden. Bei einem 2x3x2-Design, gibt es beispielsweise 3 Haupteffekte (von Faktor A, B &C), 3 Interaktionen erster Ordnung (Interaktion von A &B, B&C und C&A) und eine Interaktion zweiter Ordnung (dreifach Interaktion zwichen A, B & C)
- Interaktion erster Ordnung: Die Wirkung einer UV ist von der Stufe einer zweiten UV abhängig. (Siehe Definition – Interaktion)
- Interaktion zweiter Ordnung: Eine Interaktion zweier Faktoren ist von der Stufe einer dritten UV abhängig
externe Validität mit Interaktionen erhöhen/prüfen
- Mehrfaktorielle Designs bieten die Möglichkeit, systematisch zu untersuchen, ob und ggf. welchen Einschränkungen die Übertragbarkeit von Befunden unterliegt. bei einer Replikation können wir eine weiter UV aufnehmen und untersuchen ob sie mit der UV im Ursprungsexperiment interagiert (z.B.: Gucken, ob der Effekt für alle Altersgruppen gilt)
a) Eine Interaktion liegt vor: Eine Interaktion bedeutete stehts, dass der Haupteffekt einer UV nicht über die Stufen der anderen UV generalisiert werden kann
b) Es liegt keine Interaktion vor: Die externe Validität des Ursprungsbefundes wird erhöht
Achtung: Über die Übertragbarkeit auf nicht untersuchte Bedingungen oder Personengruppen kann keine Aussage getroffen werden
Quasiexperiment: Definition
- Definition: Ziel ist es ebenfalls die Wirkung einer UV (oder mehrere UVn) auf eine AV zu bestimmen (Kausaler Zusammenhang) . Ein Quasi-Experiment bietet jedoch nicht das gleich Maß an Kontrolle, da nicht Randomisiert wird -> Es wird zwar teilweise auch eine UV manipuliert (erste Kriterium eines Experiments erfüllt), jedoch ist keine Kontrolle von Störvariablen möglich (zweite Kriterium eines Experiments nicht erfüllt)
Quasi-Experiment: Einsatz
- Oft in Evaluationsstudien im Feld (VP können den Versuchsgruppen meist nicht zufällig zugeteilt werden
- Untersuchungen, in denen keine Randomisierung vorgenommen werden kann, da die Zuordnung der Teilnehmer zu bestimmten Stufen der UV vor Untersuchungsbeginn feststeht (z.B.: Wohnort, Geschlecht, Religionszugehörigkeit, Erkrankungen, …) hier kann die UV auch nicht manipuliert werden daher ist die Aussagekraft noch geringer als bei anderen Quasi-Experimenten
Quasi-Experiment: Eigenschaften
- Geringe interne Validität: Durch die Fehlende Kontrolle von Störvariablen können wir den Effekt nicht direkt auf die UV zurückführen. Ein Quasi-Experiment hat also eine geringere interne Validität
- Schlussfolgerungen sind also nicht auf die gleiche Weise möglich wie beim Experiment
Quasi-Experiment: Möglichkeiten der Kontrolle
- Vorhermessungen
2. Statische Kontrolle: Einfluss der Störvariablen „rausrechnen“ -> nur begrenzt möglich
Quasi-Experiment: Versuchspläne
- Versuchspläne mit nicht äquivalenter Kontrollgruppe
- Zeitreihenversuchsplan
- Einzelfallversuchsplan mit Revision
Quasi-Experiment: Versuchspläne: 1. Versuchspläne mit nicht äquivalenter Kontrollgruppe
- Es nimmt nur eine Gruppe teil & es gibt keine Kotrollgruppe oder
- Mehrere Gruppen, die aber nicht randomisiert und auch nicht nach allen relevanten Störvariablen parallelisiert sind (z.B.: Schulklassen) sie unterscheiden sich systematisch
- oft wird ein einfacher Zweigruppenplan mit Vohermessung durchgeführt:
nicht äquivalente Gruppe 1 AV UV(Stufe 1) AV
AV nicht äquivalente Gruppe 2 AV UV(Stufe 2) AV - Interpretation: für sie ist wichtig, inwieweit Erklärungsmöglichkeiten durch Störvariablen ausgeschlossen werden können (konkrete Argumente & Belege)
- Ergebnisse: ideales Ergebnis wäre keine Unterschiede im Vor- aber Unterschiede in Nachtest
Quasi-Experiment: Versuchspläne: 2. Zeitreihenversuchsplan
- Die AV wird zu mehreren Zeiten gemessen
Eine Gruppe: UV (Stufe 1) AV1, AV2, AV3, UV(Stufe2); AV4, AV5, AV6
-> Unterscheidet sich die AV-Messung vor der Einführung der UV von denen nach der Einführung, könnte man auf die Wirksamkeit der UV schließen - Vorteil: Man kann zwei Messzeitpunkt miteinander vergleichen und ggf. die Wirkung der UV isolieren
- Man kann auch Mehrgruppen-Designs machen oder Mehrgruppen-Designs mit wechselnden Replikationen
(s. Sitzung 9 F. 17) - Zeitreihenexperiment mit nicht-äquivalenter Kontrollvariable: mit erhoben wird eine konzeptuell ähnliche Kontrollvariable, die aber nicht durch Änderung der UV verändert werden kann
Quasi-Experiment: Versuchspläne: 3. Einzelfallversuchsplan mit Revision
- besonders für die Klinische Psychologie wichtig, da man bei einzelnen Klienten überprüfen will, ob eine bestimmte therapeutische Behandlung den beabsichtigten Effekt hat, dafür ist es wichtig, die Wirkung der UV von den Störvariablen zu trennen
b.z.: Stufe 1 = ohne therapeutische Behandlung
Stufe 2 = mit therapeutischer Behandlung
Stufe 3 = Revision (keine therapeutische Behandlung)
Stufe 4 = mit therapeutischer Behandlung
- Versuchsplan mit Revision ist nur anwendbar, wenn eine Revision möglich ist, also die Veränderung der UV in stufe 2 keine irreversible Veränderung bewirkt
- Revision bei leiden Patienten wirft oft ethische Fragen auf
Quantitative Methoden
- Experiment
- Quasi-Experiment
- nicht-experimentelle Forschungsmethoden:
a) Korrelationsstudie
b) Umfragenforschung
Für welche Forschungsmethoden entscheiden wir uns bei der Prüfung einer Kausalhypothese?
Oft Experiment oder Quasi-Experiment
Für welche Forschungsmethoden entscheiden wir uns bei der Prüfung einer Zusammenhangshypothese?
Korrelationsstudie
Nicht-experimentelle Forschungsdesigns: Definition , Eigenschaften & Arten & Rolle der internen Validität
- Definition:
a) Beschreiben: Das Hauptmerkmal nicht- experimenteller Forschungsmethoden besteht in ihrem Ziel, einen Sachverhalt möglichst genau beschreiben zu wollen. Häufig wird auch nach deren Zusammenhang gefragt.
b) Zusammenhang: Numerische Daten bilden die Grundlage von Hypothesengenerierung und Hypothesenentscheidung.
c) in der Regel keine Kausalhypothesen: im Sinne der Erklärung von Wirkzusammenhängen geprüft werden
d) Die interne Validität spielt eine untergeordnete Rolle - Arten:
a) Korrelationsstudie
b) Umfrageforschung
Nicht-experimentelle Forschungsdesigns: Korellationsstudie
- UV und AV werden nicht unterschieden -> keine Manipulation einer UV, es werden lediglich zwei Variablen beschrieben
- Richtung und Höhe des Zusammenhangs zwischen mindestens zwei Variablen -> !!Keine Kausalität!! Aber Abwesenheit einer Korrelation würde eine mögliche Kausalität ausschließen
- Korrelationskoeffizienten: Die numerische Erfassung des Zusammenhangs erfolgt mit dem Korrelationskoeffizient (von -1 bis +1) 0 = kein Zusammenhang
- Schätzung: Bei einer stabilen Korrelation lässt sich der Wert einer Variablen aus dem Wert der anderen Variablen vorhersagen
- Keine Kausalaussage: Aus Zusammenhangsstudien dürfen keine Kausalaussagen abgeleitet werden
- Dritt-Variablen: Es ist möglich, dass eine dritte Variable die Korrelation zwischen zwei Variablen vermittelt
- Matrix: Korrelationen von mehr als zwei Variablen werden in Matrixform dargestellt
Nicht-experimentelle Forschungsdesigns: Umfrageforschung, Definition, Instrument, Ziel, Eigenschaft, Spezialfall
- Definition: Die Umfrageforschung sammelt standardisierte Informationen zu einem spezifischen Fragegegenstand (Wahl, Produktbeliebtheit, Irakkrieg usw.), indem eine repräsentative Stichprobe der jeweiligen Population befragt (interviewt) wird
- Instrument: Befragung bzw. Interviews
- Ziel: Erhebung eines zutreffenden Meinungsbilds
- Umfrageforschung ist anwendungsnah (Beispiele sind Mark- oder Wahlforschung)
- Spezialfall: Panelforschung
Qualitative Forschungsmethode: Fallstudie
- ganzheitlich, kontextsensitiv und multiperspektivisch
- eine holistische Forschungsmethode: mit der interessierende Fälle ganzheitlich, unter Einbeziehung ihres Kontextes und unter Verwendung verschiedener Datenquellen und Erhebungsverfahren umfassend untersucht werden.
- Arten:
a) eine Einzelfallstudie oder Multiple-Fallstudien
b) holistische oder eingebettete Fallstudie (nur übergeordnete Einheiten interessieren)
c) beschreibende oder erklärende Fallstudien - Fallstudien in der Psychologie sind meistens beschreibend
Unterscheidbarer Dimensionen quantitativer Forschung: Kontrolliertheit der Untersuchungen (Experiment, Quasi-Experiment, nicht-experimentell) im Vergleich: 1. Begründete kausaltheoretische Hypothese?, UVn aktiv manipuliert, alle SV kontrolliert?
1. begründete kausaltheoretische Hypothese vorhanden? a) Experiment: Ja b) Quasi-Experiment: Ja c) nicht-experimentell: manchmal
- UVn aktiv manipuliert
a) Experiment: Ja
b) Quasi-Experiment: Jaein
c) nicht-experimentell: nein - alle SVn kontrolliert
a) Experiment: Ja
b) Quasi-Experiment: Nein
c) nicht-experimentell: nein
s. Sitzung 6. F. 11 & 13
Das MaxKonMin-Prinzip
Qualität aus Sicht der Varianz-Quellen in der AV
1. MAXimiere die Primärvarianz:
a) extreme experimentelle Bedingungen/Manipulationen
begünstigen Auswirkung der UV (wenn UVAV monoton!)
b) mehrfaktorielle Designs nutzen
- KONtrolliere die systematische Störvarianz:
a) Abschirmung, Eliminierung, Konstanthalten
b) Randomisierung und Balancierung
c) statistische Kontrolle bei mitgemessener SV ->
Kovarianzanalyse - MINimiere die unsystematische Störvarianz:
a) Standardisierung des Versuchsablaufs und der
Versuchssituation
b) Nutzung reliabler Messinstrumente
c) Wahl eines entsprechenden und geeigneten Versuchsplanes
s. Sitzung 6, F. 32,33
Kontrolltechniken von Störvariablen in der Versuchssituation: 6. Erwartungseffekte - c) Rosenthal-Effekt (Versuchsleitereffekt): Kontrolle
- Kontrolle:
a) Doppelblindstudie -> Voraussetzung: mehr als ein VL
b) Verhalten des VL standardisieren
c) VL trainieren
d) Interaktion zwischen VL und VP so weit es geht zu begrenzen
e) Standardisierung der Versuchsbedingungen
f) Ausschalten des VL: durch Fragebogen oder Computer ersetzen
g) Manipulation der Erwartung des Vl :
I. Vl der die experimentellen Bedingungen appliziert darf nicht der gleiche sein, wie der, der die AV operationalisiert (Prinzipiell könnten es die selben sein, aber dann dürfte Vl nichts über die Hypothese wissen und auch keine eigene bilden)
II. Bilden einer Erwartungskontrollgruppe (Solomon): sie unterliegt den gleichen Bedingungen wie der Kontrollgruppe, die Erwartung des VL wird aber so manipuliert, dass der das Ergebnis wie in der EG erwartet: Hat die EG und Erwartungskontrollgruppe ähnliche Ergebnisse gibt es einen Vl-Erwartungseffekt
Kontrolltechniken von Störvariablen in der Versuchssituation: 6. Erwartungseffekte - c) Rosenthal-Effekt (Versuchsleitereffekt): Wann ist mit dem VL-Effekt zu rechnen?
a) Vl muss in der Lage sein, für jede Vp eine Erwartung zu bilden
b) der Vl muss seine Erwartungen in einem bestimmten Verhalten ausdrücken -> kann z.B.: Durch Schulung des Vl vermieden werden
c) Die Vp muss in der Lage sein, aus dem Verhalten des Vl Informationen dar-über zu entnehmen, welches Verhalten von ihr erwartet wird
d) Die Vp muss sich beeinflussen lassen
- >Es gibt große interindividuelle Unterschiede, ob ein Vl anfällig für den Erwartungseffekt ist
- > Insgesamt tritt VL-Effekt seltener auf als gedacht
Typen von Variablen im Experiment: UV
- Die Variable, die vom Experimentator aktiv verändert wird.
- Oft auch: Behandlung (Treatment) oder Faktor (factor)
- die Stufen der UVn = (experimentelle) Bedingungen (muss in einem Experiment mind. 2 Stufen haben)
Typen von Variablen im Experiment: AV
Dies ist die Variable, bei der der Effekt der UV beobachtet werden soll. Die „Reaktion“ der AV ist als das Ereignis, das vorhergesagt wird
Typen von variablen im Experiment: Störvariable
Eine Variable, die (vermutlich) auch Einfluss auf die AV hat, deren Wirkung wir aber im momentanen Experiment neutralisieren wollen, weil sie den Effekt der UV stören würde
Die SV und UV kovariieren
Typen von Variablen im Experiment: Moderatorvariable
Wenn die Gültigkeit einer Hypothese von einem Merkmal der Person oder einem Merkmal der Situation abhängt, ist dieses Merkmal eine Moderatorvariable -> sind u.a. bei der Generalisierung der Ergebnisse wichtig
Yoked-Designs
Spezialform der Parallelisierung -> Stituationsvariablen werden für zwei VP parallelisiert
Vortests und Kontrollgruppen
- die Wahl richtiger Kontrollgruppen bzw. Vergleichsbedingungen ist essentiell, um kausale Schlüsse zu rechtfertigen
- Einfaches zwei- Gruppen- Design:
Exp. Gruppe: UV -> AV gemessen
Kontrollgruppe: AV gemessen
-> Problem: unbekannte Gruppenunterschiede, insbesondere bei kleinen Stichproben - Zwei-gruppen-Design mit vor- und Nachtest:
Exp.Gruppe: Y1: Vortest(AV) -> UV -> Y2:Nachtest (AV)
Kontrollgruppe: Y1: Vortest(AV) -> Y2: Nachtest (AV)
Vorteil: Erlaubt Vergleich -Effekt pro Gruppe: Y2-Y1
Nachteil: Sensitivierung der VP, Übungen, … -> Solomon-4-Gruppen Design
Arten von Kontrollgruppen
- klassische Kontrollgruppe: Die UV wird in der Kontrollgruppe nicht realisiert, sonst ist alles gleich
- Kontrollgruppe mit zwei Bedingungen der UV:
Wenn die UV zwei Bedingungen hat dann hat die Experiementalgruppe die eine Bedingung und die Kontrollgruppe die andere
Wichtigstes Merkmal Between-Subjekt Design und within-Subjekt-Design
- Between: es nehmen ver. VP an ver. Bedingungen teil
2. Within: dieselben VP nehmen an ver. Bedingungen teil, von jeder VP liegen mehrere Datenpunkte vor
Between-Subjekt-Design: Vor- und Nachteile
- Vorteil:
a) wenn Naivität der Vp bzlg. der Bedingungen der UV nötig
b) Ausschluss von Reihenfolgeeffekten
c) Personengebunden Variablen können UV sein (Alter, Geschlecht, …) dann aber nicht mehr experimentell - Nachteile:
a) mehr VP nötig -> erhöht Aufwand
b) mögliche Konfundierungen von UV und Verteilungen der Eigenschaften der Gruppenmitglieder
- -> es müssen äquivalente Gruppen geschaffen werden
Bei vollständigen Ausbalancieren von Positionseffekten VP zahl ausrechnen
N = k! * n
so viele Reihenfolgen wie man braucht mal die Anzahl (n) an VP die man pro Bedingung braucht (i.d.R. mind. 1)
Trendanalyse
- bisher: Unterschiedung zwischen 2 Gruppen/Bedinungen -> UV in. d.R. nominalskaliert (z.B.: Wirkung ver. Tränke)
- Trend (linear, quadratisch,…) -< UV mind. ordinalskaliert (z.B.: Wirkung ver. Dosis Koffein)
- ordinale Interaktion + Interpretation welcher Haupteffekte möglich?
- in beiden Diagrammen nicht parallel, aber gleichsinnig (alle ab- oder
aufsteigend) - beide Haupteffekte (und Interaktion) können sinnvoll interpretiert werden
- disordinale Interaktion + Interpretation welcher Haupteffekte möglich?
- in beiden Diagrammen nicht parallel und auch nicht gleichsinnig
- keine sinnvolle Interpretation der Haupteffekte
- Fokus auf Interaktion und einfache Haupteffekte
- semiordinale/hybride Interaktion
- in beiden Diagrammen nicht parallel gleichsinnig in einem, aber nicht gleichsinnig (überschneidung) in einem anderen Diagramm
- nur Haupteffekte für Faktor mit gleichsinnigen einfachen Haupteffekten kann sinnvoll interpretiert werden (nur der Faktor der als Linien abgetragen ist im gleichsinnigen Diagramm)
Wieviel VP brauch man, wenn man ein 2*3-Design hat und pro experimenteller Bedingung (Zelle) 5 VP braucht, bei
- within
- between
- mixed Design?
- Within: wir brauchen genau so viele VP wie wir VP pro Zelle brauchen, da ja jede VP alle (2*3 =) 6 Bedingungen durchläuft, daher brauchen wir 5 VP
- between: Wie brauchen pro Experimentelle Bedingung 5 neue VP, daher 235 = 30 VP insgesamt
- N = Anzahl der bs-Stufen * vp pro Zellen = 2 * 5 = 10
Interpretation von Interaktionen
- nur die Interaktion gibt Auskunft über ver. Größen der anderen Effekt -> kein t-Test !
Kann ein Feldexperiment ein “echtes Experiment” sein?
ja durch Street Theater Strategy oder Accosting Strategy aber oft in randomisierte Zuteilung der Bedingungen der UV nicht möglich daher oft Quasiexperiment
Quasi-Experiment: Versuchspläne: 1. Versuchspläne mit nicht äquivalenter Kontrollgruppe: Handeln bei bestehenden Unterschieden im Vortest
- Kovarianzanalyse (ANCOVA):
a) wenn vorher bekannt ist, welche Variablen für Unterschiede verantwortlich sind, diese messen („Kovariate“)
b) ANCOVA testet Wirkung der UV, wenn Gruppen sich in AV im Vortest nicht unterscheiden würden
c) Probleme:
• entsprechende Kovariaten müssen bekannt sein
• Homogenität der Regressionssteigungen: Beziehung zwischen Kovariate und AV muss in den Gruppen gleich sein - Parallelisieren?
a) nur in einem bestimmten Wertebereich möglich
b) keine zufällige Zuteilung der Paar-Mitglieder auf
Gruppen
c) Und: gewählte Werte sind aus Extrembereichen
→ Regression zur Mitte
• ohne jede Wirkung der UV:
• Werte der Gruppe mit höheren Vortest-Werten
steigen (rot) im Mittel
• Werte der Gruppe mit niedrigeren Vortest-
Werten (schwarz) sinken im Mittel
Ex-post-facto Designs
- Definition: Ableitung von Beziehungen bzw. vermuteten Kausalzusammenhängen aus nicht manipulierten oder nicht-manipulierbaren Variablen aus Daten die bereits vorliegen i.d.R.
- UV und AV werden nachträglich („ex-post-facto“) bestimmt, UV also bereits vorhanden, nicht manipuliert
- rudimentäre Kontrolle über SV, ggf. statistisch
- zeitliche Reihenfolge UV→AV oft unklar ungenügende Kontrolle über SV keine klaren Kausalschlüsse möglich,
eher eine beschreibende Korrelation - bei hinreichender Berücksichtigung von SV, vorläufige Kausalinterpretation denkbar
Nicht-experimentelle Forschungsdesigns: Korellationsstudie: Cross-lagged Panel-Design
Aussagen über Plausibilitäten konkurrierender Kausalitätsmodelle
• Beispiel: Bildung und Einkommen hängen zusammen (korrelieren miteinander)
• Kausalmodell 1: Bildung beeinflusst das Einkommen
• Kausalmodell 2: Einkommen beeinflusst die Bildung
Umfrageforschung: Panelforschung
- Hauptunterschied zur Umfrageforschung: die gleichen Probanden werden wiederholt in regelmäßigen Abständen befragt
- Panel- Definition: Eine Stichprobe, die wiederholt zu einer bestimmten Thematik (Fernsehgewohnheiten,
Konsumgewohnheiten etc.) oder auch zu verschiedenen Themen befragt wird - Vorteile: eine bestehende repräsentative Stichprobe kann öfters befragt werden -> weniger aufwand
- Nachteil: Effekte der wiederholten Befragung (Sequenzeffekte)
solomon-4-Gruppen Design
- Gruppe: Vortest Maßnahme Nachtest
- Gruppe: - Maßnahme Nachtest
- Gruppe: Vortest - Nachtest
- Gruppe: - - Nachtest
Unterscheiden sich Gruppe 1 und Gruppe 2 im Nachtest, so sind diese Differenzen auf die Auswirkungen des Vortests (oder präexperimentelle Unterschiede) zurückzuführen. Das gleiche trifft auf Unterschiede zwischen Gruppe 3 und 4 zu.
Unterscheiden sich Gruppe 1 und Gruppe 3 im Nachtest, aber nicht im Vortest, sind Veränderungen auf die Maßnahme attribuierbar. Auch hier gilt das gleiche für Differenzen zwischen Gruppe 2 und 4
