prov. Fragebogen 61. - 75 Flashcards
- Erklären Sie externe und interne Validität.
Die interne Validität beschäftigt sich mit der Frage, ob Veränderungen der abhängigen Variable
eindeutig auf den Einfluss in der unabhängigen Variable zurückführbar sind (d.h. neben der
Untersuchungshypothese gibt es keine besseren Alternativerklärungen) ->
Randomisierung/Parallelisierung, Kontrolle von Störvariablen.
Bei der externen Validität ist relevant, ob die in einer Stichprobenuntersuchung gefundenen Ergebnisse
auf andere Personen, Situationen oder Zeitpunkte generalisiert werden können.
- Welche Designs ohne Kontrollgruppe kennen Sie (mit jeweils kurzer Erklärung)?
- Ein-Gruppen-Post-Test: Eigenschaften i.a. desaströs, kann aber sinnvoll sein wenn Effekt der
Behandlung klar feststellbar ist und nicht anders erklärbar (z.B. Effekt einer Droge). Multiple Post-
Tests können helfen, alternative Möglichkeiten auszuschalten (vgl. Feststellung einer Todesursache) - Ein-Gruppen-Pretest-Posttest: Problem der alternativen Erklärungen für den „Effekt“ bleibt
bestehen: parallele zeitliche Entwicklung, Einfluss der Testung selbst, selektive Stichprobenausfälle - Zur Verbesserung können nicht-äquivalente abhängige Variablen hinzugefügt werden, also solche,
die sich nicht verändern sollten (z.B. nicht beworbenes Spielzeug -> nur das beworbene sollte attraktiver
werden)
- Der Ein-Gruppen-Post-Test. Was kann er, was sind die Probleme? Wie lässt sich das Design aufbessern? Analog: der Ein-Gruppen-Prätest-Posttest, der Post-Test mit zwei verschiedenen Gruppen, Versuchsplan mit Prä-Post-Test und Kontrollgruppe.
- Ein-Gruppen-Post-Test: Eigenschaften i.a. desaströs, kann aber sinnvoll sein wenn Effekt der Behandlung klar feststellbar ist und nicht anders erklärbar (z.B. Effekt einer Droge). Multiple Post- Tests können helfen, alternative Möglichkeiten auszuschalten (vgl. Feststellung einer Todesursache)
- Ein-Gruppen-Pretest-Posttest: Problem der alternativen Erklärungen für den „Effekt“ bleibt bestehen: parallele zeitliche Entwicklung, Einfluss der Testung selbst, selektive Stichprobenausfälle
- Zur Verbesserung können nicht-äquivalente abhängige Variablen hinzugefügt werden, also solche, die sich nicht verändern sollten (z.B. nicht beworbenes Spielzeug à nur das beworbene sollte attraktiver werden)
- Posttest mit 2 verschiedenen Gruppen: (eine mit, eine ohne Behandlung): Ohne Randomisierung ist es schwer zwischen Selektion und Effekt zu unterscheiden; Alternative: retrospektive „Pretests“
- Versuchsplan mit Prä-Post-Test und Kontrollgruppe: „Standard“-(quasi)experimentelles Design
- Formulieren Sie jeweils ein eigenes Beispiel für Ein-Gruppen-Post-Test bzw. Ein-Gruppen-Prätest-Posttest und Post-Test mit zwei verschiedenen Gruppen, Versuchsplan mit Prä-Post-Test und Kontrollgruppe.
Ein-Gruppen-Post-Test: Nach Sehen des Filmes „Joker“ werden Versuchsteilnehmende nach den
Charakteren befragt, an die sie sich erinnern können. Man will auf diese Weise untersuchen, ob sich an mehr
weibliche als männliche (bzw. umgekehrt) Charaktere erinnert wird. Ein Prätest ist nicht notwendig, da
davon auszugehen ist, dass sich vor dem Film niemand an Charaktere erinnern kann.
Ein-Gruppen-Prätest-Posttest: Mittels einer Ratingskala wird die Ausländerfeindlichkeit einer Gruppe
gemessen. Anschließend nimmt die Gruppe an einem Toleranzworkshop teil. Danach wird erneut das Maß
an Ausländerfeindlichkeit erhoben.
Post-Test mit zwei verschiedenen Gruppen: Man möchte wissen, ob eine auf Frauen fokussierte Werbung
als Primer vor einem Film sich auf das Geschlechterverhältnis der erinnerten Charaktere auswirkt.
Versuchsteilnehmende werden in zwei Gruppen eingeteilt (eine sieht die Werbung vor dem Film, die andere
sieht sie nicht) und schauen sich einen Film an. Anschließend werden beide Gruppen dazu befragt, an
welche Charaktere sie sich erinnern können. Ein Prätest ist hier nicht nötig, da davon auszugehen ist, dass
sich vor dem Film niemand an Charaktere erinnern kann (bzw. würde das zweimalige Sehen des Filmes sich
auf das Ergebnis auswirken).
Versuchsplan mit Prä-Post-Test und Kontrollgruppe: Die Wirksamkeit eines neuen Antidepressivums
soll ermittelt werden. Alle Versuchspersonen werden per Zufall in Versuchs- und Kontrollgruppe eingeteilt
(Randomisierung => Experiment). Zu Beginn werden die baseline Werte der Depressivität bestimmt. Als
nächstes bekommt die Versuchsgruppe das neue Medikament, während die Kontrollgruppe ein Placebo
bekommt. Nach einiger Zeit wird wieder die Depressivität in den beiden Gruppen gemessen.
- V: Angenommen eine Studie möchte feststellen, ob entspannende Musik während des Schlafs aggressive Tendenzen vermindert. Zu diesem Zweck wird 60 Jugendlichen zu Zeitpunkt 1 ein Fragebogen vorgelegt, welcher die Zustimmung zu aggressiven Vorurteilen und aggressiven Bestrafungen von Fehlverhalten misst. Der Fragebogen wird nach 3 Wochen zu Zeitpunkt 2 wiederholt. Dazwischen wird in der Nacht beruhigende Musik aufgelegt, eine Auswahl langsamer Sätze aus Vivaldi-Konzerten. Am Ende werden die Unterschiede in den Fragebogenscores zwischen Zeitpunkt 1 und Zeitpunkt 2 ausgewertet.
Um welches Design handelt es sich? Was sind die Stärken, was die Schwächen dieses Designs? Welche möglichen Alternativerklärungen für allfällige Effekte gibt es, und wie bedrohlich sind sie für die Aussagekraft der Resultate? Welche Verbesserungsmöglichkeiten fallen Ihnen ein (denken Sie insbesondere an die in der Vorlesung genannten Punkte). Benutzen Sie zum Bearbeiten die Antwortmaske 1 am Ende des Dokuments.
- V: Diskutieren Sie die externe Validität der im vorigen Beispiel beschriebenen Studie unter Anwendung des UTOS-Modells.
Units – Sind die Ergebnisse auf andere Populationen übertragbar? Aus der Aufgabenstellung geht nicht
hervor, wie die Jugendlichen rekrutiert wurden. Aber selbst wenn die Stichprobe für die Population
repräsentativ ist, können die Ergebnisse vermutlich nur auf Jugendliche übertragen werden.
Treatments – Sind die Ergebnisse auf andere treatments, also zum Beispiel andere Musik, übertragbar? Das
kann ich so nicht sagen. Eventuell müsste die Studie mit anderer, ebenfalls als „entspannende Musik“ (evtl.
aus einer anderen Zeit) wiederholt werden.
Observations – Sind die Ergebnisse auch auf andere Untersuchungsmodalitäten generalisierbar? Würde
z.B. dasselbe rauskommen, wenn man aggressive Tendenzen nicht durch Fragebogen, sondern durch
Verhaltensbeobachtung erhoben wird?
Settings – Lassen sich die Ergebnisse auf andere
- Sie möchten feststellen, wie stark Jugendliche auf einen Horrorfilm reagieren, die gerade die Altersfreigabe erfüllen. Dazu erheben sie, wie oft Jugendliche Figuren dieses Films in (erinnerte) Trauminhalte der nächsten Woche eingebaut haben. Um was für ein Design handelt es sich? Welche Stärken bzw. Schwächen weist es auf? Gibt es plausible Alternativerklärungen für allfällige Resultate? Wie bedrohlich sind sie für die Interpretation? Inwiefern ändern sich Ihre Antworten, wenn statt „Figuren aus dem Film“ nur allgemein „Alpträume“ gezählt werden?
Es handelt sich um ein Ein-Gruppen-Posttest-Design, da es nur eine Gruppe und keinen Pretest gibt.
Das Weglassen eines Pretests lässt sich dadurch rechtfertigen, dass vor dem Sehen des Filmes realistisch die
Figuren nicht in Träume eingebaut werden können. Ansonsten hat das Design eigentlich nur Nachteile, da
das Fehlen einer Kontrollgruppe grundsätzlich viele Alternativerklärungen möglich macht. In dem Fall
ist die Beziehung zwischen Sehen eines Filmes und Beschäftigung mit den Filmfiguren jedoch ziemlich
unumstritten, da die Figuren nur in den Traum eingebaut werden können, wenn einem der Film bekannt ist.
Womöglich wirken aber andere Variablen (z.B. die Konfrontation mit Werbung für den Film) sich auf den
„Effekt“ aus. Im Extremfall ist das Sehen der Werbung sogar alleinig verantwortlich für das Träumen von
den Filmfiguren. Dies könnte mit einem Design überprüft werden, in dem eine Gruppe (zusätzlich zum
Film) bewusst Werbung für denselben ausgesetzt ist, die andere jedoch nicht (wie auch immer das in der
Realität umsetzbar ist). Diese Alternativerklärung halte ich für nicht sehr bedrohlich, da sie sehr nahe an der
uns interessierenden Erklärung ist (muss man überhaupt zwischen Werbung und Film trennen, oder ist diese
Unterscheidung in dem Kontext irrelevant?). Gefährlicher wäre, wenn die Personen durch ihr Bewusstsein,
dass sie an einer Studie zu dem Film teilnehmen, mehr von den Figuren träumen. Je nachdem, wann welche
Fragen wie gestellt werden, ist dies durchaus plausibel.
Das ist etwas, was sich dadurch ändern würde, dass nur allgemein „Albträume“ gezählt werden. Das Design
wäre das gleiche mit denselben Vor- und Nachteilen – die beiden genannten Alternativerklärungen würde
ich jedoch für weniger plausibel halten, da dieAufgabenstellung meiner Meinung nach weniger
suggestiv ist (also in dem Fall weniger das Auftreten der Träume beeinflussen würde). Allerdings gebe es
jede Menge neue Alternativerklärungen für eine höhere Anzahl berichteter Albträume (z.B. parallele
zeitliche Entwicklung: neue, schreckliche Lehrerin, Sehen eines anderen Filmes).
- V: Sie erheben den Effekt von Trauma-Therapie anhand von Betroffenen, indem Sie das Befinden unmittelbar nach dem Trauma bzw. zwei Monate später erfassen. Um welches Design handelt es sich? Welche Nachteile birgt das Design in sich? (Antwortmaske 1 am Ende des Dokuments)
- V: Um den Effekt einer neu eingeführten pädagogischen Maßnahme zu prüfen, vergleichen Sie, ob VolksschülerInnen der 2. Klasse dieses Jahr (VOR der Maßnahme) und dann nächstes Jahr (wieder 2. Klasse, NACH Einführung der Maßnahme) besseres Leseverständnis aufweisen (mittels eines standardisierten Tests). Diskutieren Sie (mit entsprechenden Annahmen über die konkrete Situation), inwiefern wegen der fehlenden Randomisierung die Schlüssigkeit der Studie tatsächlich gefährdet ist, und in welchem Ausmaß solche Bedrohungen plausibel angenommen werden können. Gehen Sie dafür mindestens 5 verschiedene mögliche Alternativerklärungen durch. Wie ließe sich das Design schlüssiger machen (insbesondere bezogen auf die von Ihnen angeführten Alternativdeutungen)?
In einem randomisierten Design hätte man zwei verschiedene Gruppen zu je zwei Zeitpunkten der Messung
unterzogen. Zwischen den beiden Messzeitpunkten wäre in einer Gruppe die Maßnahme eingeführt worden.
Meine erste Alternativerklärung hat vor allem mit der Tatsache zu tun, dass wir im Prinzip nur „eine
Gruppe“ haben – welche sich aber je nach Zeitpunkt unterschiedlich zusammensetzt.
Alternativhypothese 1: Es ist möglich, dass sich die beiden Klassen (2. Klasse zum MZP1 und 2. Klasse
zum MZP2) ganz einfach von vornherein voneinander (z.B. in ihren Schulleistungen) unterscheiden. Dies
ist, ohne randomisierte Zuteilung, recht wahrscheinlich. Würde man zwei Parallelklassen zur gleichen Zeit
untersuchen (nur eine bekommt die Maßnahme), so könnte dies über einen Vergleich der Pretest zumindest
überprüft werden. Wenn dann auch noch randomisiert würde (also keine echten Klassen herangezogen,
sondern per Zufall zusammengewürfelte Gruppen), so könnte man systematische Unterschiede überhaupt
verhindern. Die Verwendung zweier Parallelklassen würde das Design verbessern und wäre meiner
Meinung nach realistisch umsetzbar. Die randomisierte Zuteilung von Schulkindern zu zwei Gruppen und
die Untersuchung über ein Jahr hinweg, ist meiner Ansicht nach eher schwierig.
Alternativhypothese 2: parallele zeitliche Entwicklung – Womöglich werden die beiden Klassen von
unterschiedlichen Sets an Lehrern unterrichtet. Eine komplette Veränderung des Lehrpersonals innerhalb
von einem Jahr halte ich nicht für sehr wahrscheinlich, allerdings kann sie nicht ausgeschlossen werden (und
auch das Austauschen eines Lehrers kann einen Effekt haben). Dies hat nicht direkt mit der Randomisierung
zu tun und könnte durch die parallele Testung zweier Klassen, bzw. durch die Überprüfung, ob es
Veränderungen im Lehrpersonal gab, umgangen werden.
Alternativhypothese 3: Einfluss der Untersuchung – Womöglich ist es nicht die neue Maßnahme selbst, die
für einen Effekt verantwortlich ist, sondern die Tatsache, dass die Schüler durch die Umsetzung mehr
Aufmerksamkeit bekommen (sehr plausibel). Da dies nichts mit der Zusammensetzung der Klassen zu tun
hat, könnte auch durch Randomisierung hier nichts verbessert werden. Eventuell könnte das Problem durch
ein Design umgangen werden, wo ebenfalls wieder zwei Parallelklassen untersucht werden, jedoch beide
neue Maßnahmen bekommen – wobei in der Kontrollgruppe eine Maßnahme eingesetzt werden müsste, von
der man weiß, dass sie keine Wirkung hat (eine Art Placebo).
Alternativhypothese 4: Sitzenbleiber – Schüler in der „ersten 2. Klasse“ mit schlechten Leistungen könnten
sitzenbleiben und dadurch in der „zweiten 2. Klasse“ landen. Dies ist durchaus plausibel und würde die
Zusammensetzung der Klasse verändern. Wie genau sich das auswirkt ist fraglich. Womöglich schneiden
diese Schüler beim standardisierten Test dann besser ab, da sie ihn bereits kennen (und das wird für einen
Effekt der Maßnahme gehalten). Vielleicht wird die durchschnittliche Leistung der ganzen Klasse jedoch
nach unten gedrückt, da die Sitzenbleiber ja offenbar schlechtere Leistungen zu bringen scheinen. Auf jeden
Fall wären die beiden „Gruppen” nicht mehr unabhängig voneinander. Dies könnte durch die Untersuchung
zweier randomisierter Gruppen verhindert werden, da sich diese nicht systematisch unterscheiden würden
und voneinander unabhängig wären.
Alternativhypothese 5: parallele zeitliche Entwicklung – Womöglich ändert sich sonst etwas in der Schule,
was eine Auswirkung auf die Leistung der Schüler hat (z.B. die Verwendung von Laptops im Unterricht
lenkt ab und verschlechtert die Leistungen). Veränderungen dieser Art sind durchaus plausibel und können
auf jeden Fall verheerende Wirkungen haben. Wie auch die andere parallele zeitliche Entwicklung könnte
das durch die Untersuchung zweier paralleler Gruppen (seien es randomisierte Versuchs- und
Kontrollgruppe oder Parallelklassen) verhindert werden.
- V: Am Ende eines Deutschkurses für AnfängerInnen testen sie die Deutschkenntnisse der TeilnehmerInnen mittels eines standardisierten Tests, um den Erfolg des Programms zu erheben. Um welches Design handelt es sich, was sind seine Schwächen, und wie könnte man das Design verbessern? (Antwortmaske 1 am Ende des Dokuments)
71.
- V: Entwerfen Sie ein Prätest-Posttest-Design mit Versuchs- und Kontrollgruppe für die Fragestellung, ob das Wissen um die Existenz von fake news einer flüchtlingsfeindlichen Einstellung entgegenwirken kann. Bauen Sie passend zur Fragestellung Elemente ein, welche konkurrierende Erklärungen unplausibel machen könnten. Denken Sie etwa an nicht-äquivalente Variablen oder das Vorsehen mehrerer Kontrollgruppen, welche Ihnen spezifischere Vorhersagen erlauben.
Ich würde meine Versuchspersonen per Zufall (Randomisierung!) in zwei Gruppen einteilen: die
Versuchsgruppe und die Kontrollgruppe. Als nächstes würden flüchtlingsfeindliche Einstellung mittels eines
Fragebogens erhoben. Die Versuchsgruppe sieht anschließend einen Film, der über die Existenz von fake
news informiert. Die Kontrollgruppe sieht sich einen „neutralen“ Kurzfilm an. Danach werden erneut
flüchtlingsfeindliche Einstellungen mittels eines Fragebogens gemessen.
Die ganze Untersuchung würde in einer Sitzung im Labor stattfinden. Dabei würden beide Gruppen
gleichzeitig untersucht werden: das Vorlegen des ersten Fragebogens, das Zeigen des Filmes und die
Beantwortung des zweiten Fragebogens würden für beide Gruppen gleichzeitig in möglichst ähnlichen
Räumen stattfinden. Durch die Randomisierung kann es keine systematischen Gruppenunterschiede vor der
Untersuchung geben. Durch das Laborsetting können Störvariablen (auch parallele zeitliche Entwicklungen)
kontrolliert bzw. ausgeschlossen werden. Die Untersuchung hätte eine hohe interne Validität, jedoch eine
geringe externe (aufgrund des Settings).
Eventuell könnte noch eine zweite Kontrollgruppe gebildet werden, welche gar keinen Film sieht. Damit
könnte überprüft werden, ob das Sehen eines Filmes – unabhängig vom Inhalt – sich bereits auf die
flüchtlingsfeindlichen Einstellungen auswirken kann. Auch nicht-äquivalente Variablen könnten erhoben
werden (Variablen, die durch die Intervention unberührt bleiben sollten; z.B. die Einstellung zu anderen
Dingen), um zu sehen, ob diese sich zwischen Messzeitpunkt 1 und 2 ebenfalls ändern. In diesem Fall
empfinde ich dies jedoch nicht als notwendig, da parallele zeitliche Entwicklung durch die relativ kurze
Untersuchungszeit und das Laborsetting ausgeschlossen werden können.
72.V: Das Umweltministerium und das Bildungsministerium starten gemeinsam eine große Kampagne in daran teilnehmenden österreichischen Schulen, um das Bewusstsein für den Klimawandel zu fördern. Für die Evaluation wird einer repräsentativen Stichprobe vor dem Start und nach Ende der Kampagne ein Fragebogen zum Bewusstsein den Klimawandel betreffend vorgelegt. Zusätzlich wird eine repräsentative Gruppe in nicht teilnehmenden Schulen zu denselben beiden Zeitpunkten getestet Um was für ein Design handelt es sich? Diskutieren Sie Stärken und Schwächen des Designs. Wie ließe es sich aufbessern? Wie könnte man konkurrierende Erklärungen unplausibel machen? (Antwortmaske 1 am Ende des Dokuments)
- V: Sie möchten die Ursachen für psychosomatische Beschwerden feststellen und gehen dabei folgendermaßen vor: Über eine Arztpraxis rekrutieren Sie PatientInnen mit psychosomatischen Beschwerden und befragen Sie über deren Lebensbedingungen, und dann vergleichen Sie die Resultate mit einer repräsentativen Stichprobe. Um welches Design handelt es sich? Welche Nachteile hat es? Wie könnte man es aufbessern? (Antwortmaske 1 am Ende des Dokuments)
- Skizzieren Sie die Schritte, die zu einer schlüssigen Bestätigung einer Theorie aus einer Beobachtung führen könnten. Welche Schwierigkeiten stellen sich dabei, und welche Begriffe sind dabei entscheidend? Erklären Sie.
- Beobachtung à wird interpretiert als ein bestimmtes Phänomen. Zu überprüfen sind:
- Validität der Messung (interne, externe)
- Operationalisierung (Vorschrift, wie ein theoretisches Konstrukt konkret messbar gemacht werden soll)
- Reliabilität (Wie genau wurde gemessen?)
- Objektivität (Einflüsse der konkreten Untersuchenden?)
- -> alternative Deutungen der Beobachtung können ausgeschlossen werden, wenn obige Punkte gegeben und gelungen sind.
- Phänomen -> beinhaltet einen Effekt. Diesen überprüft man mit einer Signifikanztestung, wobei die
Testmacht (Wahrscheinlichkeit, mit der ein Test eine falsche Nullhypothese entlarvt, d.h. wie
wahrscheinlich das Ergebnis signifikant ausfällt, falls die H1 gilt) hoch sein sollte. Aus Fehler 1. und 2. Art
muss eine Balance gefunden werden. Durch die Signifikanztestung schließt man den Zufall als Erklärung
aus. - Effekt -> wird interpretiert als die Wirkung einer Ursache. Interne Validität und Schlüssigkeit des
Designs müssen gegeben sein, dann können alternative Deutungen ausgeschlossen werden. - Ursache -> wird erklärt durch eine spezifische Theorie. Wichtig sind dabei die Operationalisierung der
Theorie und eine eindeutige Beziehung zwischen Theorie und Effekt. Wenn die Operationalisierung
gelungen ist und eine eindeutige Beziehung gegeben ist, können alternative Theorien als Erklärungen
ausgeschlossen werden. - Spezifische Theorie, angewandt auf die Beobachtung à wird erklärt durch die allgemeine Theorie.
Dabei sind zu kontrollieren:
- Externe Validität
- Generalisierung
- Repräsentativität (der Stichprobe, der Treatments, der Stimuli, der Beobachtungsmethode, des Settings -> UTOS-Modell)
- Replizierbarkeit
- Objektivität
-> Wenn all das gegeben ist, können alternative Verallgemeinerungen und alternative Gesetzmäßigkeiten
außerhalb der speziell beobachteten Situation ausgeschlossen werden.
- V: Eine denkbare Versuchsanordnung zur kognitiven Dissonanz/Rechtfertigung des Aufwands wäre, vor einer Achterbahn Menschen zufällig zu Warteschlangen zuzuteilen und dort verschieden lange warten zu lassen. Wenn jene, welche länger warten mussten, die Fahrt dann auch als aufregender bewerten, würde dann als Bestätigung der Theorie der Rechtfertigung des Aufwands interpretiert. Diskutieren Sie die Schlüssigkeit dieser Vorgehensweise systematisch bzw. erklären Sie, unter welchen Umständen die Schlüssigkeit in höherem/weniger hohem Ausmaß gegeben wäre. (Denken Sie dabei an den Überblick im File „kausalität validität“ und benutzen Sie Antwortmaske 2)
