Kausalität und Validität Flashcards
Was kann man über Kausalität sagen?
Strenge Definition von Ursache, Wirkung und Kausalbeziehung schwierig
zB ist Streichholz Ursache für Waldbrand
-> viele Faktoren müssen gelten, damit Kausalbeziehungen schlagend werden
- immer Kontextabhängig (Wald mit Holz…)
- meistens nicht alles über Kontextfaktoren bekannt
Was ist Wirkung?
Unterschied zwischen Vorliegen einer Ursache und dem, was gewesen wäre, wenn Ursache nicht vorgelegen hätte
(zB Straße ist nass heißt nicht dass es geregnet hat)
Was ist kontrafaktische Kausalität?
man kann nicht beide Seiten der Wirklchkeit zugleich beobachten -> Aggregation mehrerer Personen (zB Vergleich Gruppendurchschnitt)
Kontrafakte nicht ohne Parallelwelt beobachtbar
Experiment ist eine Approximation “derselben” Situation
Was ist ein natürliches Experiment?
natürlich vorkommender Gegensatz 2er Bedingungen: zB mit/ohne Erdbeben
Bedingungen sind nicht kontrolliert,
versuch Vergleich eines natürlich vorkommenden Ereignisses mit einer Vergleichsbedingung
Manipulierung nicht gegeben aber plausible Alternativerklärungen oft gut ausschließbar
Wann besteht Kausalität laut John Stuart Mill?
- Ursache geht dem Effekt voran
- Ursache steht in Beziehung mit Effekt
- keine andere plausible Erklärung als Ursache
im Experiment wird zuerst Ursache manipuliert, dann folgt Effekt; wir prüfen Beziehung und können Alternativerklärungen ausschließen
Was können wir über das Vorliegen alternativer Erklärungen sagen?
A => B muss nicht heißen dass wenn B vorher A war
Es könnte andere Ursachen C außer A geben die auch zu B führen
wir können nur mutmaßen dass wenn B, vorher A
wenn die straße nass ist könnte es geregnet haben aber es könnte wer auch einen Kübel ausgeschüttet haben
Induktion: vermutet da A passiert und B passiert -> Regel? vermutung die überprüft werden muss
Abduktion: Vermutung des Falls auf Grund von Regel und Ergebnis, Modus Ponens
Beweist Korrelation auch gleich Kausalität?
nein
idR nicht klar welche Variable welcher vorangeht
Scheinkorrelationen (stehen garnicht in Beziehung)
andere Erklärungen für korrelativen Zusammenhang, zB Moderatorvariablen
Kann mit dem Experiment jede Kausalität untersucht werden?
nein
einerseits nicht alle Ursachen manipulierbar und daher untersuchbar
idR gut in der Kausalbeschreibung (Manipulation führt zu Effekt), nicht Kausalerklärung (Interpretation?) = welche Aspekte der Ursachen wirken auf welche Weise auf welche Aspekte der Wirkung
können im Experiment keine gute Kausalkette bilden
Welche methodischen Zugänge im Zusammenhang mit Kausalität gibt es?
- durch (quasi)-experimentelles design, Randomisierung
- zeitliche Abfolge: Granger causality
Idee: wenn ich durchweg beobachte dass X vor Y passiert, kann ich vorläufig annehmen dass X kausal für Y = predictive causality - direction dependence analysis: Verteilungsannahmen zwischen Ursache und Wirkung in Sturkturmodellen unterscheiden
- kontrolle von Störvariablen und partiellen Korrelationen (Kovaraiten) aber unsicher ob alle Variablen miteinbezogen
- Strukturgleichungsmodelle: setzen kausales Modell an aber können Richtungen nicht prüfen, modelfit bei veränderten Kausalbeziehungen gleich
- instrumentelle Variablen: exogene Variablen miteinbezogen
- Quasi-Experiment: manipulierbare Ursache nicht das Problem aber Ausschließen von Alternativerklärungen schwierig
zB Therapie in 2 Krankenhäusern: ortschaft, Behandlungsunterschiede, Unterschiede Patient:innen, Krankheitsbedingungen,…
Was ist predictive causality?
Granger causality
Idee: wenn ich durchweg beobachte dass X vor Y passiert, kann ich vorläufig annehmen dass X kausal für Y = predictive causality
Wie funktioniert die Falsifikation nach Popper?
Schlussfolgerungen durch Gegenbeispiele zu verwerfen
Verifikation unmöglich, nur Falsifikation
Kritik von Kuhn: oft nicht so klar was eine Widerlegung ist, oft vergehen wissenschaftliche Anschauungen erst dann, wenn Wissenschaftler:innen sterben
Was kann man zur Wissenschaftskritik sagen?
In Wahrheit oft kein stetiger Prozess von rationaler Verifikation/Falsifikation und entsprechender Theoriemodifikation nach Popper
kultureller, politischer, ökonomischer Druck
Systemkritik vs. Systemrechtfertigung
Objektivität und Neutralität anzweifelbar
wichtige Informationen oft nicht allgemein zugänglich
Modeerscheinungen, Hypes
Anwendung von Modellen “um Anwendens willen”
Vorlieben und Motivationen von Forscherinnen
Was ist epistemiologischer Relativismus (Collins)?
Wissenschaft berichtet über konstruierte Wirklichkeiten
lehnt Vorstellunf theorieneutraler Beobachtung ab
vgl. Judith Butler
Was besagt der Konstruktivismus über Kausalität?
es gibt keine von uns losgelöste Wirklichkeit
weichere Form: unsere Vorstellung der Welt ist nur ein Konstrukt, aber es gibt so etwas wie eine objektive shared reality
-> Wissenschaftskritik: wissenschaftliche Beschreibung der Welt folgt außerwissenschaftlichen Prozessen (und der wirklichen Welt)
zB wer sagt dass wir nicht jetzt gerade träumen?
Was kann man zu Wissenschaftskritik und Skepsis sagen?
seit 17Jh Ablehnung einer autoritätshörigen Wissenschaft
Wissenschaft ist sketisch aber man muss auch in der Wissenschaft “glauben”
Interessenskonflikte, menschliches Versagen, Betrug, voreilige Schlüsse, Publikationsdruck,…
Kritische Theorie aus Gesellschaft:
Kritik an Normen, Politik, bürgerliche Wissenschaft
traditionelle Wissenschaft als gesellschaftliches Konstrukt
Was ist p-Hacking?
capitalizing on chance
so lange herumtun (erheben, auswerten, …) bis man ein signifikantes Ergebnis hat
Was ist HARKing?
Hypothesising after the results are known
-> erwarteter Effekt nicht gefunden aber irgendetwas anderes gefunden und dann so tun als ob das von Beginn an die geplante Hypothese gewesen wäre
Welche Studie zeigt die Problematik von Zufallsergebnissen?
Bennett 2009 toter Lachs in MRI Maschine zeigte Gehirnaktivität in 2 Zentren beim betrachten von emotionalen Bildern
Welche Objektivitätsprobleme bei quantitativer Methodik kennen wir?
p-Hacking
HARKing
toter Lachs
plausible Ergebnisse werden akzeptiert, unplausible versucht man zu reparieren
selektives Aufgreifen/Akzeptieren von Ergebnissen durch scientific community
selektive Finanzierung
Druck auf Ergebnisse, Habilitation, Publizieren
soziales Prestige, Selbstverständnis, strategische Zielsetzungen, externe Belohnung
Welche Konsequenz hatte Wissenschaftskritik?
Experiment wird nicht mehr ausschließlich als zentrales Erkenntnisinstrument betrachtet
zB Open Science: inlusive, gleichberechtigte und nachhaltige Forschung
Zugänglichkeit, Nutzbarmachung, Weiterverarbeitbarkeit
- open data: Daten
- open access: Publikationen
- prä-Registrierung
- Registered Report: Begutachtung ohne Ergebnisse zu kennen, in-principle Analysis vor Datenerhebung
- Open peer review: Veröffentlichung als pre-print
- open-source: Software, Code
- Citizen Science
- Slow Science
- Replikationsstudien
Was ist postnormale Wissenschaft?
- verschwimmende Grenzen zwischen Politik, Wissenschaft und Gesellschaft
- “normal”: Wissenschaft bietet wertfreie Fakten, Politik entscheidet
-“post-normal”: Wissenschaft vertritt selbst Werte - Aufgaben nicht mehr streng getrennt, Kommunikation der verschiedenen beteiligten Gruppen mehr auf Augenhöhe
“extended peer community”
ist es wissenschaftlich zu sagen etwas “soll” getan oder unterlassen werden?
Wissenschaft soll wertfrei sein, kann nicht wertfrei sein
Möglich: es braucht Wissenschaftler:innen auf verschiedenen Aktivismuslevels
Was ist die Standpunkttheorie?
Neutralität eigentlich undenkbar
Sozialisierung und soziale Situation kann nicht weggedacht werden
“schwache Objektivität” (Objektivität gefordert)
vs. “strenge Objektivität”: soziale Bedingtheit eines Standpunkts bewusst in wiss. Tätigkeit eingebaut
Was bedeutet Konstruktvalidität?
Generalisierbarkeit auf das Konstrukt, das die Forschungsprozedut repräsentieren soll
Was bedeutet externe Validität?
- Generalisierbarkeit auf andere Personen, andere Messmethoden, andere Settings,…
- Gelegenheitsstichproben sind aber nicht repräsentativ
–> Generalisierbarkeit auf Allgemeinpopulation nicht immer Ziel, sondern evtl. nur Übertragbarkeit auf Zielpopulationen (zB Länder, Risikopopulationen, Diversitätskategorien,…)
Was ist interne Validität?
logische Schlüssigkeit
Richtigkeit im logischen Sinne, mehr als im inhaltlichen Sinne
Voraussetzung für inhaltliche Richtigkeit
Was ist statistical conclusion validity?
richtige Testauswahl bezüglich Voraussetzungen an die Daten
Reliabilität der Messung
Fehler 1./2. Art
Welche Bedrohungen der internen Validität kennen wir?
- ungewollte Diffferenzen zwischen Gruppen -> Randomisierung
- systematische Ausfälle/Veränderungen von Versuchspersonen zB Sterblichkeit, Erwachsenwerden -> großes Sample
- Umwelteffekte -> mögl gleiche Umwelt
- Versuchsleiter:inneneffekte
- keine valide oder reliable Messung
- Awareness der Forschungsfrage, von Täuschungen, von Beobachtet-sein
- vergangene Zeit zwischen T1 und T2
- Tendenz zur Mitte
- Selektionsbias
- Diffusion der Behandlung: Gruppen haben Kontakt zu einender, Einfluss -> unterbinden
- Kompensation der Kontrollgruppe
- Erinnerungseffekte
- Messinstrument verändert sich
Welche Bedrohungen der externalen Validität kennen wir?
Interaktion: Selektion und Behandlung
-> nicht generalisierbar zu Individuen die nicht die Charakteristika haben
-> andere Gruppen testen, ob andere Ergebnisse
Interaktion von Setting und Behandlung:
-> nicht generalisierbar für Individuen in anderen Settings
-> andere Settings testen, ob andere Ergebnisse
Interaktion von “history” (zeitlich gebundener Erfahrung) und Behandlung -> nicht generalisierbar für Individuen in der Vergangenheit oder der Zukunft
-> in Zukunft testen, ob andere Ergebnisse
Was ist der Collider Bias oder Berksons Paradoxon?
werden collider ins Modell aufgenommen, können Scheinkorrelationen entstehen
zB:
Querschnittslähmung
Lungenkrankheit
Hospitalisierung
wird für Hospitalisierung kontrolliert, könnte Scheinzusammenhang zwischen Querschnittslähmung und Lungenkrankheit entstehen
Welche praktischen Tipps gibt Cresswell um Validität anzusprechen?
- potentielle Bedrohungen der Validität identifizieren, eigenes Kapitel in Research Proposal soll Bedrohung beschreiben
- exakte Bedrohung der Validität formulieren und wie problematisch die Bedrohung ist
- Diskutieren wie mit Validität im Design umgegangen wird
- Referenzen zitieren die Validität besprechen
Was besagt Cronbach’s UTOS Modell?
kausale Generalisierbarkeit bezieht sich im Sinne der externen Validität auf:
- Units (Teilmehmende)
- Treatments
- Observations
- Settings
-> Studien sind zwangsläufig punktuell, Wissenschaft aber vA an allgemeingültigen Gesetzmäßigkeiten interessiert
Welche Apsekte der Konstruktvalidität gibt es zu beachten?
- messe ich was ich messen will (Validität der Messung)
- bildet Konstrukt der Messung und Interpretation die Wirklichkeit/Theorie wieder?
- repräsentieren die gemessenen bzw. manipulierten Variablen überhaupt das Konstrukt bzw. die Theorie (experimentelle Konstruktvalidität)
Welche Aspekte der Validität kennen wir?
- Inhaltsvalidität (face validity)
- Kriteriumsvalidität
- Konstruktvalidität:
- konvergente Validität
- diskriminante Validität
- strukturelle Validität (zB CFA)
Was ist das Korrespondenzproblem?
schwierig nachzuweisen, dass die verwendeten Indikatoren genau das erfassen, was mit Konstrukten gemeint ist
immer prinzipielle Frage: habe ich Ergebnis erhalten weil Theorie stimmt/nicht stimmt oder weil die Konstrukte nicht hinreichend gründlich erfasst wurden
Welche Fragen der Konstruktvalidität ergeben sich im Bezug auf das Versuchsdesign?
- Korrespondenzproblem
- involviert die manipulierte Variable die Zieleigenschaft überhaupt? = manipulation check
- involviert die manipulierte Variable noch andere Eigenschaften? = intrumental incidentals = discriminant manipulation check
(zB weißes shirt - Sexualisierung) - Störvariablen allgemein können gesamte Interpretation korrumpieren
In welche Abschnitte teilt Trafimow (2023) die Konstruktvalidität?
Interne Validität:
Sense 1: manipulation ist einzige Ursache für Effekte
Sense 2: Effekt ist aus angenommenen Grund
Externe Validität:
Sense 1: Generalisierbarkeit des Ergebnisses auf ähnliche Bedingungen
Sense 2: Generalisierbarkeit der Theorie
+ auxilary assumptions dass Theorie im Design wirklich abgebildet wird
Was sind manipulation checks und welche Einsatzmöglichkeiten kennen wir?
prüfen ob die manipulierte Variable die Zieleigenschaft überhaupt involivert zB anstrengend
- Messung der Eigenschaft, durch die Manipulation verbeigeführt werden soll (durch Korrelate)
- attention check: Instruktionen überhaupt wahrgenommen?
- comprehension check: Instruktionen verstanden?
- instructional manipulation check: Anweisungen befolgt?
- suspicion probing: cover story durchschaut?
- discriminant manipulation check: testen ob andere Variable mit der Manipulation zusammenhängt bzw. als Mediator fungiert
Kritik: kann Studie beeinflussen, zB Aufmerksamkeit lenken
unproblematisch wenn erst im debriefing
Welche Validitätskriterien qualitativer Forschung nennt Mayring?
- Verfahrensdokumentation
- argumentative Interpretationsabsicherung (inklusive Aufklärung des Vorverständnisses)
- Regelgeleitetheit
- Nähe zum Gegenstand, lange Zeit im Feld verbringen
- Triangulation durch verschiedene Datenquellen
- researcher bias reflektieren
- gegenläufige Infos präsentieren
- peer debriefing
- external auditor: Beurteilung durch Externe
- Kommunikative Validierung: Nachgespräche mit Befragten, ob Resultate ihrer Erfahrung entsprechen
Welche ethischen Probleme sind häufig? Wie kann damit umgegangen werden?
- nicht-Behandlung der Kontrollgruppe
zB Wartegruppen, dose-response design mit mehreren Dosen, Teilbehandlung vor Versuch - Randomisierung: möglicherweise verschieden dringende Fälle
zB Abschwächen der Randomisierung für dringende Fälle
Ethische Kodizes/Komitees, Informed Consent
Was ist Validität?
gültigkeit
- Aussage korrespondiert mit Wirklichkeit
- Theoriegebäudie ist kohärent
- Pragmatismus: es ist nützlich Aussage zu glauben
Wie geht man mit Bedrohungen der Validität um?
- wie betrifft Bedrohung den konkreten Fall?
- ist es eine plausible oder nur mögliche Bedrohung?
- fatal: Wirkt die Bedrohung in die selbe Richtung wie der zu zeigende Effekt?
