Kausalität und Validität Flashcards

1
Q

Was kann man über Kausalität sagen?

A

Strenge Definition von Ursache, Wirkung und Kausalbeziehung schwierig
zB ist Streichholz Ursache für Waldbrand
-> viele Faktoren müssen gelten, damit Kausalbeziehungen schlagend werden
- immer Kontextabhängig (Wald mit Holz…)
- meistens nicht alles über Kontextfaktoren bekannt

How well did you know this?
1
Not at all
2
3
4
5
Perfectly
2
Q

Was ist Wirkung?

A

Unterschied zwischen Vorliegen einer Ursache und dem, was gewesen wäre, wenn Ursache nicht vorgelegen hätte
(zB Straße ist nass heißt nicht dass es geregnet hat)

How well did you know this?
1
Not at all
2
3
4
5
Perfectly
3
Q

Was ist kontrafaktische Kausalität?

A

man kann nicht beide Seiten der Wirklchkeit zugleich beobachten -> Aggregation mehrerer Personen (zB Vergleich Gruppendurchschnitt)
Kontrafakte nicht ohne Parallelwelt beobachtbar
Experiment ist eine Approximation “derselben” Situation

How well did you know this?
1
Not at all
2
3
4
5
Perfectly
4
Q

Was ist ein natürliches Experiment?

A

natürlich vorkommender Gegensatz 2er Bedingungen: zB mit/ohne Erdbeben
Bedingungen sind nicht kontrolliert,
versuch Vergleich eines natürlich vorkommenden Ereignisses mit einer Vergleichsbedingung
Manipulierung nicht gegeben aber plausible Alternativerklärungen oft gut ausschließbar

How well did you know this?
1
Not at all
2
3
4
5
Perfectly
5
Q

Wann besteht Kausalität laut John Stuart Mill?

A
  • Ursache geht dem Effekt voran
  • Ursache steht in Beziehung mit Effekt
  • keine andere plausible Erklärung als Ursache

im Experiment wird zuerst Ursache manipuliert, dann folgt Effekt; wir prüfen Beziehung und können Alternativerklärungen ausschließen

How well did you know this?
1
Not at all
2
3
4
5
Perfectly
6
Q

Was können wir über das Vorliegen alternativer Erklärungen sagen?

A

A => B muss nicht heißen dass wenn B vorher A war
Es könnte andere Ursachen C außer A geben die auch zu B führen

wir können nur mutmaßen dass wenn B, vorher A
wenn die straße nass ist könnte es geregnet haben aber es könnte wer auch einen Kübel ausgeschüttet haben
Induktion: vermutet da A passiert und B passiert -> Regel? vermutung die überprüft werden muss
Abduktion: Vermutung des Falls auf Grund von Regel und Ergebnis, Modus Ponens

How well did you know this?
1
Not at all
2
3
4
5
Perfectly
7
Q

Beweist Korrelation auch gleich Kausalität?

A

nein
idR nicht klar welche Variable welcher vorangeht
Scheinkorrelationen (stehen garnicht in Beziehung)
andere Erklärungen für korrelativen Zusammenhang, zB Moderatorvariablen

How well did you know this?
1
Not at all
2
3
4
5
Perfectly
8
Q

Kann mit dem Experiment jede Kausalität untersucht werden?

A

nein
einerseits nicht alle Ursachen manipulierbar und daher untersuchbar
idR gut in der Kausalbeschreibung (Manipulation führt zu Effekt), nicht Kausalerklärung (Interpretation?) = welche Aspekte der Ursachen wirken auf welche Weise auf welche Aspekte der Wirkung
können im Experiment keine gute Kausalkette bilden

How well did you know this?
1
Not at all
2
3
4
5
Perfectly
9
Q

Welche methodischen Zugänge im Zusammenhang mit Kausalität gibt es?

A
  • durch (quasi)-experimentelles design, Randomisierung
  • zeitliche Abfolge: Granger causality
    Idee: wenn ich durchweg beobachte dass X vor Y passiert, kann ich vorläufig annehmen dass X kausal für Y = predictive causality
  • direction dependence analysis: Verteilungsannahmen zwischen Ursache und Wirkung in Sturkturmodellen unterscheiden
  • kontrolle von Störvariablen und partiellen Korrelationen (Kovaraiten) aber unsicher ob alle Variablen miteinbezogen
  • Strukturgleichungsmodelle: setzen kausales Modell an aber können Richtungen nicht prüfen, modelfit bei veränderten Kausalbeziehungen gleich
  • instrumentelle Variablen: exogene Variablen miteinbezogen
  • Quasi-Experiment: manipulierbare Ursache nicht das Problem aber Ausschließen von Alternativerklärungen schwierig
    zB Therapie in 2 Krankenhäusern: ortschaft, Behandlungsunterschiede, Unterschiede Patient:innen, Krankheitsbedingungen,…
How well did you know this?
1
Not at all
2
3
4
5
Perfectly
10
Q

Was ist predictive causality?

A

Granger causality
Idee: wenn ich durchweg beobachte dass X vor Y passiert, kann ich vorläufig annehmen dass X kausal für Y = predictive causality

How well did you know this?
1
Not at all
2
3
4
5
Perfectly
11
Q

Wie funktioniert die Falsifikation nach Popper?

A

Schlussfolgerungen durch Gegenbeispiele zu verwerfen
Verifikation unmöglich, nur Falsifikation

Kritik von Kuhn: oft nicht so klar was eine Widerlegung ist, oft vergehen wissenschaftliche Anschauungen erst dann, wenn Wissenschaftler:innen sterben

How well did you know this?
1
Not at all
2
3
4
5
Perfectly
12
Q

Was kann man zur Wissenschaftskritik sagen?

A

In Wahrheit oft kein stetiger Prozess von rationaler Verifikation/Falsifikation und entsprechender Theoriemodifikation nach Popper
kultureller, politischer, ökonomischer Druck
Systemkritik vs. Systemrechtfertigung
Objektivität und Neutralität anzweifelbar
wichtige Informationen oft nicht allgemein zugänglich
Modeerscheinungen, Hypes
Anwendung von Modellen “um Anwendens willen”
Vorlieben und Motivationen von Forscherinnen

How well did you know this?
1
Not at all
2
3
4
5
Perfectly
13
Q

Was ist epistemiologischer Relativismus (Collins)?

A

Wissenschaft berichtet über konstruierte Wirklichkeiten
lehnt Vorstellunf theorieneutraler Beobachtung ab
vgl. Judith Butler

How well did you know this?
1
Not at all
2
3
4
5
Perfectly
14
Q

Was besagt der Konstruktivismus über Kausalität?

A

es gibt keine von uns losgelöste Wirklichkeit
weichere Form: unsere Vorstellung der Welt ist nur ein Konstrukt, aber es gibt so etwas wie eine objektive shared reality
-> Wissenschaftskritik: wissenschaftliche Beschreibung der Welt folgt außerwissenschaftlichen Prozessen (und der wirklichen Welt)
zB wer sagt dass wir nicht jetzt gerade träumen?

How well did you know this?
1
Not at all
2
3
4
5
Perfectly
15
Q

Was kann man zu Wissenschaftskritik und Skepsis sagen?

A

seit 17Jh Ablehnung einer autoritätshörigen Wissenschaft
Wissenschaft ist sketisch aber man muss auch in der Wissenschaft “glauben”
Interessenskonflikte, menschliches Versagen, Betrug, voreilige Schlüsse, Publikationsdruck,…

Kritische Theorie aus Gesellschaft:
Kritik an Normen, Politik, bürgerliche Wissenschaft
traditionelle Wissenschaft als gesellschaftliches Konstrukt

How well did you know this?
1
Not at all
2
3
4
5
Perfectly
16
Q

Was ist p-Hacking?

A

capitalizing on chance
so lange herumtun (erheben, auswerten, …) bis man ein signifikantes Ergebnis hat

How well did you know this?
1
Not at all
2
3
4
5
Perfectly
17
Q

Was ist HARKing?

A

Hypothesising after the results are known
-> erwarteter Effekt nicht gefunden aber irgendetwas anderes gefunden und dann so tun als ob das von Beginn an die geplante Hypothese gewesen wäre

18
Q

Welche Studie zeigt die Problematik von Zufallsergebnissen?

A

Bennett 2009 toter Lachs in MRI Maschine zeigte Gehirnaktivität in 2 Zentren beim betrachten von emotionalen Bildern

19
Q

Welche Objektivitätsprobleme bei quantitativer Methodik kennen wir?

A

p-Hacking
HARKing
toter Lachs
plausible Ergebnisse werden akzeptiert, unplausible versucht man zu reparieren
selektives Aufgreifen/Akzeptieren von Ergebnissen durch scientific community
selektive Finanzierung
Druck auf Ergebnisse, Habilitation, Publizieren
soziales Prestige, Selbstverständnis, strategische Zielsetzungen, externe Belohnung

20
Q

Welche Konsequenz hatte Wissenschaftskritik?

A

Experiment wird nicht mehr ausschließlich als zentrales Erkenntnisinstrument betrachtet
zB Open Science: inlusive, gleichberechtigte und nachhaltige Forschung
Zugänglichkeit, Nutzbarmachung, Weiterverarbeitbarkeit

  • open data: Daten
  • open access: Publikationen
  • prä-Registrierung
  • Registered Report: Begutachtung ohne Ergebnisse zu kennen, in-principle Analysis vor Datenerhebung
  • Open peer review: Veröffentlichung als pre-print
  • open-source: Software, Code
  • Citizen Science
  • Slow Science
  • Replikationsstudien
21
Q

Was ist postnormale Wissenschaft?

A
  • verschwimmende Grenzen zwischen Politik, Wissenschaft und Gesellschaft
  • “normal”: Wissenschaft bietet wertfreie Fakten, Politik entscheidet
    -“post-normal”: Wissenschaft vertritt selbst Werte
  • Aufgaben nicht mehr streng getrennt, Kommunikation der verschiedenen beteiligten Gruppen mehr auf Augenhöhe
    “extended peer community”

ist es wissenschaftlich zu sagen etwas “soll” getan oder unterlassen werden?
Wissenschaft soll wertfrei sein, kann nicht wertfrei sein
Möglich: es braucht Wissenschaftler:innen auf verschiedenen Aktivismuslevels

22
Q

Was ist die Standpunkttheorie?

A

Neutralität eigentlich undenkbar
Sozialisierung und soziale Situation kann nicht weggedacht werden

“schwache Objektivität” (Objektivität gefordert)
vs. “strenge Objektivität”: soziale Bedingtheit eines Standpunkts bewusst in wiss. Tätigkeit eingebaut

23
Q

Was bedeutet Konstruktvalidität?

A

Generalisierbarkeit auf das Konstrukt, das die Forschungsprozedut repräsentieren soll

24
Q

Was bedeutet externe Validität?

A
  • Generalisierbarkeit auf andere Personen, andere Messmethoden, andere Settings,…
  • Gelegenheitsstichproben sind aber nicht repräsentativ
    –> Generalisierbarkeit auf Allgemeinpopulation nicht immer Ziel, sondern evtl. nur Übertragbarkeit auf Zielpopulationen (zB Länder, Risikopopulationen, Diversitätskategorien,…)
25
Q

Was ist interne Validität?

A

logische Schlüssigkeit
Richtigkeit im logischen Sinne, mehr als im inhaltlichen Sinne
Voraussetzung für inhaltliche Richtigkeit

26
Q

Was ist statistical conclusion validity?

A

richtige Testauswahl bezüglich Voraussetzungen an die Daten
Reliabilität der Messung
Fehler 1./2. Art

27
Q

Welche Bedrohungen der internen Validität kennen wir?

A
  • ungewollte Diffferenzen zwischen Gruppen -> Randomisierung
  • systematische Ausfälle/Veränderungen von Versuchspersonen zB Sterblichkeit, Erwachsenwerden -> großes Sample
  • Umwelteffekte -> mögl gleiche Umwelt
  • Versuchsleiter:inneneffekte
  • keine valide oder reliable Messung
  • Awareness der Forschungsfrage, von Täuschungen, von Beobachtet-sein
  • vergangene Zeit zwischen T1 und T2
  • Tendenz zur Mitte
  • Selektionsbias
  • Diffusion der Behandlung: Gruppen haben Kontakt zu einender, Einfluss -> unterbinden
  • Kompensation der Kontrollgruppe
  • Erinnerungseffekte
  • Messinstrument verändert sich
28
Q

Welche Bedrohungen der externalen Validität kennen wir?

A

Interaktion: Selektion und Behandlung
-> nicht generalisierbar zu Individuen die nicht die Charakteristika haben
-> andere Gruppen testen, ob andere Ergebnisse

Interaktion von Setting und Behandlung:
-> nicht generalisierbar für Individuen in anderen Settings
-> andere Settings testen, ob andere Ergebnisse

Interaktion von “history” (zeitlich gebundener Erfahrung) und Behandlung -> nicht generalisierbar für Individuen in der Vergangenheit oder der Zukunft
-> in Zukunft testen, ob andere Ergebnisse

29
Q

Was ist der Collider Bias oder Berksons Paradoxon?

A

werden collider ins Modell aufgenommen, können Scheinkorrelationen entstehen

zB:
Querschnittslähmung
Lungenkrankheit
Hospitalisierung

wird für Hospitalisierung kontrolliert, könnte Scheinzusammenhang zwischen Querschnittslähmung und Lungenkrankheit entstehen

30
Q

Welche praktischen Tipps gibt Cresswell um Validität anzusprechen?

A
  • potentielle Bedrohungen der Validität identifizieren, eigenes Kapitel in Research Proposal soll Bedrohung beschreiben
  • exakte Bedrohung der Validität formulieren und wie problematisch die Bedrohung ist
  • Diskutieren wie mit Validität im Design umgegangen wird
  • Referenzen zitieren die Validität besprechen
31
Q

Was besagt Cronbach’s UTOS Modell?

A

kausale Generalisierbarkeit bezieht sich im Sinne der externen Validität auf:

  • Units (Teilmehmende)
  • Treatments
  • Observations
  • Settings

-> Studien sind zwangsläufig punktuell, Wissenschaft aber vA an allgemeingültigen Gesetzmäßigkeiten interessiert

32
Q

Welche Apsekte der Konstruktvalidität gibt es zu beachten?

A
  • messe ich was ich messen will (Validität der Messung)
  • bildet Konstrukt der Messung und Interpretation die Wirklichkeit/Theorie wieder?
  • repräsentieren die gemessenen bzw. manipulierten Variablen überhaupt das Konstrukt bzw. die Theorie (experimentelle Konstruktvalidität)
33
Q

Welche Aspekte der Validität kennen wir?

A
  • Inhaltsvalidität (face validity)
  • Kriteriumsvalidität
  • Konstruktvalidität:
    • konvergente Validität
    • diskriminante Validität
    • strukturelle Validität (zB CFA)
34
Q

Was ist das Korrespondenzproblem?

A

schwierig nachzuweisen, dass die verwendeten Indikatoren genau das erfassen, was mit Konstrukten gemeint ist
immer prinzipielle Frage: habe ich Ergebnis erhalten weil Theorie stimmt/nicht stimmt oder weil die Konstrukte nicht hinreichend gründlich erfasst wurden

35
Q

Welche Fragen der Konstruktvalidität ergeben sich im Bezug auf das Versuchsdesign?

A
  • Korrespondenzproblem
  • involviert die manipulierte Variable die Zieleigenschaft überhaupt? = manipulation check
  • involviert die manipulierte Variable noch andere Eigenschaften? = intrumental incidentals = discriminant manipulation check
    (zB weißes shirt - Sexualisierung)
  • Störvariablen allgemein können gesamte Interpretation korrumpieren
36
Q

In welche Abschnitte teilt Trafimow (2023) die Konstruktvalidität?

A

Interne Validität:
Sense 1: manipulation ist einzige Ursache für Effekte
Sense 2: Effekt ist aus angenommenen Grund

Externe Validität:
Sense 1: Generalisierbarkeit des Ergebnisses auf ähnliche Bedingungen
Sense 2: Generalisierbarkeit der Theorie

+ auxilary assumptions dass Theorie im Design wirklich abgebildet wird

37
Q

Was sind manipulation checks und welche Einsatzmöglichkeiten kennen wir?

A

prüfen ob die manipulierte Variable die Zieleigenschaft überhaupt involivert zB anstrengend

  • Messung der Eigenschaft, durch die Manipulation verbeigeführt werden soll (durch Korrelate)
  • attention check: Instruktionen überhaupt wahrgenommen?
  • comprehension check: Instruktionen verstanden?
  • instructional manipulation check: Anweisungen befolgt?
  • suspicion probing: cover story durchschaut?
  • discriminant manipulation check: testen ob andere Variable mit der Manipulation zusammenhängt bzw. als Mediator fungiert

Kritik: kann Studie beeinflussen, zB Aufmerksamkeit lenken
unproblematisch wenn erst im debriefing

38
Q

Welche Validitätskriterien qualitativer Forschung nennt Mayring?

A
  • Verfahrensdokumentation
  • argumentative Interpretationsabsicherung (inklusive Aufklärung des Vorverständnisses)
  • Regelgeleitetheit
  • Nähe zum Gegenstand, lange Zeit im Feld verbringen
  • Triangulation durch verschiedene Datenquellen
  • researcher bias reflektieren
  • gegenläufige Infos präsentieren
  • peer debriefing
  • external auditor: Beurteilung durch Externe
  • Kommunikative Validierung: Nachgespräche mit Befragten, ob Resultate ihrer Erfahrung entsprechen
39
Q

Welche ethischen Probleme sind häufig? Wie kann damit umgegangen werden?

A
  • nicht-Behandlung der Kontrollgruppe
    zB Wartegruppen, dose-response design mit mehreren Dosen, Teilbehandlung vor Versuch
  • Randomisierung: möglicherweise verschieden dringende Fälle
    zB Abschwächen der Randomisierung für dringende Fälle

Ethische Kodizes/Komitees, Informed Consent

40
Q

Was ist Validität?

A

gültigkeit
- Aussage korrespondiert mit Wirklichkeit
- Theoriegebäudie ist kohärent
- Pragmatismus: es ist nützlich Aussage zu glauben

41
Q

Wie geht man mit Bedrohungen der Validität um?

A
  • wie betrifft Bedrohung den konkreten Fall?
  • ist es eine plausible oder nur mögliche Bedrohung?
  • fatal: Wirkt die Bedrohung in die selbe Richtung wie der zu zeigende Effekt?