Wissenschaftsethik und Open Science

Question 1

Aktuelle Problemfelder

Answer 1

• Betrug/Datenfälschung
• Beeinträchtigung von VP
• Plagiate/Ideenklau/Missachtung geistiges Eigentum
• Questionable Research Practices (Harking, p-Hacking)
• Publication Bias
• Experimentelle Bedingungen verschweigen oder neu zusammenfügen
• Nicht alle aVs berichten sondern nur passende
• Instrumenteller Ausschluss von Ausreißern
• Instrumentelle Nutzung von unterschiedlichen Scores
• Instrumentelle Nutzung von Kovariaten

Question 2

Harking

Answer 2

• Hypothesizing after results are known

Question 3

Peeking

Answer 3

• So lange Daten sammeln bis Signifikanz erreicht ist

Question 4

p-hacking

Answer 4

• So lange anwenden bis p unter .05 ist

Question 5

Wie aussagekräftig sind Befunde sozialwissenschaftlicher Studien?

Answer 5

Problem der Replizierbarkeit:
- Studien mit geringer Power (kleine Samples)
- Möglicherweise p-Hacking und QRPs
- Materialien + Daten vielfach nicht zugänglich
Replikationen gelten/galten als unspannend
- Bei älteren Studien kleinere Samples, viele Kovariate (Vorsichtig, ggf. replizieren)
- Weniger Zweifel bei neueren Studien

Question 6

Was lernen wir aus “failed replications”?

Answer 6

• Problematische Social-Media-Diskussionen
• Nicht nur signifikante Ergebnisse sind interessant

Question 7

Welche Lösungen kann es für das Problem unzuverlässiger Befunde geben?

Answer 7

• Perspektive des einzelnen
• Perspektive von Journals und Reviewern
• Maximale Transparenz: Codebuch + Daten mitveröffentlichen
• Veröffentlichung trotz nicht vorhandener Signifikanz

Question 8

Was kann beobachtet werden? (von Sikorsky, 2017)

Answer 8

• Meistens: Auswirkungen von Mediennutzung auf Emotionen, Kognitionen und Verhalten
• Seltener: Beobachtungen tatsächlichen Verhaltens
• Verhaltensbeobachtung methodisch herausfordern aber nötig

Question 9

Klassische Vorstellung:

Answer 9

• Link zwischen Einstellung und Verhalten
• Trifft in meisten Fällen nicht zu
• Besser: Direkte Beobachtung von Verhalten

Question 10

Beispiele relevantes Verhalten in Sozial- und Kommunikationswissenschaften

Answer 10

• Auswahl der Zeitung, TV Sendung
• Wie reagiert Zuschauerin emotional auf einen Film?
• Wie verhält sich Person nach schauen einer TV-Sendung?

Question 11

Verhaltensmessungen in Kommunikationswissenschaften

Answer 11

• Vor Mediennutzung: Beobachtung der Auswahl (Sendung, Artikel)
• Während Mediennutzung: Eye tracking, Herzfrequenz, (non)verbale Kommunikation
• Nach Mediennutzung: Aggression/prosoziales Verhalten, Konsumentscheidung (Essen, Produkte), Interaktionsverhalten

Question 12

Verhalten

Answer 12

• Ist beobachtbar (Video-, Tonaufzeichnungen)
• Alles was nicht beobachtbar ist (Introspektion) kein tatsächliches Verhalten

Question 13

Formen der Beobachtung

Answer 13

• Direkte vs. Aufzeichnung mit Hilfsmitteln
• Offene vs. verdeckte Beobachtung

Question 14

Arten der Kodierung

Answer 14

• Manuell
• Mit technischen Hilfsmitteln
• Vollautomatisiert

Question 15

Instrumente

Answer 15

• Logfiles (Analyse von Klickverhalten)
• Tracking-Tools
• Eye-Tracking
• Netzwerkananalysen

Question 16

Publication Bias

Answer 16

• Signifikante Befunde werden wahrscheinlicher veröffentlicht
• Replikationen eher nicht

Question 17

Ziele Replikation des Experiments

Answer 17

• Ergebnisse bekommen höheren Wert -> Befunde robust
• Kontexterweiterung/ Generalisierung (Anderes Land, Material)

Question 18

Schwierigkeiten Replikation des Experiments

Answer 18

• Kontext ändert sich (v.a. im Medienbereich)
• Stimuli im Kontext der Zeit zu sehen (Veränderung von Plattformen, Gewöhnungseffekte)
• Unterschiede zwischen Ländern (Bsp. Politik Studien USA nur 2 Parteien System)

Question 19

Problem in “An Agenda for Open Science in Communication”

Answer 19

• Replikationskrise: Zentrale Ergebnisse in Sozial- und Kommunikationswissenschaften sind nicht reproduzierbar
• Dadurch Schwächung der Glaubwürdigkeit

Question 20

Ursachen für geringe Reproduzierbarkeit

Answer 20

• Fragwürdige Forschungspraktiken (HARKing und p-Hacking)
• Publikationsbias zugunsten signifikanter Ergebnisse
• Geringe statistische Power durch kleine Stichprobengrößen
• Menschliche Fehler bei Datenauswertung und Berichterstattung

Question 21

Vorschläge für eine Agenda der offenen Wissenschaft

Answer 21

• Veröffentlichung von Materialien, Daten und Code, um die Nachvollziehbarkeit zu erhöhen
• Präregistrierung von Studien und die Nutzung registrierter Berichte zur Vermeidung von HARKing und p-Hacking
• Förderung von Replikationsstudien
• Kollaboration zwischen Forschern: ( Erhöht die statistische Power durch größere Stichproben)
• Förderung von Open-Science-Fähigkeiten (Integration in die Ausbildung und Weiterbildung von Wissenschaftlern)
• Umsetzung von Transparenzrichtlinien
  Anreize für Open-Science-Praktiken: Änderungen im Belohnungssystem der Wissenschaft (z. B. Einstellung, Förderungen).

Question 22

Definition Verhalten

Answer 22

• Verhalten als beobachtbare, messbare aV, die von medienvermittelter Kommunikation beeinflusst werden kann

Question 23

Drei Stufen Modell der Verhaltensmessung

Answer 23

• Planung der Verhaltensbeobachtung (Hypothesenbildung + Operationalisierung
• Entwicklung eines Studiendesigns: (Wahl Beobachtungsart z. B. Feld- oder Laborstudien + ethische Überlegungen)
• Datenerhebung und -auswahl (Manuelle, technische oder automatisierte Messmethoden)