Wissenschaftsethik und Open Science Flashcards
Aktuelle Problemfelder
- Betrug/Datenfälschung
- Beeinträchtigung von VP
- Plagiate/Ideenklau/Missachtung geistiges Eigentum
- Questionable Research Practices (Harking, p-Hacking)
- Publication Bias
- Experimentelle Bedingungen verschweigen oder neu zusammenfügen
- Nicht alle aVs berichten sondern nur passende
- Instrumenteller Ausschluss von Ausreißern
- Instrumentelle Nutzung von unterschiedlichen Scores
- Instrumentelle Nutzung von Kovariaten
Harking
- Hypothesizing after results are known
Peeking
- So lange Daten sammeln bis Signifikanz erreicht ist
p-hacking
- So lange anwenden bis p unter .05 ist
Wie aussagekräftig sind Befunde sozialwissenschaftlicher Studien?
Problem der Replizierbarkeit:
- Studien mit geringer Power (kleine Samples)
- Möglicherweise p-Hacking und QRPs
- Materialien + Daten vielfach nicht zugänglich
- Replikationen gelten/galten als unspannend
- Bei älteren Studien kleinere Samples, viele Kovariate (Vorsichtig, ggf. replizieren)
- Weniger Zweifel bei neueren Studien
Was lernen wir aus “failed replications”?
- Problematische Social-Media-Diskussionen
- Nicht nur signifikante Ergebnisse sind interessant
Welche Lösungen kann es für das Problem unzuverlässiger Befunde geben?
- Perspektive des einzelnen
- Perspektive von Journals und Reviewern
- Maximale Transparenz: Codebuch + Daten mitveröffentlichen
- Veröffentlichung trotz nicht vorhandener Signifikanz
Was kann beobachtet werden? (von Sikorsky, 2017)
- Meistens: Auswirkungen von Mediennutzung auf Emotionen, Kognitionen und Verhalten
- Seltener: Beobachtungen tatsächlichen Verhaltens
- Verhaltensbeobachtung methodisch herausfordern aber nötig
Klassische Vorstellung:
- Link zwischen Einstellung und Verhalten
- Trifft in meisten Fällen nicht zu
- Besser: Direkte Beobachtung von Verhalten
Beispiele relevantes Verhalten in Sozial- und Kommunikationswissenschaften
- Auswahl der Zeitung, TV Sendung
- Wie reagiert Zuschauerin emotional auf einen Film?
- Wie verhält sich Person nach schauen einer TV-Sendung?
Verhaltensmessungen in Kommunikationswissenschaften
- Vor Mediennutzung: Beobachtung der Auswahl (Sendung, Artikel)
- Während Mediennutzung: Eye tracking, Herzfrequenz, (non)verbale Kommunikation
- Nach Mediennutzung: Aggression/prosoziales Verhalten, Konsumentscheidung (Essen, Produkte), Interaktionsverhalten
Verhalten
- Ist beobachtbar (Video-, Tonaufzeichnungen)
- Alles was nicht beobachtbar ist (Introspektion) kein tatsächliches Verhalten
Formen der Beobachtung
- Direkte vs. Aufzeichnung mit Hilfsmitteln
- Offene vs. verdeckte Beobachtung
Arten der Kodierung
- Manuell
- Mit technischen Hilfsmitteln
- Vollautomatisiert
Instrumente
- Logfiles (Analyse von Klickverhalten)
- Tracking-Tools
- Eye-Tracking
- Netzwerkananalysen
Publication Bias
- Signifikante Befunde werden wahrscheinlicher veröffentlicht
- Replikationen eher nicht
Ziele Replikation des Experiments
- Ergebnisse bekommen höheren Wert -> Befunde robust
- Kontexterweiterung/ Generalisierung (Anderes Land, Material)
Schwierigkeiten Replikation des Experiments
- Kontext ändert sich (v.a. im Medienbereich)
- Stimuli im Kontext der Zeit zu sehen (Veränderung von Plattformen, Gewöhnungseffekte)
- Unterschiede zwischen Ländern (Bsp. Politik Studien USA nur 2 Parteien System)
Problem in “An Agenda for Open Science in Communication”
- Replikationskrise: Zentrale Ergebnisse in Sozial- und Kommunikationswissenschaften sind nicht reproduzierbar
- Dadurch Schwächung der Glaubwürdigkeit
Ursachen für geringe Reproduzierbarkeit
- Fragwürdige Forschungspraktiken (HARKing und p-Hacking)
- Publikationsbias zugunsten signifikanter Ergebnisse
- Geringe statistische Power durch kleine Stichprobengrößen
- Menschliche Fehler bei Datenauswertung und Berichterstattung
Vorschläge für eine Agenda der offenen Wissenschaft
- Veröffentlichung von Materialien, Daten und Code, um die Nachvollziehbarkeit zu erhöhen
- Präregistrierung von Studien und die Nutzung registrierter Berichte zur Vermeidung von HARKing und p-Hacking
- Förderung von Replikationsstudien
- Kollaboration zwischen Forschern: ( Erhöht die statistische Power durch größere Stichproben)
- Förderung von Open-Science-Fähigkeiten (Integration in die Ausbildung und Weiterbildung von Wissenschaftlern)
- Umsetzung von Transparenzrichtlinien
Anreize für Open-Science-Praktiken: Änderungen im Belohnungssystem der Wissenschaft (z. B. Einstellung, Förderungen).
Definition Verhalten
- Verhalten als beobachtbare, messbare aV, die von medienvermittelter Kommunikation beeinflusst werden kann
Drei Stufen Modell der Verhaltensmessung
- Planung der Verhaltensbeobachtung (Hypothesenbildung + Operationalisierung
- Entwicklung eines Studiendesigns: (Wahl Beobachtungsart z. B. Feld- oder Laborstudien + ethische Überlegungen)
- Datenerhebung und -auswahl (Manuelle, technische oder automatisierte Messmethoden)
