Open Science 1 Flashcards

1
Q

Was ist “Open Science” und welche Aspekte und Prinzipien umfasst es?

A

Open Science ist ein wissenschaftliches Konzept, das Transparenz, Reproduzierbarkeit und Wiederverwendbarkeit in der Forschung fördert. Es umfasst:

Open Data: Offene Bereitstellung von Forschungsdaten.
Open Materials: Bereitstellung von Forschungsmaterialien (z.B. Fragebögen).
Open Access: Freier Zugang zu wissenschaftlicher Literatur.
Open Source: Verfügbarkeit von Quellcodes und Software.
Open Peer Review: Offenlegung von Begutachtungsprozessen.
Open Educational Resources: Freie Verfügbarkeit von Bildungsgütern​

How well did you know this?
1
Not at all
2
3
4
5
Perfectly
2
Q

Was sind Replikationsstudien und warum sind sie wichtig?

A

Replikationsstudien wiederholen eine ursprüngliche Studie, um die Ergebnisse zu überprüfen. Sie sind wichtig, weil sie die Zuverlässigkeit wissenschaftlicher Erkenntnisse bestätigen oder infrage stellen und damit das Vertrauen in die Forschung stärken. Sie helfen auch, Zufallsbefunde auszuschließen und den Geltungsbereich von Theorien zu bestimmen

How well did you know this?
1
Not at all
2
3
4
5
Perfectly
3
Q

Was unterscheidet direkte und konzeptuelle Replikation?

A

Direkte Replikation: Die Replikation wird so genau wie möglich nach dem Original durchgeführt, um festzustellen, ob das Ergebnis konsistent ist.
Konzeptuelle Replikation: Dieselbe Hypothese wird mit anderen Methoden, Materialien oder in einem anderen Kontext getestet. Dies hilft, die Generalisierbarkeit der Ergebnisse zu überprüfen

How well did you know this?
1
Not at all
2
3
4
5
Perfectly
4
Q

Was ist die Replikationskrise?

A

Die Replikationskrise beschreibt die Beobachtung, dass viele wissenschaftliche Ergebnisse, insbesondere in der Psychologie, bei Wiederholungsstudien nicht repliziert werden können. Dies wirft Fragen zur Zuverlässigkeit von Studien und wissenschaftlichen Methoden auf​

How well did you know this?
1
Not at all
2
3
4
5
Perfectly
5
Q

Was ist der Publication Bias und welche Folgen hat er?

A

Der Publication Bias bezeichnet die Tendenz, dass Studien mit signifikanten oder positiven Ergebnissen eher veröffentlicht werden als Studien mit negativen oder nicht signifikanten Ergebnissen. Dies führt zu einer verzerrten Datenlage, da wichtige Informationen aus nicht veröffentlichten Studien fehlen​

How well did you know this?
1
Not at all
2
3
4
5
Perfectly
6
Q

Was versteht man unter den Questionable Research Practices namens p-Hacking und HARKing?

A

p-Hacking: Forscher manipulieren Datenanalysen, um signifikante Ergebnisse zu erzielen, z.B. durch selektives Berichten oder Veränderung von Analysen.
HARKing (Hypothesizing After the Results are Known): Hypothesen werden erst nach Bekanntwerden der Ergebnisse formuliert und als ursprünglich geplant ausgegeben

How well did you know this?
1
Not at all
2
3
4
5
Perfectly
7
Q

Was sind researchers‘ degrees-of-freedom und was ist in diesem Zusammenhang eine Multiversumsanalyse?

A

Researchers’ degrees-of-freedom beschreibt die Vielzahl an Entscheidungen, die Forscher während der Datenanalyse treffen können, was zu unterschiedlichen Ergebnissen führen kann.
Multiversumsanalyse: Eine systematische Untersuchung, wie verschiedene Entscheidungen im Analyseprozess die Ergebnisse beeinflussen. Dabei werden verschiedene Ansätze gleichzeitig getestet, um eine umfassende Bewertung der Robustheit der Ergebnisse zu ermöglichen

How well did you know this?
1
Not at all
2
3
4
5
Perfectly
8
Q

Was ist der Unterschied zwischen Replikation und Reproduktion?

A

Replikation: Eine Studie wird mit neuen Daten und denselben Methoden wiederholt, um die Ergebnisse zu überprüfen.
Reproduktion: Eine Studie wird mit denselben Daten und denselben Methoden wiederholt, um zu sehen, ob die gleichen Ergebnisse erzielt werden​

How well did you know this?
1
Not at all
2
3
4
5
Perfectly
9
Q

Welche Aspekte kennzeichnen einen transparenten Forschungsprozess nach Open Science Prinzipien?

A

Ein transparenter Forschungsprozess umfasst:

Präregistrierung: Hypothesen und Analysen werden vor der Datenerhebung festgelegt.
Open Data: Alle Daten werden öffentlich zugänglich gemacht.
Open Materials: Forschungsmaterialien werden bereitgestellt.
Open Access: Forschungsergebnisse sind frei zugänglich.
Open Analysis Code: Der Code zur Datenanalyse wird veröffentlicht​

How well did you know this?
1
Not at all
2
3
4
5
Perfectly
10
Q

Was sind die Grundprinzipien von Open Science?

A

Die Grundprinzipien von Open Science sind:

Transparenz: Alle Schritte des Forschungsprozesses sind nachvollziehbar und zugänglich.
Reproduzierbarkeit: Forschungsergebnisse sollen durch Wiederholung der Studien überprüfbar sein.
Wiederverwendbarkeit: Daten und Materialien sollen von anderen Forschern weiterverwendet werden können.
Offene Kommunikation: Austausch und Veröffentlichung von Forschungsergebnissen sind für alle zugänglich

How well did you know this?
1
Not at all
2
3
4
5
Perfectly
11
Q

Warum ist Transparenz im Forschungsprozess wichtig?

A

Transparenz ist wichtig, um die Glaubwürdigkeit der Forschung zu erhöhen und um sicherzustellen, dass alle Schritte von der Datenerhebung bis zur Veröffentlichung nachvollziehbar und überprüfbar sind. Dies hilft, wissenschaftliche Integrität zu wahren und Forscher vor dem Vorwurf von Manipulationen zu schützen

How well did you know this?
1
Not at all
2
3
4
5
Perfectly
12
Q

Was bedeutet Präregistrierung in der Forschung?

A

Präregistrierung bedeutet, dass die Hypothesen, das Studiendesign und der Analyseplan vor Beginn der Datenerhebung festgelegt und registriert werden. Dies verhindert p-Hacking und HARKing, indem es die Trennung von konfirmatorischen und explorativen Analysen klar definiert​

How well did you know this?
1
Not at all
2
3
4
5
Perfectly
13
Q

Was ist ein Registered Report?

A

Ein Registered Report ist ein wissenschaftlicher Artikel, bei dem Hypothesen, Methoden und der Analyseplan vor der Datenerhebung begutachtet und zur Veröffentlichung angenommen werden. Das Peer-Review erfolgt vor der Analyse der Daten, und die Publikation hängt nicht vom Ergebnis ab​

How well did you know this?
1
Not at all
2
3
4
5
Perfectly
14
Q

Was ist ein Open Lab Notebook?

A

Ein Open Lab Notebook ist ein digitales Notizbuch, das den gesamten Forschungsprozess von der Planung über die Durchführung bis zur Analyse dokumentiert. Es dient als organisatorisches Werkzeug und kann dazu beitragen, den Forschungsprozess für andere nachvollziehbar zu machen und das geistige Eigentum zu schützen

How well did you know this?
1
Not at all
2
3
4
5
Perfectly
15
Q

Was versteht man unter Open Data?

A

Open Data bedeutet, dass Forscher ihre Rohdaten veröffentlichen und der wissenschaftlichen Gemeinschaft zur Verfügung stellen. Dies fördert Transparenz und ermöglicht es anderen Forschern, die Daten weiter zu analysieren oder für eigene Projekte zu verwenden

How well did you know this?
1
Not at all
2
3
4
5
Perfectly
16
Q

Was bedeutet Open Access?

A

Open Access bezeichnet den freien und kostenlosen Zugang zu wissenschaftlichen Publikationen. Dies bedeutet, dass Forschungsergebnisse digital verfügbar sind, ohne dass Urheberrechts- oder Lizenzbeschränkungen den Zugriff behindern​

17
Q

Was ist Open Analysis Code?

A

Open Analysis Code bedeutet, dass der Code, der zur Datenanalyse verwendet wurde, öffentlich zugänglich gemacht wird. Dies umfasst alle Schritte von der Datenaufbereitung bis zur Analyse, sodass andere Forscher die Analysen überprüfen oder wiederholen können​

18
Q

Welche Vorteile bietet Open Science?

A

Die Vorteile von Open Science sind:

Mehr Transparenz: Erhöhtes Vertrauen in wissenschaftliche Ergebnisse.
Mehr Kooperation: Fördert Zusammenarbeit zwischen Forschern.
Zusatznutzen für Bildung: Erleichtert den Zugang zu wissenschaftlichen Ressourcen.
Mehr Feedback: Durch offene Peer-Reviews und Datennutzung​

19
Q

Welche Herausforderungen gibt es bei der Umsetzung von Open Science?

A

Die Herausforderungen bei der Umsetzung von Open Science umfassen:

Zusätzliche Zeit: Die Umsetzung von Open-Science-Praktiken kann zeitaufwändig sein.
Notwendigkeit neuer Kompetenzen: Forscher müssen zusätzliche Fähigkeiten erwerben, z.B. in Datenmanagement.
Fehlende formale Anerkennung: Open-Science-Praktiken sind oft kein Kriterium bei wissenschaftlichen Bewerbungen

20
Q

Was versteht man unter dem hindsight bias und wie verhindert Präregistrierung ihn?

A

Hindsight bias tritt auf, wenn Forscher rückblickend die Ergebnisse ihrer Studie als vorhersehbarer wahrnehmen, als sie tatsächlich waren. Präregistrierung verhindert dies, da die Hypothesen und Methoden vor der Datenerhebung festgelegt werden, was nachträgliche Verzerrungen ausschließt​

21
Q

Was ist Open Science?

A

Open Science fördert Transparenz, Reproduzierbarkeit und den freien Zugang zu Daten, Materialien und Forschungsergebnissen

22
Q

Was ist der Unterschied zwischen direkter und konzeptueller Replikation?

A

Direkte Replikation: Exakte Wiederholung der Originalstudie.
Konzeptuelle Replikation: Test derselben Hypothese mit neuen Methoden oder in anderem Kontext

23
Q

Was ist die Replikationskrise?

A

Viele wissenschaftliche Studien lassen sich bei Wiederholung nicht bestätigen, was Zweifel an der Zuverlässigkeit von Forschungsergebnissen aufwirft​

24
Q

Was ist p-Hacking?

A

Manipulation von Datenanalysen, um signifikante Ergebnisse zu erzielen​

25
Q

Was ist HARKing?

A

Hypothesen werden erst nach Kenntnis der Ergebnisse erstellt und als ursprünglich geplant ausgegeben​

26
Q

Was ist eine Multiversumsanalyse?

A

Systematische Untersuchung, wie verschiedene Analyseentscheidungen die Ergebnisse beeinflussen

27
Q

Was ist der Unterschied zwischen Replikation und Reproduktion?

A

Replikation: Neue Daten, gleiche Methode.
Reproduktion: Gleiche Daten, gleiche Methode​

28
Q

Was ist ein Registered Report?

A

Artikel, bei dem Hypothesen und Methoden vor der Datenerhebung begutachtet werden. Die Publikation hängt nicht vom Ergebnis ab​

29
Q

Was sind researchers’ degrees-of-freedom?

A

Die Vielzahl an Analyseentscheidungen, die Forschende treffen können, was zu unterschiedlichen Ergebnissen führen kann

30
Q

Was ist Präregistrierung?

A

Hypothesen und Methoden werden vor der Datenerhebung festgelegt, um p-Hacking zu verhindern​

31
Q

Was ist der hindsight bias?

A

Die Tendenz, vergangene Ereignisse als vorhersehbarer wahrzunehmen, als sie tatsächlich waren. Präregistrierung verhindert dies

32
Q

Was sind die Prinzipien von Open Science?

A

Transparenz, Reproduzierbarkeit, Wiederverwendbarkeit und offene Kommunikation

33
Q

p-Wert

A

Typische (frequentistische) statistische Verfahren geben an, wie plausibel es ist, einen
mindestens so großen Effekt (wie den beobachteten) zu beobachten, wenn man glaubt, dass
es eigentlich gar keinen gibt (Nullhypothese ist wahr)
Wenn es also weniger als 5% wahrscheinlich ist, mindestens so einen Effekt zu beobachten,
wenn die H0 wahr ist, lehnen wir diese ab.

34
Q

THARKing (Transparently hypothesizing after the results are
known)

A

Offenlegen, dass die Hypothesen und Erklärungen auf Basis
der Daten generiert wurden.

35
Q

Zusammenfassung Präregistrierung

A

Präregistrierung als Antwort auf QRP hat verschiedene Vorteile:
* Sie konzentrieren sich auf die Formulierung von Hypothesen und Wahl von Methoden
bevor Sie die Daten sammeln – das hilft dabei sich zu überlegen, ob man überhaupt die
„richtigen“ Daten sammelt (nach der Datenerhebung ist es ja zu spät…)
* Man zieht eine ganz scharfe Trennlinie zwischen Konfirmation und Exploration, die in der
Praxis manchmal etwas verschwimmen mag
* Sie erhöhen die Glaubwürdigkeit, Transparenz und Nachvollziehbarkeit ihrer Ergebnisse
(Eher unbegründete) Bedenken gegenüber Präregistrierung sind üblicherweise:
* Angst vor Ideen-Diebstahl?
* Zu starke Einschränkung der Analysemöglichkeiten?
* Eine Literatur voller „Null“-Ergebnisse?
* Zu viel Extraarbeit?

36
Q
A