Forschungstext 2: Optimizing Research Output: How can psychological research methods be improved?

Question 1

Autoren des Texts

Answer 1

Miller & Ulrich

Question 2

Replikationskrise

Answer 2

Die Psychologische Forschung ist in Verruf geraten, da weniger als 50% der publizierten Ergebnisse repliziert werden konnten
->Auch in anderen Feldern zu beobachten, vertrauen in die Wissenschaft sinkt

Question 3

Evidentiary value movement

Answer 3

Die Bemühungen und Untersuchungen, die versuchen die Fehler in den traditionellen Forschungen und Gründe für die schlechte Replizierbarkeit zu suchen werden gesamtheitlich manchmal als „evidentiary value movment“ bezeichnet -> Der Forschungsartikel versucht die Ergebnisse dieser Bewegung zusammenzufassen

Question 4

Gründe für eine schlechte Replikationsrate

Answer 4

a) Die Replikationsstudie war schlecht: Es kann sein, dass nicht die Originalstudie fehlerhaft war, sondern die Replikationsstudie
b) Veränderte Umstände: Zum Zeitpunkt der Originalstudie war der Effekt da, aber die Umstände haben sich so geändert, dass zum Zeitpunkt der Replikationsstudie der Effekt nicht mehr vorhanden ist
- > Jedoch wird angenommen, dass Probleme in der Prozedur nur einen kleinen Beitrag zur Replikationskriese beisteuern
c) Falsche Ergebnisse der Originalstudie: Es wird angenommen, dass der Hauptgrund für die geringen Replikationsraten der ist, dass viele der original publizierten Ergebnisse falsch sind

Question 5

Vier Typen von Ergebnissen einer individuellen Studie

Answer 5

I. True Positiv (TP): Korrekte Schlussfolgerung, dass der gesuchte Effekt vorhanden ist

II. False Positiv (FP): Inkorrekte Schlussfolgerung, dass der gesucht Effekt vorhanden ist (Fehler 1. Art)

III. True Negativ (TN): Korrekte Schlussfolgerung, dass der gesucht Effekt nicht vorhanden ist

IV. False Nevativ (FN): Inkorrekte Schlussfolgerund, dass der gesuchte Effekt nicht vorhanden ist (Fehler 2. Art)

Question 6

Die Basisrate π und die Hypothesen

Answer 6

1. Der gesuchte Effekt kann entweder vorhanden sei (H1 ist wahr) oder nicht (H0 ist wahr).
2. Die Wahrscheinlichkeit dieser beiden Ereignisse (H0 ist wahr oder H1 ist wahr) sind nicht gleich, sondern von der Basisrate der wahren Effekte π abhängig.
3. π gibt die Wahrscheinlichkeit an mit der die H1 wahr ist. 1-π gibt entsprechend die Wahrscheinlichkeit an, dass die H0 wahr ist.
4. Die Größe von π ist von dem Forschungsfeld anhängig.
   siehe auch Abbildung auf Lernzettel

Question 7

Publication Bias und sein Einfluss auf FP

Answer 7

1. Die meisten publizierten Ergebnisse sind positive Ergebnisse.
2. Per se hat der Publikation-Bias keinen Einfluss auf die Anzahl der FP Ergebnisse, aber einen Einfluss auf die Proportionen zwischen FP und FN/TN Ergebnisse, –> Wenn nur positive Ergebnisse publiziert werden und die Replikation nicht gelingt, ist die Wahrscheinlichkeit, dass in der Originalstudie ein FP vorliegt, relativ hoch (im Gegensatz zu einem FN/TN, da negative Ergebnisse ja erst gar nicht publiziert werden)

Question 8

Gründe für FP

Answer 8

I. Betrug oder falsche Daten -> relativ selten
II. Flasche Anwendung von Forschungsmethoden und statistischen Verfahren -> Vorschlag: Statistische Ausbildung verbessern
III. Statistische Gründe: zufällige Variablen erzeigen unausweichlich einige FP durch reinen Zufall

Question 9

Welche statischen Parameter legen die Frequenz von FP fest?

Answer 9

1. α-Niveau: Die Rate von FP (P_FP) ist immer geringer, je kleiner α-Niveau gewählt ist unabhängig von der Power und der Basisrate
2. Power (1 – β): Die Rate von FP sinkt je weiter die Power steigt. Besonders schnell steigt die Rate von FP an, wenn die Power unter 0.5 sinkt (was schnell passiert bei einer kleinen Stichprobe oder ungenauen Messinstrumenten)
3. Die Basisrate der wahren Effekte (π): Die Rate von FP steigt systematisch mit dem Sinken von π. Wenn die Basisrate sinkt haben weniger Studien die Chance eine TP zu produzieren, weil weniger Studien ja überhaupt einen Effekt untersuchen, der existiert daher beruhen immer mehr positive Ergebnisse auf einen Fehler -> wenn die Basisrate π ≤ 0.1, dann haben wir eine P_RP > 0.5 -> das passiert aus rein Statistischen Gründe, egal wie angemessen die Methoden sind -> daher wäre die Replikationsrate auch extrem schlecht

Question 10

Wann sind Basisraten hoch und wann niedrig? Und wie sieht die geschätzte Basisrate der Psychologie aus?

Answer 10

1. Wilson& Wixted haben geschätzt, dass ca. 10% der Studien in der sozial Psychologie wirklich Effekte testen, die es gibt. Die Basisrate bezieht sich also nicht wie α und die Power auf die einzelne Studie, sondern auf das Forschungsgebiet, in dem die Studie eingebettet ist.
2. Basisraten sind meist dann hoch, wenn es um ein Forschungsgebiet geht, in dem es einen soliden theoretischen Hintergrund gibt
3. Basisraten sind dann niedrig, wenn es sich um ein weniger entwickeltes Forschungsfeld handelt, wo Forschung sich meist auf Intuition oder Anekdoten stützt
4. In der Psychologie wird die Basisrate auf ca. 20% oder weniger geschätzt

Question 11

Vorschläge für die Reduzierung von FP

Answer 11

1. Reduktion des Alpha-Levels
2. Auslöschung von fragwürdigen Forschungspraktiken
3. Erhöhung der Power
4. Erhöhung der Basisrate

Question 12

Vorschläge für die Reduzierung von FP: 1. Reduktion des Alpha-Levels

Answer 12

Bedeutet jedoch gleichzeitig, dass man starke Belege für einen Effekt braucht, bevor man ein positives Ergebnis erzielt
(siehe hier auch Forschungstext 1)

Question 13

Vorschläge für die Reduzierung von FP: b) Auslöschen von fragwürdigen Forschungspraktiken (questionable research practices [QRP]): wie können QPR aussehen?

Answer 13

Diese QRP können unterschiedliche ausgestaltet sein, meist wird versucht auf vorerst nicht signifikanten Ergebnissen signifikante zu machen (P-hacking) durch:
I. Die Durchführung von mehreren gleichen Studien oder das Messen mehrere gleiche AV um die eine zu finden die (aus Zufall) ein positive Ergebnis erzeugt
II. Die Durchführung vieler ver. statistischer Methoden, um die eine Methoden zu finden, die ein signifikantes Ergebnis bringt
III. Nachträglich mehr Daten sammeln, in der Hoffnung, dass die größere Stichprobe ein signifikantes Ergebnis bringt

Question 14

Vorschläge für die Reduzierung von FP: 3. Erhöhung der Power

Answer 14

1. In der Psychologie sind die Powerraten oft sehr gering (schätzungsweise für kleine Effekte bei 0.2 und für große bei 0.5)
2. Cohen hat ein α = 0.05 und eine Power von mind. 0.8 vorgeschlagen. Cohens Gedanke dahinter war, dass FP ca. viermal schlechter sind als FN (β = 4* α )-> nach der Logik müsse man bei Runtersetzen des α-Levels das Powerlevel erhöhen
3. Problem: Die Stichprobengröße ist schwierig abzuschätzen, da man nicht weiß, was die wahre Effektgröße ist -> Stichproben können daher zu groß oder zu klein sein. Sehr große Stichproben verbrauchen viele Ressourcen, bieten ein hohes Powerlevel an und Effekte zu finden, die so klein sind, dass sie nicht von praktischem Interesse sind

Question 15

Vorschläge für die Reduzierung von FP: 4. Erhöhung der Basisrate

Answer 15

Es gibt wenig Vorschläge dazu, wie die Basisrate beeinflusst werden kann, damit weniger FP auftreten, da die Basisrate nicht in der Kontrolle der Forschenden liegt und viel von Vorwissen und dem Entwicklungsstand von Theorien abhängen. Eine Möglichkeit könnte es sein, sich sehr genau zu überlegen, welche Effekt an untersuchen möchte und welche nicht

Question 16

4. Einwände gegen die vorgeschlagenen Änderungen: negative Folgen von niedigen Alpha, hoher Basisrate und Abschaffung von QRP

Answer 16

I. Eine Verringerung des α führt ebenfalls zu einer Verringerung der Power, wenn Stichproben nicht vergrößert werden. Die Verringerung der Power führt dann dazu, dass wahre Effekte nicht entdeckt werden,  erhöht die Rate von FN was noch schlimmer sein kann als FP
II. QRP führen zu einer Erhöhung der Power (Power Inflation) was ein Vorteil sein kann
III. Um die Power zu erhöhen, muss man die Stichprobengröße erhöhen, was Forschungskosten erhöht  was dazu führt, dass weniger Studien durchgeführt werden können
IV. Die Entwicklung der Forschung würde sich verlangsamen, wenn Forschende versuchen die Basisrate dadurch hochzuhalten, indem sie nur noch leichte Variationen von bereits replizierten Effekten untersuchen würden  unerwartete Ergebnisse können zu wissenschaftlichen Durchbruch verhelfen, low-risik-Studien hätte einen geringen Informationswert

Question 17

Warum schlagen die Autoren andere Modell vor?

Answer 17

Aufgrund der komplexen Informationsgehälter mit Bezug auf α, Effektgröße, Basisrate & Power benötigen Modelle nicht nur statistische Parameter, sondern müssen auch praktische Beschränkungen mit einbeziehen, wie z.B.: Der feste Pool von Forschungsressourcen innerhalb eines Forschungsfeldes

Question 18

Welche anderen Modelle zur Erhöhung der Effizienz schlagen die Autoren vor?

Answer 18

1 Minimierung von FP und Maximierung der Replikationsfähigkeit
2 Maximierung der Vorteile für die Forschenden
3 Replikationen optimieren
4 Maximierung des Gesamten Payoffs
5 Limitierte Forschungsoptionen und Trade-offs

Question 19

Welchen Anspruch legen die Autoren an die vorgeschlagenen Modell

Answer 19

Aufgrund der komplexen Informationsgehälter benötigen die Modelle nicht nur statistische Parameter, sondern müssen auch praktische Beschränkungen mit einbeziehen ( z.B.: begrenzte Ressourcen)

Question 20

Modelle: 1. Minimierung von FP und Maximierung der Replikationsfähigkeit: Definition der Forschungseffektivität in diesem Modell

Answer 20

Man könnte Forschungseffektivität im Bezug auf das Ziel der Minimierung der FP und der damit einhergehenden Maximierung der Replikationsfähigkeit definieren

Question 21

Modell 1: Minimierung von FP und Maximierung der Replikationsfähigkeit: Maßnahmen zur Minimierung von FPs und Konsequenzen dieser Maßnahmen

Answer 21

1. Maßnahmen:
   a) sehr kleines α-Level
   b) große Power
   c) hohe Basisraten
2. Konsequenzen:
   a) Aufgrund der limitierten Ressourcen und den Anspruch eines kleinen α und großer Power sollten wenig Studien mit sehr großen Stichproben durchgeführt werden

b) die Reduzierung der Gesamtanzahl an Studien kann kritisch gesehen werden, da Studien mit geringer Basisrate den größten Wissenschaftlichen Fortschritt bringen können

Question 22

Modell 2: Maximierung der Vorteile für Forschende: Studie von Bakker et. al. - Aufbau, Ergebnisse, Problem & Schlussfolgerung

Answer 22

1. Aufbau: Simulierten Forschungen mit einer festen Anzahl an VP und einem α = 0.05, einmal wenn die Forschung mit allen VP geleichzeitig durchgeführt wird (also eine große Studie) oder wenn die Anzahl der VP auf 5 kleine Studien aufgeteilt wird. Zusätzlich wurde in dem Simulationen manipuliert ob QRP benutzt wurden oder nicht.
2. Ergebnisse: Die Wahrscheinlichkeit mind. ein signifikantes Ergebnis zu erhalten war wesentlich höher, wenn 5 Studien mit QRP durchgeführt wurden, als wenn man eine große Studie ohne QRP durchführt
3. Problem: Die Strategie, die die Wahrscheinlichkeit eines signifikanten Ergebnisses maximiert, maximiert gleichzeitig auch die Rate von FP maximiert
4. Schlussfolgerung von Bakker et. al.: Das Verhalten von Forschenden kann auf literarische Abwege führen

Question 23

Modell 2: Maximierung der Vorteile für Forschende: Die optimale Strategie für Forschende die TP finden wollen

Answer 23

• > Erweiterung von Bakkers Ergebnissen:
  1. Die erwartete Anzahl an TP hängt in großen Teilen an der Effektgröße d und der Basisrate π -> variieren zw. Forschungsfeldern und sind außerhalb der Kontrolle der Forschenden
  2. Im Gegensatz dazu hängt die optimale Strategie für Forschende wenig von d und π ab -> In allen Gebieten kann die Anzahl erwarteter TP durch geringe Power und hohe α-Level maximiert werden -> was jedoch ebenfalls zu einer hohen Anzahl an FP führt

Question 24

Modell 2: Maximierung der Vorteile für Forschende: Studie von Smaldino & McElreath - Methode & Ergebnisse

Answer 24

1. Methode: Erweiterten die Studie von Bakker et. al. durch die Modellierung des traditionellen Forschungsanreizes durch eine evolutionäre Perspektive
2. Ergebnisse:
   a) individuelle Forschende passen ihr Verhalten nicht aufgrund der Anreize an, stattdessen gäbe es eine natürliche Variation an Verhalten von Forschenden und diese Variationen führen zu unterschiedlichem akademischem Erfolg.
   b) Das Verhalten welches von erfolgreichen Forschenden und Laboren verwendet wurde wird auch eher weitergegeben an die nächste Generation
   c) mit der Zeit entsteht als ein systematische Veränderung in Richtung kleinerer Stichproben und höhere FP-Raten ohne eine von Eigeninteresse geleitete individuelle Verhaltensänderung von Forschenden
   d) ein starker Anreiz TP zu produzieren kann also auch schlechte Konsequenzen für die Wissenschaft haben

Question 25

Modell 3: Replikation optimieren: Studie von LeBel et. al. - Forderung & Argumentation

Answer 25

1. Forderung: Fordern, dass zwei high-powered Replikationen bei jedem neuen positiven Ergebnis durchgeführt werden sollten, um das Ergebnis zu bestätigen
2. Argumentation:
   Rechnen mit einem Beispiel, das zeigt, das Replikationsstichproben effizienter genutzt würde (d.h. dass die durchschnittliche Größe der Replikationsstichproben kleiner wäre pro wahre Entdeckung) wenn die Originalstudie mit einer größeren Stichprobe und höheren Power durchgeführt würde im Gegensatz zur einer Originalstudie mit geringere Stichprobengröße und Power. Diese Argumentation impliziert ebenfalls ein extrem kleinen α-Level

Question 26

Modell 3: Replikation optimieren: Studie von Finkel et. al.

Answer 26

1. Zweifel die Ergebnisse von LeBel et. al. an
2. Sie führen eine Simulation durch die zeigt, dass wenn die Stichprobengrößer der Original- und der Replikationsstudie beachtet, eine mittlere Power (0.3-0.7) am effektivsten ist
3. wird die Originalstudie mit einer kleinen oder großen power durchgeführt, wird die durchschnittliche Stichprobengröße pro replizierten TP größer
4. Schlussfolgerung: zu großer und zu kleiner Power in der Originalstudie reduzieren also die Effektivität der Replikation

Question 27

Modell 3: Replikation optimieren: Antwort von LeBel et. al. auf Finkel et. al.

Answer 27

1. LeBel et. al. Antworten auf die Kritik und arbeiten heraus, dass der Unterschied in den Simulationen war, dass Finkel et. al. davon ausgegangen sind, dass der Teilnehmer-Pool für Original- und Replikationsstudie derselbe wäre.
2. LeBel et. al. gehen davon aus, dass es unterschiedliche sind. Wenn es unterscheidliche Pools sind, dann ist große Power in der Originalstudie effizienter

Question 28

Modell 3: Replikationen optimieren: Einfluss des Teilnehmerpools

Answer 28

1. Teilnehmerpool in Original- und Replikationsstudie der gleiche:
   a) eine Replikationsstudie:
   Mittlere Power (0.3-0.7) in der Originalstudie am effizientesten für die Replikation
   b) zwei Replikationsstudien:
   geringe oder mittlere Power in der Originalstudie am effizientesten
2. Teilnehmerpool in Original- und Replikationsstudie unterschiedlich:
   große Power (0.8) in Originalstudie am effizientesten für die Replikation

Question 29

Modell 3: Replikationen optimieren: Was wird unter Forschungseffizienz verstanden?

Answer 29

dass die durchschnittliche Größe der Replikationsstichproben kleiner wäre pro wahre Entdeckung

Question 30

Modell 3: Replikationen optimieren: Lewandowsky & Oberauer

Answer 30

1. untersuchten zwei Szenarien, die auch einen Einfluss auf die Effektivität von Replikationen haben:
   a) „Private Replication Regime“: Neue Erkenntnisse werden vor der Publikation getestet
   b) „Public Replication Regime“: Neue Erkenntnisse werden nach der Publikation getestet
2. Ergebnisse: Wenn Effektgröße und Stichprobengröße so konstant gehalten werden, dass sie 80% Power erzeugen, dann konnten sie zeigen, dass das „Public Replication Regime“ effizienter ist (d.h. mehr interessante Befunden mit weniger Studien erzeugt), da das „Private Replication Regime“ Ressourcen an die Replikation uninteressanter Ergebnisse verschwendet. Die gleich Schlussfolgerung gilt für die Vorschrift der Notwendigkeit eines kleinen Alpha

Question 31

Modell 4: Maximierung des gesamt Payoffs: Definition von Effizienz

Answer 31

Im Gegensatz zu den anderen Modellen, die sich alle auf ein spezifisches Kriterium für Effizienz konzentrieren geht dieses Modell von einem gesamtheitlichen Payoff aus, der ver. Eigenschaften guter Forschung vereint

Question 32

Modell 4:Maximierung des gesamt Payoffs: Was behinhaltet der Payoff von TP

Answer 32

P_TP würde den gesamtheitlichen wissenschaftlichen Wert, die Neuheit, die Wichtigkeit, Generalisierbarkeit und Validität von wahren Ergebnissen beinhalten

Question 33

Modell 4:Maximierung des gesamt Payoffs: Auf welche Werte werden die Payoffs gesetzt? In der Theorie und in der Praxis

Answer 33

1. P_TP = 1 setzten und die anderen Payoffs im Verhältnis dazu
2. So wäre in der Theorie: P_FP negativ,
   P_TN ebenfalls positiv und P_FN wiederum negativ
3. Da in der Realität TN & FN kaum publiziert werden, haben sie auch wenig bis keinen Einfluss auf das Forschungsfeld und daher einen zu vernachlässigen Payoff: P_FN≈0,P_TN≈
   - >würden negative Ergebnisse mehr publiziert werden, würde der Payoff von TN & FN erheblich steigen

Question 34

Modell 4:Maximierung des gesamt Payoffs: Der erwartete Totale Payoff einer Studie i, E[P_i]

Answer 34

E[P_i]= Pr⁡(TP)* P_TP + Pr⁡(FP) * P_FP + Pr(TN) * ⁡P_TN + Pr⁡(FN) * P_FN
Die Summe aller möglichen Payoffs multipliziert mit ihrer Wahrscheinlichkeit

Question 35

Modell 4:Maximierung des gesamt Payoffs: Die erwartete Summe aller Studien (k), E[P_T]

Answer 35

E[P_T] = k * E[P_i]

Question 36

Modell 4:Maximierung des gesamt Payoffs: wann wird der Gesamtpayoff maximiert?

Answer 36

1. Mit ver. Kombinationen von Effektstärke, Basisrate und Payoff-Werte haben die Autoren herausgefunden, dass der gesamtheitliche Payoff mit der Durchführung vieler Kleiner Studien mit mittlerer Power (≤ 0.5) maximiert wird
2. Welches α-Level den größten Payoff erzeugt hängt stark von der Basisrate ab, aber α kann auch laut dem Modell größer als 0.05 sein

Question 37

Modell 4:Maximierung des gesamt Payoffs: Einschränkungen

Answer 37

Den Payoff in einem Forschungsfeld zu schätzen ist jedoch sehr schwer, aber das Modell kann auch nützlich sein, wenn die Payoff-Werte nicht genau bekannt sind, da es Metaforschenden erlaubt die Muster von Payoffs zu untersuchen & nur relative und nicht absolute Payoffs benötigt werden

Question 38

Modell 5: limitierte Forschungsoptionen und Trade-offs - Grundidee des Modells

Answer 38

1. Die ganzen Modelle vernachlässigen bis jetzt, dass Forschenden wenig Einfluss auf die Effektstärke, Payoffs und Basisrate haben. Die einzigen Parameter, die in der Kontrolle der Forschenden sind, sind das α-Level und die Stichprobengröße
2. daher ist es besonders wichtig zu wissen, wie diesen zwei Parameter gesetzt werden sollen, denn sie beeinflussen im Nachgang wie die Power, die Raten von FP und die Wahrscheinlichkeit der Replikation ausgestaltet sind

Question 39

Modell 5: limitierte Forschungsoptionen und Trade-offs - Konsequenzen von Trade-offs

Answer 39

1. Forschende können nicht alle Ergebnis-Werte gleichzeitig optimieren, müssen sondern die Konsequenzen der gewünschten Ergebnisse mit den Konsequenzen (trade-offs) anderer gewünschter Ergebnisse abwägen:
2. So kann ein Ziel sein, die Anzahl von TP (N_TP) zu maximieren während die Rate von FP minimiert wird. Diese Ziele sind jedoch inkompatibel, da beide Werte positiv miteinander korrelieren (je höher die Rate von TP desto höher ist auch die Rate von FP)

Question 40

Modell 5: limitierte Forschungsoptionen und Trade-offs - Erkenntnisse aus dem Modell

Answer 40

1. Hohe Stichprobengröße produziert immer eine kleinere Rate von FP aber auch eine geringere Anzahl von TP
2. Ebenso führt die Reduktion von α zu einer Reduktion der FP-Rate, aber auch zu einer Reduktion der Anzahl von TP
   - > Es gibt eine unausweichlichen Trade-off zwischen der Rate von FP und der Anzahl von TP

Question 41

Nutzung von Ressourcen für die Replikation: Vorteile von Replikationen

Answer 41

geben zusätzliche Informationen über die Größe und Existenz von Effekten und sind besonders relevant für Theorien

Question 42

Nutzung von Ressourcen für die Replikation: Nachteile von Replikationen

Answer 42

1. verbrauchen Ressourcen, die sonst für Originalstudien und die Entdeckung neuer Phänomene genutzt werden könnten
2. zusätzlich verbrauchen sie mehr Ressourcen als Originalstudien, da die Stichproben von Replikationsstudien oft größer sind
   - > Daher sollte im Sinne der Optimierung wissenschaftlichen Payoffs der Nutzen von Replikationen gegen die reduzierte Anzahl an Originalstudien aufgewogen werden

Question 43

Abschätzung des Nutzens von Replikationsstudien je nach Modell

Answer 43

1. Minimierung von FP (Modell 1): wahrscheinlich werden hier weniger Replikationsstudien benötigt, da die Anzahl an FP eh sehr gering ist
2. Vorteile für Forschende (Modell 2): Weniger Replikationen, da diese weniger hilfreich in der Karriere sind als neue Erkenntnisse zu produzieren
3. Modell nach LeBel (Modell 3 ): würde viele Replikationen geben, da LeBel et. al. fordern, dass jede neue Erkenntnis zweimal repliziert werden sollte
4. Nach dem Payoff-Modell (Modell 5): kann ausgerechnet werden

Question 44

Nutzen von Replikationen ausrechen nach Modell 4: Grundidee

Answer 44

für detaliierte Rechung siehe Lernzettel

1. Die Frage ist welchen Anteil von VP aus dem VP-Pool wird auf die Replikationsstudie verteilen (=R)
2. Wir können den totalen Payoff (P_total) als Funktion von R darstellen: Die Summe der Payoffs der Originalstudie und Replikationsstudie gewichtet mit dem Anteil der VP, die auf jede Studienart aufgeteilt wurden

Question 45

Nutzen von Replikationen ausrechen nach Modell 4: Ergebnis auf den Ersten Blick

Answer 45

1. P_total ist maximal, wenn R so groß wie möglich, d.h. alle Studien werden repliziert (ist natürlich nicht möglich, wenn es dann keine Originalstudien mehr geben würde)
2. P_total ist maximal, wenn R = 0, d.h. keine Studie wird repliziert

Question 46

Wie Verhalten sich die Payoffs von TP, FP,TN, & FN in Replikationsstudien?

Answer 46

1. TP in Replikationen sind nicht so nützlich wie in Originalstudie, da sie nur bestehende Ergebnisse bestätigen.
2. FP in Replikationen ist besonders schädlich, da es den ursprünglichen FP bestärkt
3. TN in Replikationen ist besonders nützlich, da sie Zweifel an dem Originalergebnis erheben
4. FN in Replikationen ist schädlicher als in Originalstudien, da es Zweifel an dem TP der Originalstudie erhebt

Question 47

Nutzen von Replikationen ausrechen nach Modell 4: Ergebnisse, wenn man die Payoffs von Replikations- und Originalstudien entsprechend gewichtet

Answer 47

1. Der total Payoff ist geringer für Originalstudien mit einem α= 0.005, im Vergleich mit einem α= 0.05
   - -> α= 0.005 wäre als nicht das optimale α nach diesem Modell
2. Unabhängig vom α gibt es einen klaren Übergang von Payoff von Original und Replikation, anhängig von der Basisrate und der Power der Replikation
   - -> Payoffs sind größer für die Replikation, wenn die Basisrate weniger als ca. π = 0.4, aber Payoffs sind größer für die Originalstudie, wenn die Basisrate π < 0.4
3. in Forschungsgebieten, mit relative geringen Basisraten ist die Investition von Forschungsressourcen in die Replikation von positiven Originalstudien sinnvoll. In Forschungsgebieten mit hohen Basisraten sind die Ressourcen mit Hinblick auf den Gesamt-Payoff besser in neue Originalstudien zu investieren
4. Payoffs von Replikationsstudien scheinen mit mittlerer Power (und somit auch kleinerer Stichprobe) etwas höher zu sein

Question 48

Nutzen von Replikationen ausrechen nach Modell 4: Ergebnisse, wenn man die Payoffs von Replikations- und Originalstudien entsprechend gewichtet - Welche Vorbehalten unterliegen diesen Ergebnissen?

Answer 48

1. Die erwarteten Payoff Werte hängen ab von den Payoffs, die für das individuellen Ergebnis der Studie geschätzt wird. Das Muster könnte sich so qualitativ ändern  diese Schätzung ist jedoch schwer und hängt von dem Forschungsfeld ab
2. In das Modell wurde nicht mit einbezogen, dass Replikationen auch über den Informationsgehalt des individuell untersuchten Phänomens hinaus einen Informationsgehalt über das Forschungsfeld beinhalten
3. Die Entscheidung über die Verteilung der Anteil von Forschungsressourcen, die auf Replikationsstudien verwendet werden unterliegt den individuellem Forschenden -> eine Veränderung in der Forschungskultur wäre also nötig

Question 49

Sequenz-Sampling-Methoden: Definition

Answer 49

bei Sequenz-Sampling-Methoden sammeln und analysieren die Forschenden die Daten schrittweise, hören auf, wenn die Daten genug Evidenzen, für die eine oder die andere Hypothese bieten unter den Voraussetzungen des jeweiligen Tests

Question 50

Sequenz-Sampling-Methoden: Vor- und Nachteile

Answer 50

1. Vorteile
   sind effizienter: haben gleiche Power wie die Festen-Stichproben-Designs, bei einer 20-30% kleinere Stichprobengröße -> eine Größere Anzahl an Studie kann mit der gleichen Menge an Forschungsressourcen durchgeführt werden
2. Nachteile
   a) bei falscher Anwendung Erhöhung des Fehlers 1. Art
   b) sind sehr komplex

Question 51

Sequenz-Sampling-Methoden: „Independent-segment procedure“ ( von Miller & Ulrich)

Answer 51

1. Vorgehen: Die Forschenden sammeln und analysieren Daten unabhängig in k_max unabhängigen Subsampels/ Segmenten, und stoppen nach jeden Segment basieren auf den Daten des Segments.
2. Entscheidungsregel:
   a) Die Forschenden stoppen und nehmen die H0 an (nach jedem Segment), wenn die Daten einen p-Wert haben, der größer als α^ 1/k_max

b) Andernfalls wird die H0 abgelehnt, (wahrscheinlich) nachdem all k_max Segmente analysiert wurden, es gilt (α^1/k_max )^k_max = α
c) Die Einzelnen Segmente können als Mini-Replikationen angesehen werden

Question 52

Schlussfolgerung von Miller& Ulrich

Answer 52

1. Die Methoden in wissenschaftlichen Publikationen sind suboptimal nicht nur in der Psychologie, sondern in vielen anderen Feldern auch
2. Die Methoden, die zu einer Verbesserung führen zu identifizieren ist nicht einfach, da es komplexe Trade-offs gibt -> daher ist es unwahrscheinlich, dass eine Verbesserung durch die Konzentration auf kleine, isolierte Messungen von Forschungseffektivität erreicht wird
3. Um rationale Entscheidungen über das α-Level und die Stichprobengröße zu treffen braucht es komplexe Modelle des gesamten wissenschaftlichen Prozesse, dieser muss folgendes berücksichtigen:
   a) Statistische Parameter wie α, π, Effektgröße d, Power, …
   b) Praktische Faktoren wie beschränkte Ressourcen
   c) Anreize der Forschenden
4. Mehr Arbeit wird nötig sein, um ein Modell zu schaffen was Forschenden erlaubt, das optimale Design zu wählen
5. Besonders eine gute Schätzung der Basisrate ist wichtig, da diese großen Einfluss auf die Raten von FP und den relativen Wert von Replikationen hat