Forschungstext 1: The quest for an optimal alpha

Question 1

Das Problem mit α

Answer 1

1. α = 0.05 der traditionelle cut-off-Wert
2. eine wachsende Sorge in der Wissenschaft sind jedoch Falsch- positive Befunde, weshalb Forderungen nach strengere α-Werte gefordert werden
3. Gegenargument ist, dass das auch den Wert für falsch-negative (ß-Fehler) erhöhen würde
4. Autoren argumentieren: Das optimale α-Niveau hängt von viele Charakteristiken des Forschungsfeldes ab und das α in machen Fällen größer als 0.05 seinen sollte und in machen Fällen kleiner

Question 2

Sorge um zu höhe α-Niveaus

Answer 2

aufgrund des Publikation-Bias, wenig Anstrengungen und manchen Forschungsfeldern und unangemessenen Analyse-Methoden oder Betrug  empirische Evidenz, dass Forscher benutzten Praktiken, die den Fehler erster Art erhöhen (FP = False positiv)  FP spielen ebenfalls bei der Replikationskriese eine Rolle

Question 3

Vorschlag von Benjamin et al

Answer 3

Das Alpha-Level auf 0.005 zu reduzieren, um der steigenden Anzahl an FA entgegenzuwirken
-> Problem: Das Reduzieren von α-Niveaus kann auch zu einer Reduzierung der Replikationswahrscheinlichkeit führen

Question 4

Vorschlag von Lakens et. al.

Answer 4

Lakens. Et. al.: Argumentieren gegen Benjamin et. al.:
Die Reduzierung von α führt auch zu einer Reduzierung der Power und damit die Rate von Falsch Negativen (FN) erhöhen -> viele Studien würden also einen Effekt nicht finden, der eigentlich existiert

Question 5

Kritik der Autoren an Lakens et. al. und Benjamin et. al

Answer 5

d) Die Kritik der Autoren: Keine der Forderungen (werden nach α = 0.005 noch α = 0.05) spezifiziert die Parameter der Forschung in der das α angewandt werden soll

Question 6

Statistische Grundlagen: Formalisierung der Abwägung zwischen FP und FN: Welche Rate erhöhen wahre bzw. falsche H0

Answer 6

π = die Basisrate wahrere Effekte (H0 = falsch)
1 – π = Die Gegenwahrscheinlichkeit (H0 = wahr)

-> Studien die wahre H0 testen produzieren eher FP oder True Negatives (TN) und Studien die falsche H0 testen produzieren eher FN oder True Positives (TP)

Question 7

Statistische Grundlagen: Formel für die Wahrscheinlichkeiten der vier Ausgänge von Studien

Answer 7

1. Pr (FP) = (1 – π) * α
2. Pr (TN) = (1 – π) * (1 – α)
3. Pr (FN) = π * β
4. Pr (TP) = π * (1 – β)

Question 8

Statistische Grundlagen: Power und wovon hängt sie ab?

Answer 8

Power = 1 – β 
Die Power hängt ab von 
I.	Dem α-Level 
II.	Der Größe des wahren Effekts (d) 
III.	Und der Stichprobengröße (n)

Question 9

Statistische Grundlagen: Die Formel für die Rate von FP

Answer 9

R_(fp ) =(Pr⁡(FP)) / (Pr⁡(FP)+Pr⁡(TP))

Die Rate von FP ist die Wahrscheinlichkeit von FP geteilt durch die Wahrscheinlichkeit von FP + die Wahrscheinlichkeit von TP

Question 10

Statistische Grundlagen: Die Formel für die Rate von FN

Answer 10

R_fn= (Pr⁡(FN))/(Pr⁡(FN)+Pr⁡(TN) )
Die Rate von FN ist die Wahrscheinlichkeit von FN geteilt durch die Wahrscheinlichkeit von FN + die Wahrscheinlichkeit von TN

Question 11

Bei welchem Alpha war die Rate von FP größer? (Bei allem im Text getesteten Kombinationen von d, Pi & Stichprobengröße?)

Answer 11

wenn α = 0.05

Question 12

Bei welchem Alpha war die Rate von FN größer? (Bei allem im Text getesteten Kombinationen von d, Pi & Stichprobengröße?)

Answer 12

wenn α= 0.005

Question 13

Der Payoff

Answer 13

1. Eine empirische Studie wird immer einen dieser vier Ergebnisse erzielen: TP, TN, FN, FP
2. Der Informationsgehalt (Payoff) dieser Ergebnisse kann beschrieben werden als: P_tp,P_tn,P_fp,P_fn
3. Die Einheiten dieser Payoffs sind komplett willkürlich, daher ist es meist bequem P_(tp )=1 zu setzen und die anderen Payoffs in Relation dazu zu setzten. Auf dieser Skala hat P_fp= -2. Das würde bedeuten, dass der Informationsschade dieser Missinformation (FP) in dem Forschungsfeld mit zwei „richtigen“ Informationen ( 2 * TP) ausgeglichen werden würde
4. Diese Payoff-Werte variieren jedoch nach Forschungsfeld stark und sind eigentlich nur subjektiv abschätzbar

Question 14

Der durschnittliche Payoff einer Studie (P_1) und der totale Payoff aller Studie (P_T)

Answer 14

1. durchschnittliche Payoff einer Studie:
   P_1= Pr⁡(TP)* P_tp + Pr⁡(FP)* P_fp + Pr⁡(TN)* P_tn + Pr⁡(FN)* P_fn
   Die Summe der Wahrscheinlichkeit aller vier möglichen Ausgänge multipliziert mit ihrem jeweiligen Payoff

Der totale Payoff alles durchgeführten Studie (P_T) wäre:
P_T = k*P_1
Wobei k der Anzahl der durchgeführten Studien entspricht

Question 15

Wie versuchen Forschende im Bezug auf dem Payoff zu entscheiden und welche Parameter müssen dafür berücksichtigt werden?

Answer 15

1. Forschende versuchen die Entscheidungen immer so zu treffen, dass sich der Payoff maximiert, dafür müssen sie zwei Entscheidungen treffen:
   I. Die Stichprobengröße (n): größere Stichproben haben größer Power (1-β) , aber sind Zeitaufwändiger und teurer, sodass die Erhöhung der Stichprobengröße mit einer Senkung der Gesamtanzahl an Studien (k) einhergeht
   II. α-Level: Das Auszuwählen hängt jedoch nicht nur an den Forschenden, sondern auch z.B.: an den Standards dem Journals in dem veröffentlicht wird

-> Das Problem der Forschenden ist als den Wert von n und α so zu bestimmen, dass sie den Maximalen totalen Payoff P_T generieren

Question 16

Der Effekt der Basisrate auf Alpha

Answer 16

1. Die Beispiel der Studie zeigen:
   a) Dass ein α = 0.005 dann besser ist, wenn die Basisrate kleiner als π = 0.10 ist
   b) Dass ein α = 0.05 dann besser ist, wenn die Basisrate größer π = 0.15 ist
   - > Die Konsequenz ist, dass die Forschenden für die Entscheidung eines geeigneten α-Levels die Basisrate wenigstens annäherungsweise kennen müssen

Question 17

Der Effekt der Stichprobengröße und Effektstärke auf Alpha

Answer 17

• Es kann ebenfalls gezeigt werden, dass die Wahl des α auch von der Größe der Stichprobe abhängig ist
• Auch in einem gegeben Forschung-Szenario kann je nach Stichprobengröße das ideale α-Level (also das α-Level mit dem größten Payoff) variieren.

Question 18

Wovon wird die Entscheidung zwischen α = 0.005 oder α = 0.05 beeinflusst?

Answer 18

1. Der genauen Payoff von TP, TN, FP, FN
2. Die Basisrate wahrer Effekte (π)
3. Die Größe des wahren Effektes, wenn es einen gibt (d)
4. Der Stichprobengröße (n)

Question 19

Welcher Alphawert ist zu bevorzugen, wenn P_fp = -2 und P_fn = -2

Answer 19

dann gilt: α = 0.005 ist zu bevorzugen, wenn π < 0.1 und α = 0.05 ist zu bevorzugen, wenn π > 0.4

Question 20

Welcher Alphawert ist zu bevorzugen, wenn P_fp = -2 und P_fn = -2: dazwischenliegende Basisraten

Answer 20

1. dazwischenliegende Basisraten (0.1 < π < 0.4 ), der Wendelpunkt ist sehr sensible gegenüber FP oder FN je nach hohe der Basisrate (π):
   a) Daher: wenn FP sehr kostspielig sind (z.B.: P_fp= -5) ist das α = 0.005 besser als α= 0.05
   b) Wenn es eine niedrige Rate von π gibt, dann ist die Entscheidung bei dazwischenliegenden Basisraten ist nicht sehr empfindlich gegenüber FN
   c) Gibt es eine hohe Rate von π, ist die Entscheidung bei dazwischenliegenden Basisraten nicht sehr empfindlich gegenüber FP, da diese dann eher selten sind
   d) Die Entscheidung zwischen α= 0.005 und α= 0.05 bei dazwischenliegenden Basisraten ist wenig beeinflusst von der Stärke des wahren Effekts (d) -> das ideale α-Level hängt also eher wenig von d ab

Question 21

Wovon hängt die Entscheidung zwischen dem optimalen Alpha-Niveau besonders ab?

Answer 21

Das Optimale α-Level hängt also am meisten von der Rate der wahren Effekte ab (π) und dann von den relativen Payoffs der individuellen Ergebnisse.
Entscheidung für α = 0.005: bei hohen Kosten eines FP oder /und wenn die Basisrate gering ist,
Entscheidung für α = 0.05: bei hohen Kosten eines FN und oder wenn die Basisrate hoch ist.

Question 22

Welche Parameter die für die Entscheidung des Alpha-Niveaus wichtig sind liegen in der Kontrolle des Forschenden und welche nicht?

Answer 22

1. nicht kontrollierbare Parameter:
   a) d,
   b) π,
   c) P_fp,P_fn,P_tp,P_tn
2. unter der Kontrolle der Forschenden:
   a) α und
   b) n

Question 23

Einschränkungen der Vorgestellten Methoden

Answer 23

1. Man kann diese „out-of-controll“-Parameter nur Schätzen, um das optimale α richtig auszuwählen muss man gut schätzen
2. Es wurden nur zwei mögliche α-Level betrachtet, im Endeffekt gibt es natürlich unendlich viele Möglichkeiten

Question 24

Welcher Parameter ist besonders wichtig und welcher ehr nicht?

Answer 24

1. Basisrate ist besonders wichtig

2. d ist zu vernachlässigen -> untergeordnete Rolle

Question 25

Schätzung der Basisrate Vorschlag von Mudge et al. und was gilt für die experimentelle Psychologie

Answer 25

1. Mudge et. al. schlägt vor, wenn es keine weiteren Informationen gibt, π = 0.5 zu setzten.
2. Replikationsstudien aus der experimentelle Psychologie legen jedoch eine wesentlich niedriger Basisrate von π = 0.1 nahe. -> Geringe Replizierbarkeit von Ergebnissen innerhalb eines Forschungsfeldes sprechen daher eher für geringere Basisraten
3. Die Schätzung von π kommt auch stark darauf an, wie stark die Theorie und die vorherigen empirischen Befunde dazu sind:
   Sind diese Stark eher π = 0.9 sind diese Schwach eher π = 0.1
4. Benjamin et. al.: α = 0.005 sollte nur für die Untersuchung neuer Befunde genutzt werden, für die Replikation eher α= 0.05

Question 26

Vorschlag der Autoren zur Schätzung der Basisrate

Answer 26

1. Im Hinblick darauf, dass π wichtig ist aber gleichzeitig sehr schwer zu schätzen, sollte π anhand der Wahrscheinlichkeit der signifikanten Ergebnisse (in den eigenen Studien) (P_sig) geschätzt werden:

a) P_sig ist eine Funktion die sich aus der Basisrate der wahren Effekte des Forschungsfeldes (π), dem α-Level und der Power (1 – β) ergibt:
P_(sig )= π(1-β)+(1- π) α

b) Diese Gleichung kann auch Richtung π umgeformt werden: π= (P_sig-α )/(1- β-α )

Question 27

Wie kann die Formel für P_sig genutzt werden, um die untere Grenze für die Basisrate bei unbekannter Power zu bestimmen?

Answer 27

π ≥(P_sig- α )/(1-α )

Die geschätzte Basisrate sollte größer/gleich P_sig - Alpha geteilt durch 1 minus Alpha sein

Question 28

Von wem sollten Payoffs geschätzt werden?

Answer 28

Da die Payoff auch von Experten innerhalb eines Forschungsfeldes sehr unterschiedlich geschätzt werden sollten solche Schätzungen besser von Außenstehende wie Journal editors kommen, die keine Interessenskonflikte haben

Question 29

Repikation: Definition, Arten und warum wichtig?

Answer 29

1. Definition: wiederholtes beobachten gleicher Ergebnisse
2. Replizierbarkeit: eines der wichtigsten Kriterien wissenschaftlicher Qualität -> erhöht Glauben an belastbare Ergebnisse und was falsch bzw. richtig ist
3. Arten:
   a) direkte Replikation: so genau wie möglich
   b) konzeptuelle Replikation: gleiche Fragestellung und Theorie, aber andere Methode

Question 30

Rate FP im Allgemeinen Fall

Answer 30

FPR = ((1-G) * Alpha) / ((1-G) * Alpha + G * (1-beta))