Signifikanztests

Question 1

Welche ist die zentrale Frage vor einem Signifikanztests?

Answer 1

Lassen sich die beobachteten Abweichungen noch als Zufall akzeptieren?

Question 2

Was beschreibt die Nullhypothse normalerweise?

Answer 2

Den Status Quo / Denjenigen Zustand, der geprüft werden soll.

Question 3

Wie heißt für gewöhnlich die Forschungshypothese und was kann man mit ihr berechnen?

Answer 3

Alternativhypothese H₁

Hierfür kann man berechnen, wie wahrscheinlich ein signifikantes Testresultat erwartet werden kann (Power)

Question 4

Wie nennt man es, wenn man davon ausgeht, dass ein Testergebnis nicht mehr dem Zufall zuzuschreiben ist?

Answer 4

Signifikant

Question 5

Wie nennt man die Power noch und was bedeutet sie?

Answer 5

Teststärke

Gibt Aufschluss darüber, wie wahrscheinlich ein signifikantes Ergebnis ist.

Question 6

Wie berechnet sich die Power?

Answer 6

Power = 1 – ß

Question 7

Was ist ein α-Fehler?

Answer 7

Nullhypothese ist wahr aber wird verworfen

Question 8

Was ist ein ß-Fehler?

Answer 8

Alternativhypothese ist wahr, wird aber verworfen

Question 9

Definition: p-Wert

Answer 9

Der p-Wert ist die bedingte Wahrscheinlichkeit für ein Ergebnis unter der Bedingung, dass die Nullhypothese zutrifft.

Question 10

Was gilt für das Testergebnis, wenn p ≤ α ?

Answer 10

Das Testergebnis ist signifikant

Question 11

Welche Werte werden meist für α festgelegt?

Answer 11

1. 0.05
2. 0.01
3. 0.001

Question 12

Woraus ging das Konzept einer Alternativhypothese hervor?

Answer 12

Aus der Arbeit von Neyman und Pearson

Question 13

Wir führen eine Studie durch.

Welche sind die sechs Schritte, denen man bei einem Signifikanztest folgen sollte?

Answer 13

1. Formuliere Nullhypothese
   Konstruieren der Stichprobenverteilung, falls Stichprobengröße gegeben
2. Formuliere Alternativhypothese
   Konstruieren der Stichprobenverteilung, falls Stichprobengröße gegeben
3. α und β festlegen (Kosten-Nutzen-Analyse nach Ney./Pear.)
   –––––––––– Erhebung erst nach diesem Schritt ––––––––––
4. Prüfen, ob der p-Wert größer oder kleiner α ist.
5. Wenn p ≤ α, dann ist Test signifikant.
6. Test signifikant ja oder nein?

Question 14

In manchen Fällen hebt man die Werte von α und ß an. Welchen Wert sollten diese jeweils nie überschreiten?

Answer 14

Ab 50% wäre Wahrscheinlichkeit einen Fehler zu begehen größer als die Wahrscheinlichkeit richtig zu liegen

Question 15

Was bedeutet externe Validität?

Answer 15

“Wie sehr kann ich von meiner Stichprobe auf die Gesamtpopulation schließen?”

Question 16

Was bewirkt eine hohe Gruppenhomogenität im Signifikanztest?

Answer 16

1. Die Varianz wird ziemlich klein, was zu einer hohen Power/Teststärke führt.
2. ABER: Je nach Umstand kann das mit geringer externer Validität einhergehen!

Question 17

Wofür sind

A priori-Analyse,

Kompromiss-Analyse,

post hoc-Analyse

Beispiele?

Answer 17

Poweranalyse

Question 18

Wann sollte man eine erste Poweranalyse durchführen?

Answer 18

VOR dem Signifikanztest

Question 19

Wann führt man die A-Priori Analyse durch und welche drei Fragen sollte man sich dafür stellen?

Answer 19

Immer vor dem Test durchgeführt

1. Was ist meine Alternativhypothese?
   (Mindesteffekt, den ich entdecken möchte?)
2. Wie groß setze ich α?
   (oder die Irrtumswahrscheinlichkeit?)
3. Wie groß soll die Teststärke mindestens sein?
   oder welchen Wert sollte β (Fehler 2. Art) nicht überschreiten?

Question 20

Was suchen wir bei der Kompromiss-Analyse?

Answer 20

Das geeignete Verhältnis zwischen α und β

Question 21

Wozu dient die Post-hoc-Analyse?

Answer 21

Nach einem durchgeführten Test mehr Informationen zu gewinnen.

Question 22

Wie hoch sollte man die Power mindestens ansetzen?

Answer 22

80% (Cohen, 1988)

Question 23

Wann werden für gewöhnlich die eher seltenen zweiseitigen Signifikanztests durchgeführt?

Answer 23

Wenn es zum Thema noch überhaupt keine Vorarbeit gibt und man bloß “irgendeinen” Effekt aufdecken möchte.

Question 24

Was passiert bei zweiseitigen Tests mit dem α?

Answer 24

Es wird auf beide Seiten aufgeteilt, somit gilt α/2.

Dadurch haben zweiseitige Tests weniger Teststärke/Power als einseitige.

Question 25

Wie werden in der Formulierung für Hypothesen theoretische Mittelwerte geschrieben?

Answer 25

µ

Question 26

Warum sind p-Werte KEIN Indikator für Effektgröße?

Answer 26

→ weil die Effektgröße nur einer von mehreren Faktoren ist, die p beeinflussen, weshalb man bei einem veränderten p-Wert nicht auf eine entsprechende Veränderung der Effektgröße schliessen kann!

Question 27

Warum erlaubt ein p-Wert NICHT die Abschätzung der Wahrscheinlichkeit, dass eine der Hypothesen zutrifft?

Answer 27

→ weil die Wahrscheinlichkeitsaussage nicht die Nullhypothese, sondern das Ergebnis betrifft (p ist eine bedingte Wahrscheinlichkeit, dass das aktuelle oder ein noch extremes Ergebnis gefunden werden konnte!)

Question 28

Warum ist p NICHT die Irrtumswahrscheinlichkeit?

Answer 28

→ weil p ein Produkt der Daten ist (wird NACH dem Test, aufgrund der empirischen Ergebnisse berechnet), die Irrtumswahrscheinlichkeit hingegen eine Eigenschaft des Tests ( α, wird VOR dem Test festgelegt!)

Question 29

Warum ist p KEIN Indikator für Replizierbarkeit?

Answer 29

→ bedingt durch Zufallseinflüsse bei der Stichprobenziehung können sich Ergebnisse von Studien unterscheiden und dies wiederum führt zu unterschiedlichen p-Werten

Question 30

Welche Empfehlungen von Wilkinson & Task Force on Statistical Inference, 1999 können wir aufzählen?

4

Answer 30

1. Immer Teststärke berechnen
2. Immer exakte p-Werte berichten
3. Immer (Stichproben-) Effektgrößen berechnen
4. In Zweifelsfällen Konfidenzintervalle den Signifikanztests
   vorziehen

Question 31

Wie sollte man den Signifikanztest grundsätzlich betrachten und anwenden?

Answer 31

Signifikanztest nie isoliert, sondern immer im Verbund mit anderen Methoden nutzen!