H2 Power, effectgrootte en one-way ANOVA

Question 1

Wat is power
- onderscheidend vermogen

Answer 1

Het onderscheidende vermogen (power) van een toets is de kans op het terecht verwerpen van de nulhypothese als deze in werkelijkheid dus niet waar is
- 1-beta (beta = type II fout) –> dus een zo laag mogelijke beta/type II fout = onterecht behouden van H0

Question 2

Liever een hoge of lage power?

Answer 2

Een hoge power is wenselijk, want het impliceert een hoge kans op het terecht verwerpen van een nulhypothese

Question 3

Type I fout
- alfa

Answer 3

H0 verwerpen op basis van statistiek, terwijl H0 in de werkelijkheid waar is

Question 4

Type II fout
- beta

Answer 4

H0 aanhouden op basis van statistiek, terwijl H0 in de werkelijkheid verworpen moet worden

Question 5

Stappenplan power berekenen van een Z-toets

Answer 5

1. bepaal de Z van de kritieke waarde onder H0
2. bepaal het steekproefgemiddelde X dat bij Z hoort onder H0
3. reken kritieke grenswaarde X om naar de Z-waarde van H1 onder H1
4. de power is gelijk aan de kans P(Z>ZH1|H1)

Question 6

welke factoren zijn nodig voor een goede beslissing

Answer 6

• kleine alfa = kleine kans op onterecht H0 verwerpen (type I fout)
• hoge power (1-beta) = hoge kans op terecht verwerpen van H0

Question 7

4 factoren die power beïnvloeden

Answer 7

• alfa: hogere alfa zorgt voor makkelijker type I fout
• N (steekproefgrootte): hogere N zorgt voor een hoger Z en is makkelijker te verwerpen
• sigma: standaarddeviatie in de populatie; kleinere waarde zorgt voor hogere Z
• de ‘ware mu’ in de alternatieve hypothese

Question 8

Effectgrootte

Answer 8

Verwerpen van H0 leidt tot significantie
- maar ‘significant’ betekent niet: het is onomstotelijk bewezen dat er een systematisch effect is
- en… significant betekent ook niet per se dat het effect praktisch/klinisch sigificant is… zelf heel kleine - oninteressante verschillen - zijn significant als je heel grote steekproeven gebruikt
–> als N laag is, is het vermogen van de toets laag en statistisch niet significant, ook als het effect groot is
–> als N hoog is, is het vermogen van de toets hoog en statistisch wel significant, ook als het effect laag is

Question 9

Twee belangrijke maten voor effectgrootte bij het vergelijken van gemiddelden

Answer 9

• Cohen’s d (hoe groot is het relatieve verschil in groepen
• (partiële) verklaarde variantie (etha^2)

Question 10

Waardes van cohens d en verklaarde variantie voor effecten

Answer 10

klein: d=0.2 en etha^2= 0.01
middel: d=0.5 en etha^2=0.06
groot: d=0.8 en etha^2=0.14

Question 11

klein effect

Answer 11

Verschil tussen gemiddelde van controle en experimentele groep is de cohen’s d (0.2)
–> 58% van de experimentele groep scoort hoger dan het gemiddelde van de controle groep (dmv Z-score)

Question 12

Middelgroot effect

Answer 12

Verschil tussen gemiddelde van controle en experimentele groep is de cohen’s d (0.5)
–> 69% van de experimentele groep scoort hoger dan het gemiddelde van de controle groep (dmv Z-score)

Question 13

Groot effect

Answer 13

Verschil tussen gemiddelde van controle en experimentele groep is de cohen’s d (0.8)
–> 79% van de experimentele groep scoort hoger dan het gemiddelde van de controle groep (dmv Z-score)

Question 14

Rekenformules voor effectgrootte

Answer 14

d = t x wortel(1/N) –> één groep
d = t x wortel (1/n + 1/n) –> twee groepen
etha^2 = t^2/t^2 + dfw –> dfw is vrijheidsgraden = n1 + n2 - 2

Question 15

ANOVA

Answer 15

ANalysis Of Variance (Variantie analyse)
- gemiddelden van (experimentele) groepen vergelijken
- onafhankelijke t-toets vergelijkt altijd twee gemiddelden, ANOVA kan er 2+ vergelijken

Question 16

between-subjects design

Answer 16

In elke conditie is er een onafhankelijke steekproef
- design met onafhankelijke groepen

Question 16

Within-subjects/repeated measures design

Answer 16

Proefpersonen kunnen blootgesteld worden aan meerdere condities
- design met herhaalde metingen

Question 17

Factoren

Answer 17

Categorische onafhankelijke variabelen
- categoriën zijn niveaus
- combinatie van niveaus is conditie

Question 18

Factorial design

Answer 18

Design met meerdere factoren

Question 19

Fully crossed factorial design

Answer 19

2 niveaus met elk 3 niveaus
- 3x3=9 condities

Question 20

Hypothesetoetsen in ANOVA

Answer 20

K = hoeveelheid groepen
- H0: mu1=mu2=muk=mu
- H0: alfak=muk-mu=0 –> alfak is treatmenteffect van groep k

Question 21

Hoveel t-toetsen zijn er nodig

Answer 21

K x (K-1)/2

Question 22

Waarom ANOVA gebruiken

Answer 22

• meerdere toetsen uitvoeren leidt tot een grotere kans op type-1 fouten (onterecht verwerpen) –> ANOVA omnibus toets gaat dit tegen
  –> je kunt ook een aangepasta alfa gebruiken voor de individuele toetsen als je niet via ANOVA toetst

Question 23

Experiment wise type 1 fout

Answer 23

Kans op ten minste 1 type 1 fout bij vele testen
P = 1 - (1-0.05)^3 = 0.143
- ^3 = hoeveel testen

Question 24

Test wise type 1 fout

Answer 24

Risico op een type 1 fout voor een individuele toets

Question 25

Logica van ANOVA

Answer 25

• je kunt niet kijken of gemiddelden van elkaar verschillen (t-toets)
  –> maat die spreiding van gemiddelden aangeeft nodig (= variantie van gemiddelden)
• vergelijkt variantie tussen groepsgemiddelden met de variantie binnen groepen
  –> grotere tussen dan binnen groepsvariantie is een indicatie van een effect van de procedure

Question 26

Spreiding tussen groepen

Answer 26

Verschillen tussen het overkoepelende gemiddelde en groepsgemiddelden
–> dit is ook alfak = mu1-mu

Question 27

Spreiding binnen groepen

Answer 27

Verschillen in geobserveerde scores en het groepsgemiddelden