Thema 4 - Type 1-fouten en power / 4.6 - 4.7

Question 1

wat is een type 1-fout?

Answer 1

• Een type 1-fout wordt gemaakt als de nulhypothese onterecht wordt verworpen, dus als er wordt geconcludeerd dat er in de populatie een verband bestaat terwijl dit eigenlijk niet zo is. => vals positief
• bij een alpha van .25 gebeurt dit in 25% van de getrokken steekproeven uit de populatie waar het betreffende verband niet bestaat
  (12.5% laagste en 12.5% hoogste -> meest extreme correlaties)
• bij een alpha van .05 verwerpen we de nulhypothese (r=0) als onze steekproefcorrelatie in de laagste 2.5% of in de hoogste 2.5% valt

Question 2

hoe kunnen we de kans op een type 1-fout verlagen?

Answer 2

• De kans op een type 1-fout kan alleen worden verlaagd door een lagere alpha te kiezen.
• Bij een alpha van .05 – de conventie in de psychologie – wordt in 5 % van de gevallen waarin een p-waarde wordt gebruikt om conclusies te trekken over een populatie, een type 1-fout gemaakt (onterecht de nulhypothese verwerpen).

Question 3

welke twee gegevens gebruiken we voor de nulhypothese-significantietoetsing?

Answer 3

• steekproevenverdeling voor een populatiecorrelatie van r=0 (is een aanname)
• het aantal proefpersonen = n

Question 4

welke redenering volgt de nulhypothese-significantietoetsing?

Answer 4

1. steekproevenverdeling voor een populatiecorrelatie van r=0
2. steekproefomvang van n met een steekproefcorrelatie van r=.30
3. vervolgens de p-waarde berekenen en de p-waarde vergelijken met de alpha (=kritische p-waarde)
4. als we een alpha van .05 kiezen dan verwerpen we de nulhypothese (r=0) als onze steekproefcorrelatie in de laagste 2,5% of in de hoogste 2,5% valt

Question 5

wat betekent een alpha van .05?

Answer 5

• als we een alpha van .05 kiezen dan verwerpen we de nulhypothese (r=0) als onze steekproefcorrelatie in de laagste 2,5% of in de hoogste 2,5% valt
• ook als we de nulhypothese verwerpen, zal dit dus in 5% van de gevallen onterecht zijn (-> vals positief of een type 1-fout)

Question 6

wat is een type 2-fout?

Answer 6

• bij een type 2-fout wordt de nulhypothese ten onrechte aangehouden

Question 7

beschrijf het nadelige gevolg van de mechaniek van de NHST? en geef hiervoor een mogelijke oplossing?

Answer 7

• Dit is een nadelig gevolg van de mechaniek van NHST: als de alpha lager is, wordt de kans op een type 1-fout kleiner, maar de kans op een type 2-fout wordt groter.
• een oplossing is: de steekproefomvang vergroten.
  ==> door de steekproefomvang te vergroten is de kans dat we een relatief lage correlatie in onze steekproef vinden kleiner geworden, als de populatiecorrelatie inderdaad r= .40 is.

  ==> de steekproevenverdeling waaruit onze steekproefcorrelatie uitkomt is door de grotere steekproef dan ook een stuk smaller

Question 8

wat is de power van de nulhypothesetoets?

Answer 8

= de kans dat we een verband van een bepaalde omvang kunnen detecteren, aangenomen dat deze echt bestaat

Question 9

welke stappen moeten we zetten in de procedure van de NHST?

Answer 9

1. stel de alpha vast (bijv .05)
2. neem een steekproef ve gegeven omvang (n) + meet de betreffende variabelen en bereken de maat van samenhang (bijv de correlatie)
3. construeer op basis van de NHST (=in de populatie geldt r=0) en de steekproefomvang (n) de **steekproevenverdeling van Pearson’s r **volgens de nulhypothese
4. bereken de p-waarde (oftewel de proportie vd steekproevenverdeling die correlaties betreft die even extreem of extremer zijn dan de correlatie die in de steekproef in stap 2 is gevonden
5. vergelijk de p-waarde met de gekozen alpha (p-waarde < alpha dan verwerpen we de nulhypothese / p-waarde > alpha dan behouden we de nulhypothese)

Question 10

welke twee fouten kunnen er tijdens de NHST worden gemaakt?

Answer 10

= type 1-fout, de nulhypothese wordt ten onrechte verworpen -> die kans is gelijk aan alpha

= type 2-fout, de nulhypothese wordt ten onrechte behouden -> de grootte van die kans hangt af vd de daadwerkelijke correlatie (die altijd onbekend is) en van de steekproefomvang

! het omgekeerde van de kans op een type 2-fout heet de POWER van een toets

Question 11

Wat is het verband tss power en type 2- fout?

Answer 11

Er bestaat een omgekeerd evenredig verband tussen het risico op een Type II-fout en de statistische power van een toets. Hoe meer power een statistische toets heeft, hoe kleiner het risico dat je een Type II-fout maakt.

Question 12

Wat is een poweranalyse?
Wat is de procedure van een poweranalyse?

Answer 12

• Een poweranalyse is een berekening om de minimale steekproefomvang voor het onderzoek te bepalen.
• Een poweranalyse bestaat uit vier hoofdcomponenten. Als je de waarde voor drie van deze componenten weet of kunt schatten, kun je de vierde component berekenen.

Statistische power = de waarschijnlijkheid dat een test een effect van een bepaalde grootte detecteert als het effect daadwerkelijk bestaat (meestal 80% of hoger).

Steekproefomvang = het minimale aantal waarnemingen dat nodig is om een effect van een bepaalde omvang bij een gegeven power-niveau te detecteren.

Significantieniveau (alfa) = het maximale risico op het onterecht verwerpen van de nulhypothese (meestal 5% of 1%).

Verwachte effectgrootte = een gestandaardiseerde manier om de omvang van het verwachte effect uit te drukken, meestal gebaseerd op vergelijkbare onderzoeken of een pilotonderzoek.

Question 13

waar moet een onderzoeker rekening meehouden als hij data gaat verzamelen?

Answer 13

• eerst berekenen hoe groot de steekproef moet zijn
• als de NHST wordt gebruikt, dan wordt dit gedaan door powerberekeningen
• ! hiervoor is een aanname nodig, nl. die vd daadwerkelijke populatiecorrelatie -> dus eerst goed nadenken over hoe sterk het verband is dat ze hopen te vinden
• vervolgens besluiten hoe groot de gewenste kans op succes is

Question 14

wat betekent het als een studie “underpowered” is?
wat is dan het extra gevaar?

Answer 14

• in die studies is de kans klein om de nulhypothese te verwerpen bij een daadwerkelijk verband in de populatie (dus hoge type 2-fout)?
• extra gevaar: naarmate de daadwerkelijke populatiecorrelatie groter is, is de power ve studie met een gegeven steekproefomvang hoger => want de correlatie die in de steekproef wordt gevonden, komt dan uit een populatie-steekproevenverdeling die steeds verder van de nulhypothese-steekproevenverdeling af ligt –> dit komt omdat steekproevenverdelingen bij kleine steekproeven heel breed zijn
• ==> bij underpowered studies is de kans redelijk groot dat er in een steekproev een relatief sterk verband wordt gevonden, terwijl er in de populatie helemaal geen verband is

Question 15

wat is multiple testing?

Answer 15

• studies waarbij vaak meerdere verbanden tegelijk worden onderzocht, dan worden de variabelen die gemeten worden in een correlatiematrix gezet

-

Question 16

wat drukt de p-waarden uit in de correlatiematrix?

Answer 16

• elke p-waarde drukt de kans uit dat de bijhorende steekproefcorrelatie (of extremer) wordt gevonden ervan uitgaande dat die steekproefcorrelatie uit een steekproevenverdeling komt voor ee,n daadwerkelijke populatiecorrelatie r=0 en de gegeven steekproefomvang

Question 17

wat betekent een p-waarde binnen de NHST?

Answer 17

• binnen de NHST wordt de p-waarde vergeleken met de gekozen alpha (vaak 5%) om te besluiten of het waarschijnlijk is dat de bijbehorende variabelen in de populatie samenhangen ==> voor elke p-waarde is de kans op een type 1-fout (vals positief, verwerpen nulhypothese en wel verband zonder dat er een verband is in de populatie) gelijk aan 5%

Question 18

hoe bereken je de kans op minstens één type 1-fout in een correlatiematrix?

Answer 18

• kans dat er geen type 1-fout wordt gemaakt bij alpha van .05 = .95 tot de macht van het aantal p-waarden
• de kans dat we dan minimaal één type 1-fout maken is dan 1 - (.95 tot de macht vh aantal p-waarden)

==> daarom de p-waarden uit de correlatiematrix corrigeren volgens de Bonferroni-correctie

Question 19

wat is het gevolg van de correctie van de p-waarden in een correlatiematrix volgens de Bonferroni-correctie?

Answer 19

• het verkleinen van de p-waarde, verkleinen van de kans op een type 1-fout betekent dat de kans op het maken van een type 2-fout toeneemt

=> de correctie van de p-waarden heeft dus de power verlaagd, waardoor onze toets niet goed in staat is om populatiecorrelaties die afwijken van 0 te detecteren

==> de noodzaak om te corrigeren voor multiple testing resulteert in een lagere power -> dat moet gecompenseerd worde met grotere steekproeven om de kans op type 2-fouten acceptabel te houden

Question 20

noem twee methodes om te corrigeren voor multiple testing

Answer 20

• Bonferroni methode
• False Detection Rate control

Question 21

wat is een foutenmarge? en wat is het belang van een foutenmarge voor onderzoekers?

Answer 21

• foutenmarge = de helft van het betrouwbaarheidsinterval, dat is de afstand van de puntschatting tot de rand van het interval
• belang = onderzoekers willen een betrouwbaarheidsinterval met een gegeven maximale breedte verkrijgen rondom hun schatting van een correlatie

=> nadeel van brede intervallen is dat de populatiecorrelatie dan zowel een zwak verband, als een sterk verband zou kunnen zijn -> dus conclusies te trekken

Question 22

wat is de proportie verklaarde variantie?

Answer 22

de proportie verklaarde variantie = het kwadraat van de correlatiecoëfficiënt

Question 23

geef de 8 stappen weer die nodig zijn bij de analyse van een verband tussen variabelen

Answer 23

1. teken het conceptuele of structurele model
2. formuleer de onderzoeksvraag of hypothese
3. bepaal de meetniveaus van de variabelen voor het verband
4. voer univariate analyses uit voor elk van de twee variabelen
   -> bestudeer de histogrammen of staafdiagrammen
   -> bestudeer de beschrijvingsmaten en/of de frequentietabellen
   5. visualeer het verband met een plot
   6. bereken de puntschatting en het BI voor de effectmaat die dat verband representeert (bv Pearson’s r)
   7. bereken de** p-waarde**
   8. bepaal wat gezegd kan worden over dat verband op basis van de uitkomsten