Thema 4. Correlatie

Question 1

Alpha:

Answer 1

in de nulhypothese-significantietoetsing is alpha, oftewel het significantieniveau, de kritieke p-waarde. Dit betekent dat als de kans op een gegeven uitkomst onder de aanname van de nulhypothese (dat is, de p-waarde) lager is dan deze alpha, de nulhypothese wordt verworpen. De conventie is om een alpha van .05 (oftewel 5%) te hanteren, maar onderzoekers kiezen deze zelf voordat ze de studie uitvoeren en zijn vrij om een andere waarde te kiezen als ze dit kunnen onderbouwen.

Question 2

Correlatieanalyse

Answer 2

: de analysetechniek waarmee de correlatiecoëfficiënt wordt berekend.

Question 3

Correlatie, correlaties, correlatiecoëfficiënt:

Answer 3

een maat voor samenhang tussen twee continue variabelen. Als over correlatie in het algemeen wordt gesproken, wordt meestal Pearson’s correlatie bedoeld, gesymboliseerd door r, en berekend door de covariantie van twee variabelen te delen door het product van hun standaarddeviaties. Omdat de standaarddeviaties afhankelijk zijn van de schaal waarop een variabele is gemeten, wordt de covariantie hierdoor gecorrigeerd voor de schaal waarop beide variabelen zijn gemeten. De correlatie loopt daarom altijd van -1 (een volledig negatief verband) via 0 (volledige onafhankelijkheid) naar 1 (een volledig positief verband). Het kwadraat van de correlatie geeft weer hoeveel procent van elkaars variantie de twee variabelen delen. Een correlatie van .40 correspondeert dus met een middelsterk effect, waarbij de variabelen 16% van elkaars variantie verklaren (.402=.16). De variantie van elke variabele is dan ongeveer zes keer zo groot als de covariantie (de gedeelde variantie). De correlatie is ook een effectmaat met de volgende tentatieve kwalitatieve labels:

triviaal: tussen −.10 en .10
klein / zwak: tussen −.10 en −.30 of tussen .10 en .30
middelgroot / middelsterk: tussen −.30 en −.50 of tussen .30 en .50
groot / sterk: tussen −.50 en −.70 of tussen .50 en .70
zeer groot / zeer sterk: kleiner dan −.70 of groter dan .70

Question 4

Correlatiematrix:

Answer 4

Een tabel met in de rijen en kolommen variabelen en in de cellen de correlatie tussen die twee variabelen. Correlatiematrices zijn vaak symmetrisch, met dezelfde variabelen in de rijen en de kolommen.

Question 5

Covariantie:

Answer 5

covariantie is dat deel van de variantie dat een variabele deelt met een andere variabele. De covariantie kan gestandaardiseerd worden door deze te delen door het product van de standaarddeviaties van beide variabelen. Hiermee wordt gecorrigeerd voor de meetschalen van beide variabelen, waardoor de resulterende gestandaardiseerde covariantie te vergelijken is tussen studies. Dit heet de correlatie.

Question 6

Curvilineair:

Answer 6

als twee variabelen een curvilineair verband vertonen, is de toe- of afname in de ene variabele wel systematisch, maar niet evenredig afhankelijk van de toe- of afname in de andere variabele. Als twee variabelen wel samenhangen, maar geen lineair verband vertonen, is er vaak sprake van een curvilineair verband. Exponentiële verbanden zijn bijvoorbeeld curvilineair.

Question 7

Effect:

Answer 7

een effect is een verband tussen variabelen. Afhankelijk van de context kan de implicatie zijn dat dat verband causaal is of niet. In de context van statistische analyses is een effect van x op y simpelweg het verband tussen x en y waarbij impliciet is dat x de onafhankelijke variabele is en y de afhankelijke variabele. Hierbij wordt dus niet geïmpliceerd dat een eventueel verband (effect) causaal is. Buiten de statistische context wordt met de term ‘effect’ wel vaak een causaal verband bedoeld. Als dan gesteld wordt dat x een effect heeft op y, dan wordt gesteld dat als x verandert, daardoor y ook verandert.

Question 8

Effectmaat

Answer 8

: een maat die de sterkte van het verband tussen twee variabelen, oftewel de effectgrootte, uitdrukt. In deze cursus worden de effectmaten Pearson’s r, Cohen’s d en ω2 (omega2) besproken. Bovendien wordt η2 (eta2) besproken en afgeraden.

Question 9

Lineair:

Answer 9

als twee variabelen lineair samenhangen, is toe- of afname in de ene variabele evenredig aan toe- of afname in de andere variabele. Als twee variabelen wel samenhangen, maar geen lineair verband vertonen, is er vaak sprake van een curvilineair verband. Exponentiële verbanden zijn bijvoorbeeld curvilineair.

Question 10

Multiple testing:

Answer 10

als er meer dan één verband wordt geschat, neemt de kans op type 1-fouten toe. Binnen de nulhypothese-significantietoetsing (NHST) worden p-waarden berekend en wordt besloten of variabelen samenhangen op basis van die p-waarden. De kans op minimaal één type 1-fout kan berekend worden met de volgende formule:
Pminimaal 1 type 1-fout=1−(1−α)k

waarbij α staat voor het significantieniveau en k voor het aantal p-waarden dat wordt berekend. Als er dus bijvoorbeeld in een onderzoek 28 p-waarden worden berekend en er wordt het standaard significantieniveau van .05 gehanteerd, dan is de kans op minimaal één type 1-fout gelijk aan 1−(1−.05)²⁸, oftewel 76%. Dit is praktisch een garantie dat er minimaal één fout wordt gemaakt. Om die reden moet in de poweranalyses rekening gehouden worden met het aantal verbanden dat berekend gaat worden om deze negatieve gevolgen van multiple testing tegen te gaan.

Question 11

Nulhypothese:

Answer 11

de hypothese, ook wel H0, die in NHST wordt getoetst. Deze betreft bijna altijd de hypothese dat er geen verband is, oftewel dat de effectgrootte gelijk is aan 0. Bijvoorbeeld: de correlatie in de populatie is 0; het verschil tussen twee gemiddelden is 0 in de populatie; de varianties van de drie groepen zijn in de populatie aan elkaar gelijk.

Question 12

Nulhypothese-significantietoetsing:

Answer 12

vroeger werden in de psychologie en onderwijswetenschappen onderzoeksvragen en hypothesen enkel beantwoord door middel van nulhypothese-significantietoetsing, waarbij dichotome beslissingen worden genomen op basis van p-waarden. Tegenwoordig is bekend dat er meerdere problemen zijn met deze aanpak, waardoor de nadruk is verschoven naar de schatting van effectgroottes

Question 13

Stappen voor procedure van NHST

Answer 13

1. stel Alpha vast (bijvoorbeeld 0,05)
2. Neem een steekproef van een gegeven omvang (n), meet de betreffende variabelen en bereken de correlatie.
3. Construeer op basis van de nulhypothese (r=0) en de steekproefomvang (n) de steekproevenverdeling van Pearson’s R volgens de nulhypothese.
4. Bereken de p-waarde, oftewel: de proportie van de steekproevenverdeling die correlaties betreft die even extreem of extremer zijn dan de correlatie die in de steekproef in stap 1 is gevonden.
5. Vergelijk deze p-waarde met de gekozen waarde van de alpha. Als de gevonden p-waarde lager is dan alpha, verwerp dan de nulhypothese. Dit betekent dat er wordt geconcludeerd dat de twee variabelen samenhangen.
   Als de gevonden p-waarde hoger is dan alpha, behoud dan de nulhypothese. Dit betekent dat er wordt geconcludeerd dat de twee variabelen niet samenhangen.

Question 14

p-waarde:

Answer 14

de p-waarde is de kans dat een verband wordt gevonden dat minstens zo sterk is als het verband dat in een gegeven steekproef is gevonden, uitgaande van de aanname dat er in de populatie geen verband bestaat – dus onder aanname van de nulhypothese).

Question 15

Pearson’s r:

Answer 15

deze lineaire correlatiecoëfficiënt, vaak gewoon ‘correlatie’ genoemd, is een effectmaat die het verband tussen twee continue variabelen weergeeft. Een correlatie kan een waarde tussen de −1 en de 1 hebben, waarbij een correlatie van 0 staat voor volledige onafhankelijkheid, en −1 en 1 voor volledige negatieve, respectievelijk positieve, afhankelijkheid/samenhang. De volgende tentatieve kwalitatieve labels worden gebruikt om de correlatie te duiden:

triviaal: tussen −.10 en .10
klein / zwak: tussen −.10 en −.30 of tussen .10 en .30
middelgroot / middelsterk: tussen −.30 en −.50 of tussen .30 en .50
groot / sterk: tussen −.50 en −.70 of tussen .50 en .70
zeer groot / zeer sterk: kleiner dan −.70 of groter dan .70

Question 16

Power:

Answer 16

de kans om een verband van een gegeven sterkte te detecteren, aangenomen dat dit verband bestaat in de populatie, bij een gegeven onderzoeksdesign, met een gegeven steekproefomvang. Een power van 90% staat gelijk aan een kans van 90% om het gegeven verband te detecteren, aangenomen dat het verband in de populatie bestaat. Om 90% power te bereiken voor een middelsterke Pearson’s r (r =.30) zijn 112 deelnemers nodig. Om 90% power te bereiken voor een middelsterke Cohen’s d (d =.50) zijn 170 deelnemers nodig (twee keer 85). Om 90% power te bereiken voor een middelsterke ω2 zijn 207 deelnemers nodig (drie keer 69). De power is dus afhankelijk van het specifieke design van de studie. Daarnaast geldt dat meer deelnemers nodig zijn om kleine verbanden aan te tonen dan om grotere verbanden aan te tonen.

Question 17

Poweranalyses:

Answer 17

dit zijn analyses waarmee kan worden uitgerekend hoeveel deelnemers in een studie nodig zijn om een gegeven kans te hebben een verband aan te tonen (dat is, de power). Deze kunnen uitgevoerd worden in R met het package pwr, of met het software programma GPower. Als richtlijn staan hieronder de effectgroottes* en benodigde steekproefomvangen voor kleine en middelsterke effecten en een power van 80% of 90%. Grote of sterke effecten zijn in psychologisch en onderwijswetenschappelijk onderzoek niet realistisch. Als een studie wel dermate sterke effecten vindt, is dat meestal omdat de studie zelf underpowered is (een te kleine steekproef heeft) en betreft het gevonden verband een type 1-fout.

Question 18

r-verdeling:

Answer 18

de verdeling van r, de Pearson correlatiecoëfficiënt. De correlatie (r) die wordt berekend in een steekproef is per definitie afkomstig uit deze verdeling. Deze steekproevenverdeling kan gebruikt worden om de kans op een gegeven r te berekenen onder aanname van de nulhypothese (dat is, de p-waarde).

Question 19

Scatterplot, scatterplots

Answer 19

: een scatterplot is een grafiek waarbij het verband tussen twee variabelen wordt verbeeld. De ene variabele, meestal de gehypothetiseerde onafhankelijke variabele, staat op de x-as, en de andere variabele, meestal de gehypothetiseerde afhankelijke variabele, staat op de y-as. Elke onderzoekseenheid (meestal deelnemer) wordt gerepresenteerd door een punt die geplaatst wordt afhankelijk van de waarden van de datapunten van die onderzoekseenheid op de beide variabelen. Als de meeste deelnemers in een studie hoog scoren op beide variabelen, dan liggen de meeste stipjes rechtsboven in de grafiek. Een scatterplot beeldt het verband uit dat wordt uitgedrukt door een correlatie.

Question 20

Schatter, schatters:

Answer 20

een schatter is een getal dat indicatief is voor een bepaalde waarde in een populatie, maar deels op basis van toeval tot stand komt. Alles dat wordt berekend op basis van een steekproef is dus een schatter. Omdat in de wetenschap nooit volledige populaties gemeten kunnen worden, zijn alle waardes die over een dataset berekend kunnen worden dus schatters, zoals gemiddelden, standaarddeviaties, effectgroottes en p-waarden. Elke schatter neemt in elke steekproef willekeurig één waarde aan uit de bijbehorende steekproevenverdeling.

Question 21

Schatting:

Answer 21

een schatting is een voorspelling voor de waarde van een gegeven variabele. Een schatter is een waarde die uit de steekproef berekend kan worden en een schatting geeft van de corresponderende populatiewaarde. Omdat in de wetenschap, en dus in de psychologie en onderwijswetenschappen, de realiteit nooit rechtstreeks geobserveerd kan worden, kunnen alleen uitspraken gedaan worden op basis van steekproeven en dus door middel van schattingen.

Question 22

Significant, significante:

Answer 22

een effectgrootte (de kwantificatie van een verband) wordt binnen de nulhypothese-significantietoetsing ‘significant’ genoemd als de kans op zo’n extreme effectgrootte, aangenomen dat de nulhypothese waar is, kleiner is dan de gespecificeerde alpha (meestal .05, oftewel 5%). Als een verband ‘significant’ is, wordt gesteld dat er reden is om aan te nemen dat er niet alleen in de steekproef een verband bestaat, maar ook in de populatie. Hoe sterk dat verband vervolgens is, moet nog vastgesteld worden met een betrouwbaarheidsinterval. Er is veel kritiek gekomen op deze manier van redeneren (nulhypothese-significantietoetsing) en daarom is het beter om ook naar betrouwbaarheidsintervallen te kijken.

Question 23

Steekproefwaarde:

Answer 23

de waarde die een schatter aanneemt in een gegeven steekproef. Elke steekproefwaarde is per definitie afkomstig uit de corresponderende steekproevenverdeling

Question 24

Type 1-fout:

Answer 24

de type 1-fout is een concept uit de nulhypothese-significantietoetsing (NHST). De type 1-fout is de kans dat bij toepassing van de NHST-procedure de nulhypothese ten onrechte wordt verworpen. De kans op een type 1-fout bepalen de onderzoekers zelf en is gelijk aan de gehanteerde alpha.

Question 25

Type 2-fout:

Answer 25

de type 2-fout is een concept uit de nulhypothese-significantietoetsing (NHST). De type 2-fout is de kans dat bij toepassing van de NHST-procedure de nulhypothese ten onrechte niet wordt verworpen, oftewel, dat een studie er niet in slaagt een verband aan te tonen als dat verband in werkelijkheid wel bestaat in de populatie. De kans op een type 2-fout is het complement van de power: samen zijn ze precies 1. De kans op een type 2-fout, en dus de power van een studie, bepalen de onderzoekers zelf door een steekproefomvang te kiezen. Hoe groter de steekproefomvang, hoe groter de power en hoe kleiner de kans op een type 2-fout. Een andere methode om de kans op een type 2-fout te verlagen is zo accuraat mogelijk meten. Net als verhoging van de steekproefomvang resulteert accurate meting in een smallere steekproevenverdeling omdat er minder meetfout is en dus een kleinere standaardfout.

Question 26

Underpowered:

Answer 26

een studie die underpowered is, heeft een te kleine steekproefomvang, dat wil meestal zeggen te weinig deelnemers, om een verband te kunnen detecteren, aangenomen dat er een verband bestaat in de populatie. Omdat de standaarddeviatie van de steekproevenverdeling (dat is, de standaardfout) afneemt naarmate een steekproef groter is, is de steekproevenverdeling van een underpowered studie zo breed dat betrouwbaarheidsintervallen die berekend worden erg breed zijn. Hierdoor kan op basis van de steekproef bijna niets gezegd worden over mogelijke populatiewaarden – deze zouden van alles kunnen zijn. Hoewel het tegenintuïtief is, is het zo dat de kans om grote effecten te vinden juist relatief groot in een underpowered studie. Dit komt namelijk door die brede steekproevenverdeling: de kans op een effectgrootte die extreem afwijkt van de effectgrootte in de populatie is relatief groot. Vaak stellen onderzoekers dat als ze in een steekproef een groot effect hebben gevonden, ze dus niet underpowered zijn. De redenering is dat als ze voor de dataverzameling poweranalyses uitgevoerd zouden hebben met die grote effectgrootte, er een lage benodigde steekproefomvang uitgekomen zou zijn. Als een effect in de populatie groot is, zijn er namelijk maar weinig datapunten (deelnemers) nodig om die effectgrootte te detecteren. Omdat de kans op extreme waarden voor een effectgrootte juist in underpowered studies groot is, zelfs als de effectgrootte in de populatie 0 is, is deze redenering fout. Het is onmogelijk om conclusies te trekken op basis van een underpowered studie. De uitkomsten zullen van steekproef tot steekproef fors verschillen vanwege die brede steekproevenverdeling en de uitkomsten in een gegeven steekproef zijn dus niet interessant.