Thema 7 - Variantieanalyse ANOVA

Question 1

Wat is een one-way ANOVA? Waarvoor gebruik je die methode?

Answer 1

• One-way ANOVA is een logische uitbreiding op de onafhankelijke t-toets, die de nulhypothese toetst dat twee groepsgemiddelden gelijk zijn.
• One-way ANOVA gebruik je om meer dan twee groepsgemiddelden met elkaar te vergelijken.
• De t-toets kun je dus zien als een speciaal geval van one-way ANOVA, namelijk wanneer er slechts twee groepen vergeleken worden.

De naam variantieanalyse is mogelijk verwarrend omdat het gaat om de analyse van de verschillen tussen gemiddelden.

Question 2

wat betekent de term one-way?

Answer 2

• De term one-way betekent dat er in deze analyse alleen een enkele predictorvariabele en een enkele afhankelijke variabele worden betrokken.
• De afhankelijke variabele is altijd een numerieke (kwantitatieve) variabele en de (categorische) predictorvariabele geeft een groepsindeling aan.

Question 3

wat doet de F-toets (of ook genoemd de exacte F-toets) die hoort bij de Anova?

Answer 3

• De F-toets die hoort bij ANOVA, soms een exacte F-test genoemd, toetst of de gemiddelden van een kwantitatieve variabele van meerdere groepen van elkaar verschillen.

Question 4

Tegen welke hypothese wordt de F-toets getoetst?
wat betekent dan een significante F-toets?

Answer 4

• de F-toets wordt tegen de nulhypothese getoetst , namelijk dat alle gemiddelden gelijk zijn.
• Een significante F-toets geeft aan dat niet alle gemiddelden aan elkaar gelijk zijn, *maar specificeert niet welke gemiddelden precies van elkaar verschillen. * => daarom ook vaak omnibus toets genoemd.
• welke groepen van elkaar verschillen, kunnen we met aanvullende analyse doen met de zogenaamde post-hoc-testen

Question 5

wat is een effectmaat bij Anova?

Answer 5

=> Een effectmaat bij ANOVA is een* gestandaardiseerde maat* om het verschil in groepsgemiddelden aan te geven, rekening houdend met de varianties binnen de groepen.

Question 5

waarin zit het verschil tussen een t-toets en een z-toets?

Answer 5

• de formule van de t-toets is nagenoeg identiek aan die van de z-toets
• het verschil zit erin dat niet tegen de populatieparameters getoetst wordt, maar dat er twee steekproefgemiddelden vergeleken worden
• anders dan bij de z-waarde, staat bij de t-toets onder de deelstreep van de formule in plaats van de populatievariantie (z-toets) een maat voor de variantie in beide groepen
  => bij Anova worden de groepsgemiddelden als varianties behandeld en niet van elkaar afgetrokken
• bij de t-toets wordt de populatievariantie alsnog als niet bekend verondersteld, maar de populatiegemiddelden wel => de t-toets toetst dus alleen nog of de twee steekproeven dezelfde populaties uitdrukken (of in ieder geval de gemiddelden ervan)

Question 5

wat is het verschil tussen een t-toets en Anova?

Answer 5

• het verschil zit niet zozeer in het verschil in formules, maar in wat de groepsgemiddelden voorstellen
• t-toets is de t-toets voor onafhankelijke steekproeven
• de one-way Anova kan gezien worden als een toets van de homogeniteit van gemiddelden –> bij Anova worden geen verschillende populaties vergeleken, maar dat iedere groep eigenlijk een subgroep is van een hogere-orde-factor
• ==> bij Anova worden subgroepgemiddelden uit een populatie vergeleken met het globale populatiegemiddelde

Question 5

wat betekent dat Anova de homogeniteit van gemiddelden toetst?

Answer 5

• dat betekent m.a.w. of het mogelijk is om de subgroepgemiddelden van een populatie simpelweg met één populatiegemiddelde uit te drukken, of dat dit een te eenvoudig model is en dat een model waarin subgroepen verschillende gemiddelden hebben beter is

Question 6

hoe drukt Anova het verschil tussen subgroepen uit?

Answer 6

• bij Anova wordt het verschil tussen subgroepen uitgedrukt als een optelling van gekwadrateerde groepsafwijkingen van het algemeen groepsgemiddelde
  => daarom wordt de variabiliteit in Anova ook de kwadratensom genoemd

Question 7

wat is het nadeel van de variantiebenadering?

Answer 7

• een nadeel is dat alle groepsgemiddelden als facetten van een hogere-orde-facet wordt beschouwd, waardoor alle gemiddelden of dat er nu 2 of twintig zijn, als één set wordt geëvalueerd
  => verfijnde verschillen tussen meer dan twee groepen onderling is niet mogelijk met deze benadering (Anova)
• Anova doet alleen een uitspraak over de set als geheel
  => daarom wordt Anova ook de omnibustoets genoemd

!! als we de specifieke groepsverschillen willen toetsen, dan komen we terug bij het paradigma van de t-toetsen, namelijk dat iedere groep een eigen populatie is !!

Question 8

wat is de formule in woorden voor de berekening van de F-waarde van Anova

Answer 8

• F-waarde is gebaseerd op de verhouding van varianties!
• F-waarde = de variantie van de groepsgemiddelden gedeeld door het gemiddelde van de varianties binnen groepen
• F-waarde is gebaseerd op de verhouding van varianties -> en varianties worden berekend op basis van het optellen van de gekwadrateerde afwijkingen van gemiddelden (sum of squares) -> de SS wordt dan gedeeld door het aantal vrijheidsgraden en dan krijg je de mean of squares (variantie)
• MSb =de variantie van de groepsgemiddelden = de variantie tussen groepen (b staat voor between)
• MSw =de variantie binnen de groepen (w staat voor within)
• vrijheidsgraden van de MSb is het aantal groepen (k) - 1
• vrijheidsgranden van de MSw is de steekproefgrootte N - k (aantal groepen)

Question 9

hoe toetst Anova welke verschillen ?

Answer 9

• Anova toetst verschillen tussen groepsgemiddelden door twee soorten varianties tegen elkaar uit te zetten
• ==> aan de ene kant wordt vastgesteld hoeveel groepsgemiddelden (bij elkaar opgeteld en gekwadrateerd) afwijken van het algemene populatiegemiddelde (de omvang van dat totale verschil is de tussengroepvariantie)
• ==> aan de andere kant analyseert Anova de verschillen binnen iedere groep -> in iedere subgroep wordt niet door iedereen precies het gemiddelde gescoord, maar is er individuele variatie (de omvang van de binnengroepvariantie kan dus als ruis gezien worden)

Question 9

wat is de F-waarde uitgedrukt in signaal en ruis?

Answer 9

• F-waarde is dus de tussengroepvariantie (signaal) gedeeld door de binnengroepvariantie (ruis)
• verhouding is groter dan 1 als er meer signaal dan ruis is
• verhouding is kleiner dan 1 als er meer ruis is dan signaal

Question 10

hoe groot moet de F-waarde zijn om als ‘groot’ bestempeld te worden?

Answer 10

• hoe meer signaal dan ruis nodig is, hangt af van het aantal groepen dat vergeleken wordt en van het aantal observaties in totaal
• F-waarde is dus een verhouding tussen modelvariantie (signaal) en residuele variantie (ruis) die uitdrukt hoeveel meer modelvariantie dan residuele variantie er is.
• getal groter dan 1 dan is er meer modelvariantie -> hoe groter de F-waarde des te duidelijker is er een signaal waarneembaar

Question 11

welke zijn de aannamen bij Anova?

Answer 11

1. de residuen zijn normaal verdeeld (binnengroepvariantie)
2. er is homogeniteit van de varianties (varianties in verschillende groepen ongeveer gelijk zijn) –> !! indien niet dan is het voor de NHST en voor de Bi belangrijk dat er een aangepaste toets wordt gebruikt (Welch’s F)
3. de scores van de afhankelijke variabele zijn onafhankelijk van elkaar
4. er zijn geen verstorende uitbijters in de data

Question 12

wat zijn effectmaten bij variantieanalyse? en wat is het idee daarachter?

Answer 12

• voor variantieanalyse bestaan verschillende effectmaten die de effectgrootte aangeven -> het gaat hierbij om de grootte van het effect van een experimentele manipulatie
• het achterliggende idee is dat de interpretatie van de effectmaat onafhankelijk is van het soort data of experiment dat is uitgevoerd

Question 13

wat is R-kwadraat en hoe wordt dat bij Anova genoemd?

Answer 13

• R-kwadraat geeft de verhouding aan tussen de kwadratensom tussen groepn en de totale kwadratensom
• R-kwadraat wordt bij Anova meestal als eta-kwadraat aangeduid

=> ! eta-kwadraat is gebaseerd op de steekproef en is daarom onzuiver en daarom wordt een aangepaste effectmaat gebruikt => OMEGA-KWADRAAT = dat is de zuivere schatting van het effect in de populatie

Question 14

welke waarden worden er zoal voor omega-kwadraat (effectgrootte bij Anova) gebruikt?

Answer 14

• 0.01 -> zwak effect
• 0.06 -> middelmatig effect
• 0.14 -> sterk effect

! effectgrootte moet altijd geïnterpreteerd worden inde context van het desbetreffende vakgebied !

Question 15

wat betekent een significante F-waarde?

Answer 15

• F-waarde is een omnibustoets -> doet alleen uitspraak over een factor in totaliteit
• een significante F-waarde betekent daarom nooit meer dan dat minstens één groep van minstens één andere groep afwijkt
• een significante F-waarde geeft aan dat een model waarin alle groepsgemiddelden gelijk zijn, of specifieker waarin alle groepsgemiddelden gelijk zijn aan het algemeen gemiddelde, een model is wat verworpen mag worden

Question 16

wat is een volgende stap als het resultaat van een F-waarde significant is?

Answer 16

• F-waarde is een omnibustoets -> doet alleen uitspraak over een factor in totaliteit => een significante F-waarde betekent daarom nooit meer dan dat minstens één groep van minstens één andere groep afwijkt
• de volgende vraag is dan -> welke groepen verschillen van elkaar -> gebruik maken van het t-toets raamwerk (om specifieke groepsvgl te toetsen moeten t-toetsen worden gedaan)
  => maar bij iedere extra hypothesetoets verhoogt de kans op een type 1-fout
  => dus modellen gebruiken die het minste aantal toetsen gebruiken (of de post-hoc-testen)

Question 17

waarom wordt een post-hoc-procedure gekozen?

Answer 17

• om de type 1-foutinflatie tegen te gaan

-> kan door correcties te laten uitvoeren op de p-waarde via analyseprogramma’s (vroeger correctie op de alfa)
-> post-hoc-analyse van p-waarden = 1 kan en is geen fout maar een gevolg van de post-hoc-correctie (=bovengrens)

Question 18

welke zijn de verschillende post-hoc-procedures

Answer 18

1. Least squared difference LSD = manier om statistische software te vragen alle t-toetsen, ongecorrigeerd, uit te voeren op alle mogelijke paarsgewijze vgl -> NOOIT GEBRUIKEN
2. Bonferonni-correctie = de strengste correctiefactor -> delen van de gewenste alfo door het aantal paarsgewijze vgl. (vb 0.05/3 ) - ! assumptie is dat het aantal observaties per groep gelijk is en dat de variantie tss de groepen gelijk is
3. Tukey-Kramer = veel gebruikte post-hoc-test wanneer het aantal observaties per groep ONGELIJK is, maar de varianties tussen de groepen wel gelijk zijn -> toets waarbij de type 1-foutinflatie gecorrigeerd wordt => ook genoemd de studentized p-waarde
4. Dunnett’s t-test = kort door de bocht een contrasttoets => is bedoeld om een set van experimentele condities te toetsen tegen een controleconditie - ! assumptie dat varianties tussen de vergeleken groepen aan elkaar gelijk zijn
5. Games-Howell-test = een post-hoc-test waarin ongelijke groepsgroottes en ongelijke varianties tussen groepen verondersteld worden. Gebruik ook een studentized t-verdeling

Question 19

wat is kanskapitalisatie?

Answer 19

• zodra er twee of meer gropen vergeleken worden om een hypothese te toetsen, dan neemt het aantal te toetsen paren snel toe (3 groepen -> 3 t-toetsen / 4 groepen -> 6 t-toetsen…)
• bij iedere toets loopt de onderzoeker het risico van 5% op een type 1-fout ==> hiermee neemt ook de kans toe om op minstens één toets onterecht de nulhypothese te verwerpen bij iedere extra toets = kanskapitalisatie
• de hiermee gepaard gaande afname van betrouwbaarheid is exponentieel => de nieuwe betrouwbaarheid is gelijk aan de initiële betrouwbaarheid tot de macht van het aantal toetsen

Question 20

hoe kan de onderzoeker de toename van type 1-fouten (bij kanskapitalisatie) oplossen?

Answer 20

1. de alfa aanscherpen door te kiezen voor een post-hoc-correctiefactor (vb Bonferonni -> de alfa wordt dan gedeeld door het aantal getoetste vergelijkingen)
2. de uit te voeren toetsen verminderen door
   • contrasten op te stellen (door a-prioiri te bedenken welke vgl van belang zijn
   • omnibustoetsen toe te passen (kies een toets die eerst een algemeen effect toetst, en toets specifieke vgl pas als de omnibustoets aangeeft dat er ergens een verschil is) bv one-way Anova of factoriële Anova