Experimenteel week 4 Flashcards
HC 1 + 2 - Morling SR + H10 + H11 + H13 - Bayes Tutorial
Wat is de volgorde van de empirische cirkel? (HC)
1: Idee/theorie
2: Onderzoeksvragen
3: Onderzoeksontwerp
4: Hypothesen & Preregistratie
5: Data verzameling
6: Data analyse
7: Rapportage & Replicatie
Definitie Cohen’s d (HC)
Aantal standaard deviaties dat de twee gemiddelden van elkaar verschillen. Mniet - Mwel / pooled - sd
Vul aan (HC). De replicatie crisis leidt tot de vraag…
hoe het mogelijk is dat de resultaten van wetenschappelijk onderzoek vaak niet repliceerbaar zijn.
Wat zijn twee mogelijke oorzaken van het niet kunnen repliceren van onderzoek? (HC)
1: Sloppy science
2: Publication bias
Definitie Sloppy science (HC)
Slordig of zelfs gefraudeerd onderzoek als basis voor tal van publicaties.
Definitie Publication bias (HC)
Publiceren van onderzoek gebaseerd op Type I fouten. Deze fouten kunnen zowel het gevolg zijn van toeval als van sloppy science.
Definitie Type I en Type II fouten (HC)
Type I is het onterecht verwerpen van H0. Je gaat uit van je Ha, terwijl dit niet had gemoeten.
Type II is het onterecht behouden van H0. Je gaat uit van je H0, terwijl het je Ha had moeten zijn.
Als BF0a 5 is, dan betekent dit dat …
de steun in de data 5x groter is voor H0 dan voor Ha.
Onder de 1 is het moeilijk om de Bayes factor te interpreteren. Wat doe je dan? (HC)
Je kunt de hypothese omdraaien. Als BF0a = .64, dan doe je 1 / .64 = 1.50. Er is dan 1.50x meer steun voor Ha dan voor H0.
Vul aan (HC). Als BF0a gelijk is aan 1, dan is de steun in de data voor H0 en Ha …
even groot
Vul in (HC). Als BF0a groter is dan 1, dan is de steun in de data voor…(1) groter dan voor …(2)
1: H0
2: Ha
Vul in (HC). Als BF0a kleiner is dan 1, dan is de steun in de data voor …(1) kleiner dan voor …(2)
1: H0
2: Ha
Vul in (HC). De fit wordt letterlijk en figuurlijk …(1) als de afstand tussen de gemiddelden toeneemt. Hoe …(2) het getal voor de fit, hoe …(3) de data bij H0 past.
1: kleiner
2: hoger
3: beter
De Bayes factor wordt niet vergeleken met een grenswaarde (zoals .05 alpha) om tot een beslissing mbt H0 of Ha te komen. Dit is een remedie tegen:
- Questionable Research Practices - geen drijfveer om analyses te manipuleren dat er een BF groter dan een bepaalde grenswaarde uit komt
2: Publication bias - omdat tijdschriften niet langer een grenswaarde tot hun beschikking hebben die ze kunnen gebruiken om artikelen mee te beoordelen
Wanneer een BF groot genoeg is om voor H0 of Ha te kiezen, is geen eenduidig antwoord voor. Maar je kunt ongeveer zeggen dat (vul in voor):
BF0a = 100 ; BF0a = 25 ; BF0a = 5 ; BF0a = 1.5
BF0a = 100 - weinig twijfel dat H0 meer gesteund wordt dan Ha BF0a = 25 - nog steeds substantieel meer steun voor H0 dan voor Ha BF0a = 5 - dan is er meer steun voor H0, maar niet zoveel meer dat Ha kan worden gediskwalificeerd BF0a = 1.5 - geen voorkeur voor H0 of Ha
Vul in/aan (HC). De kans op een Type I fout staat gebruikelijk op …(1), dat wil zeggen …
1: .05
we accepteren een kans van .05 dat we H0 ten onrechte verwerpen.
Vul in/aan (HC). De Power (kans op een Type II fout) staat gebruikelijk op …(1). dat wil zeggen …
1: .80
we willen een kans van .80 dat we H0 terecht verwerpen.
Vul in (HC). De kans dat H0 waar is gegeven de info in de data noemen we ..(1). De kans dat Ha waar is gegeven de info in data noemen we …(2). Beide kansen tellen op tot …(3)
1: PMK0
2: PMKa
3: 1.0
Vul aan (HC). Bij Bayesiaanse Evaluatieworden de Type I (onterecht kiezen voor Ha) en Type II (onterecht kiezen voor H0) fouten vervangen door zogenaamde …
conditionele Type I en II fouten.
Wat is het gevolg van een kleinere steekproef grootte op Type II fout? (HC)
De Type II kans wordt groter.
Vul aan. PMK0 is de …
PMKa is de …
PMK0 is de conditionele Type I fout, want als we voor Ha kiezen is de kans dat we dat ten onrechte doen gelijk aan X (het getal wat daar staat).
PMKa is de conditionele Type II fout, want als we voor H0 kiezen is de kans dat we dat ten onrechte doen gelijk aan X (het getal wat daar staat)
Bij Bayesiaanse hypothese evaluatie kunnen conditionele Type I en II fouten niet van tevoren worden bepaald. Ze worden uit de data gehaald, welke dus eerst verzameld moet worden. Dit kan betekenen dat na uitvoering van een onderzoek de conditionele Type I en II fouten te groot zijn, dit kan verholpen worden door middel van …
Bayesian Updating.
Definitie Gepaarde t-test (HC)
Elke persoon wordt twee keer gemeten en beide metingen worden met elkaar vergeleken.
Wat zijn 6 mogelijke gevaren bij experimentele designs (zoals paired t-test)? (HC)
1: Maturation threat
2: History threat
3: Regression to the mean
4: Observer bias
5: Demand characteristics
6: Placebo effect
Definitie Maturation threat en hoe voorkom je dit (HC)
Als er een natuurlijke ontwikkeling plaatsvindt. Verandering in gedrag dat spontaan met de tijd tot stand is gekomen. Voorkomen door: controlegroep toevoegen.
Definitie History threat en hoe voorkom je dit (HC)
Een externe gebeurtenis beïnvloed ALLE deelnemers. Voorkomen dmv controlegroep.
Definitie Regression to the mean en hoe voorkom je dit (HC)
Extremiteit door gunstige/ongunstige random gebeurtenissen. Vindt alleen plaats in pretest/posttest design en alleen als er extreem gescoord wordt. Bv alle patiënten waren behoorlijk ziek, ze konden niet verslechteren maar wel verbeteren. Voorkomen door controlegroep
Definitie Observer bias en hoe te voorkomen (HC)
Therapeuten vinden patiënten aan het begin van de behandeling erg ziek maar na hun eigen behandeling natuurlijk veel beter. Bedreiging voor interne validiteit + construct validiteit. Voorkomen door dubbelblind onderzoek uit te voeren.
Definitie Demand characteristics en wat kan je doen om dit te voorkomen (HC)
Patiënten WILLEN dat de behandeling effectief is en voelen zich dus beter na de behandeling. Voorkomen door dubbelblind onderzoek uit te voeren.
Definitie Placebo effect (HC)
Het is niet de behandeling die effect heeft maar puur dat er een therapeut is die warme aandacht voor de patiënt heeft.
Het kan ook altijd zijn dat er geen behandeleffect wordt gevonden in experimentele designs. Wat kunnen verklaringen zijn hiervoor? (HC)
1: Weak manipulations - therapie wordt bv slecht uitgevoerd
2: Power problem - er is een effect gevonden, maar er zijn te weinig patiënten in de controle en experimentele groep om effect statistisch significant te krijgen of om een Bayes factor te krijgen die het effect steunt
3: Er is geen effect.
Vul in (HC). Een …(1) gebruik je bij 2 groepen. Bij 3 of meer groepen gebruik je …(2)
1: t-test
2: ANOVA
Definitie Verklaarde variatie (HC)
Het verschil in gemiddelden van de groep
Wat houdt N^2 in? (HC)
Het percentage van de totale variantie (de som van verklaarde en onverklaarde variantie) dat verklaard wordt door de groep.
Vul in (HC). Hoe groter N^2, hoe …(1) de verschillen tussen de groepen mbt de afhankelijke variabele.
1: groter