hoorcollege 3&4 experimenteel Flashcards
3 soorten replicatieonderzoek
Directe replicatie: onderzoeksprotocol
Conceptuele replicatie: a
Replicatie + uitbreiding
Directe replicatie:
onderzoeksprotocol moet exact herhaald worden
o Voordeel: zeer goed vergelijkbaar
o Nadeel: problemen met interne validiteit bij origineel onderzoek nog
steeds aanwezig
Conceptuele replicatie:
aanpassingen in onderzoeksprotocol zijn
toegestaan
o Voordeel: mogelijkheid om design te verbeteren
o Nadeel: minder goed vergelijkbaar
Replicatie + uitbreiding
o Voordeel: mogelijk aanvullende vragen onderzoeken
o Nadeel: minder goed vergelijkbaar
Replicatie + uitbreiding
o Voordeel: mogelijk aanvullende vragen onderzoeken
o Nadeel: minder goed vergelijkbaar
redenen replicatiecrisis
Eén van de redenen hiervoor wordt gezocht in de focus op de p-waarde
o Publication bias: onderzoek wordt alleen gepubliceerd als er een
significant resultaat uit komt
o Questionable Research Practices: voor onderzoekers is het van belang
dat hun onderzoek gepubliceerd wordt, dus zij worden verleid om te focussen op het vinden van een significant resultaat
o p-waarde onjuist rapporteren
o Data verwijderen om p-waarde te beïnvloeden
o Significantieniveau aanpassen om te ‘zorgen voor’ een significant resultaat
o Extra data verzamelen om te zien of het resultaat dan wel significant is
o Alleen verschillen tussen bepaalde groepen rapporteren (die wel significant zijn)
Fit van een hypothese
Met de fit van de hypothese wordt bepaald hoe goed een hypothese
bij de data past
Stel: we toetsen H0 : e = c
Stel: we vinden M e = 15 en M c = 1, dan is de fit van H0 met de data
niet goed
Stel: we vinden M e = 4.5 en M c = 5, dan is de fit van H0 met de data
best wel goed
Als we een hypothese hebben met een goede fit vinden we deze
hypothese waarschijnlijk
Bayes Factor
De Bayes Factor geeft aan hoe goed hypothesen ten opzichte van
elkaar bij de data passen
BF 01 geeft aan hoeveel keer meer support er in de data te vinden is
voor H0 ten opzicht van H1
BF 01 = 10 geeft aan dat in de data voor H0 10 keer meer steun te
vinden is dan voor H1
De Bayes Factor wordt niet vergeleken met een grenswaarde (zoals
voor de p-waarde)
Posterior Model Kansen (PMKs)
Dit kunnen we ook uitdrukken in Posterior Model Kansen
o PMK 0 is de kans dat H0 waar is, gegeven de informatie in de data
o PMK 1 is de kans dat H1 waar is, gegeven de informatie in de data
o Beide kansen tellen op tot 1
Conditionele Type I en II fouten
PMK0 = 0.2 is de Conditionele Type I fout. Als we voor H1 kiezen is de
kans dat we dat ten onrechte doen gelijk aan 0.2
PMK1 = 0.8 is de Conditionele Type II fout. Als we voor H0 kiezen is
de kans dat we dat ten onrechte doen gelijk aan 0.8
Bayesian Updating
- Begin met een redelijk aantal personen per groep
- Voeg telkens personen toe tot de BF of PMK waarden overtuigend zijn
Stappenplan Bayesiaanse Hypothese Evaluatie
Stap 1: toetskeuze en hypotheses bepalen (eventueel: bepaal
gewenste hoeveelheid support)
Stap 2: assumpties controleren
Stap 3: Bayes Factor en PMKs bepalen
Stap 4: conclusie trekken over je hypothesen
Stap 5: inhoudelijke conclusie
ANOVA
analysetechniek waarin we 3 groepen
tegelijk kunnen analyseren
Daarmee kunnen we de volgende vraag beantwoorden:
Verschillen de 3 groepen in hun gemiddelde rekenscore?
ANOVA Hypothesen zijn standaard
H0: Uexp = Uexp2= Ucontr
H1: minimaal een van de gemiddelden is anders
aanvulling NHST assumpties
Scores moeten in beide groepen normaal verdeeld zijn
Scores moeten in beide groepen gelijke spreiding hebben. Extra hypothese toets adhv levene’s test (is P groter of kleiner dan a). H0 is waar is goed dan is de spreiding gelijk.
toetsingsgrootheid ANOVA
In de ANOVA wordt een F-waarde berekend als toetsingsgrootheid
Dat is de ratio van variantie binnen groepen en variantie tussen
groepen
