Lecture 17: non-parametric testing Flashcards
wanneer gebruik je non parametric testing?
- When assumptions are violated -> bv strong non-normality
- When the variable is ordinal -> when playing Mario Kart
- When unsure about outliers -> multiple observations with z = 3
Parametric vs Nonparametric: distribution
parametric = normally distributed
nonparametric = any distribution
Parametric vs Nonparametric: sampling
parametric: random sample
nonparametric: random sample
Parametric vs Nonparametric: sensitivity to outliers
parametric = yes
non parametric = no
Parametric vs Nonparametric: works with…
parametric = large data sets
nonparametric = small and large data sets
Parametric vs Nonparametric: speed
parametric = fast
nonparametric = slow
wat is het voordeel aan parametric testing
parametric = slightly more powerful, je kan kleinere effecten dus beter opsporen.
welke variabele is sensitief voor outliers?
de mean
dus wat gebruik je bij nonparametric testing ipv de mean?
ranks!
hoe bereken je ranks in R
rank(x)
maar… goed opletten op ties!
hoe werken ties: bv
value 3|50
value 4|50
(3+4)/2=3.5
wat is het nadeel van ranks
je gooit wel informatie weg, de extremeness van de values wordt niet meegenomen.
of de 5e value nou gelijk is aan 100 of 1000, het blijft rank 5
waarom is dit nadeel aan ranks niet perse erg
je bent hierdoor wel dichter bij het psychologische construct dat je wil meten, je wil gewoon iets zeggen over wie bijvoorbeeld meer anxious is. het maakt dan niet uit of zij een score van 100 of 1000 hebben op een test
procedure nonparametric testing: assumption
independent samples
procedure nonparametric testing: hypothesis
H0= equal population distributions (implies equal mean ranking)
HA=unequal mean ranking
of
HA= higher mean ranking for one group
procedure nonparametric testing: test statistic
either:
- difference between mean ranking
- sum of ranking
wilcoxon rank sum test:
calculate the mean rank, vergelijk deze tussen twee independent samples.
waar is de wilcoxon rank-sum test een alternatief voor?
independent samples t test
wat is de main gedachte achter wilcoxon rank sum test
By ranking all values and then summing the ranks per group, one would expect under the null hypothesis, that the sum of ranks is approximately equal.
After standardizing the test statistic (summed ranks for one group), we can use the standard normal distribution as the sampling distribution.
sum of ranks per group=
gewoon de som van de ranks van beiden groepen vergelijken. dit is al de test statistic!
geeft info over welke mean rank het hoogste is. het maakt dan niet uit of je naar de mean rank van groep 1 kijkt, of van groep 2. ze hebben namelijk dezelfde informatie.
de meeste software….
subtracts Wmin (=minimum possible value), zodat het 0 punt ook echt een nulwaarde heeft. want anders neem je dus ook allemaal values mee die onmogelijk zijn om te krijgen, zelfs in het slechtste geval.
behalve SPSS
W.min=
minimal possible observed rank sum. -> we beginnen met ranking op 1. de tweede lowest score = rank 2.
dus als we 10 observations hebben, is de W.min altijd 55 -> 1+2+3+4+5+6+7+8+9+10 = 55.
dus zelfs als alle lage waardes in groep 1 zitten, is dit het minimale wat je kan krijgen. normaal is het natuurlijk dat het een beetje wisselt, soms heeft groep 2 een lagere value dan de volgende value in groep 1, etc.
dus wat doe je bij beiden de wilcoxon rank sum test en de wilcoxon signed rank test uiteindelijk?
en wat is het verschil tussen de wilcoxon rank sum test en de wilcoxon signed rank test
je berekent de z bij beiden!!
wilcoxon rank sum= mean W per group, verschilt die van de verwachtte mean?
wilcoxon signed rank test = summed W per group
om de z score te kunnen berekenen, hebben we de …. nodig
To calculate the Z-score we need to standardize the W.
To do so we need the mean W and the standard error of W.
For this we need the sample sizes for each group.
dan de mean en standard error van de ranks opzoeken in R
waarom kan je kijken naar 1 van de W’s, ,en hoef je niet te kijken naar alletwee?
omdat de test statistic = looking at the difference between the predicted value and the observed value.
W.max=
wat is de highest possible ranking? kijken wat als de ene groep allemaal hogere waardes had dan de andere groep. dus bijvoorbeeld:
11+12+13+14+15+16+17+18+19+20 = 155
dit is dan de W.max
wat is de mean W under H0
het gemiddelde van W.min en W.max.
-> H0 zegt dat er geen verschil zou zitten tussen de groepen, dat ze een ongeveer gelijke ranks zouden hebben. vanaf hier kijk je naar hoeveel jouw geobserveerde W afwijkt van die mean W.
hoe bereken je Wmean ook wel?
Ws = (n1(n1+n2+1)) / 2
hoe bereken je de standard error
sqrt((n1n2(n1+n2+1)) / 12
waarom berekenen we die standard error
omdat we de invloed van de sample size weg willen halen (=standardization)
wat krijg je dan na standardization?
je kan dan de normal distribution als sampling distribution gebruiken!
hoe bereken je de effect size bij wilcoxon
r = z/sqrt(N)
hiermee haal je het effect van de sample size dus weg, kijk je alleen naar de magnitude
effect size rank-biserial correlation=
als deze gelijk is aan 1, heeft een groep alle hoge observaties en de andere alle lage.
correlation of 0 betekent dat de groepen gelijk zijn
ranks zijn robust voor:
- shape of distribution
- outliers
- any changes that you make to the data = still the same result.
wat kan je ook doen als je data niet helemaal normaal is
log transformation, maar dit is wel een gray area
wilcoxon signed rank test
it assigns + or - to the difference between two repeated measures. by ranking the absolute difference and summing these ranks for the positive group, the null hypothesis is tested that both positive and negative differences are equal.
waar is de wilcoxon signed rank test een alternatief voor?
a nonparametric alternative to the paired samples t test.
bij een paired samples design (dus bv paired samples of wilcoxon signed rank test), wat voor formaat heb je dan?
wide format!
wide data format=
each row corresponds to the observation in one condition and then in the other condition naast elkaar.
long data format=
een column voor alle independent variable data, dus alles onder elkaar.
wat doe je bij de wilcoxon ranked sign test
take the absolute difference between pre and post measure (sign maakt dan niet meer uit), en rank deze. neem daarna de som van de ranks van de absolute difference between the groups.
what do we ignore bij de wilcoxon ranked sign test
ignore the cases for which the difference is 0 (dus basically de ranks).
absolute difference =
the difference without the sign!
maar we houden de sign wel in ons achterhoog
wat bereken je bij de wilcoxon rank test
T+
hoe bereken je T+
we kijken naar de som van alle values met een positieve sign (dus ignore alles met de negative signs)
wat als je een two sided wilcoxon ranked sign test doet?
dan kan je kijken naar of de negatieve T, of de positieve T. maakt niet uit, geven alletwee hetzelfde resultaat
wat is het nulpoint dat je ook berekent bij de wilcoxon ranked sign test om jouw gevonden T+/T- mee te vergelijken
T met dakje, = n(n+1)/4
dit is dus het gemiddelde van T. onder de nulhypothese zou je verwachten dat de gevonden T ongeveer gelijk is hieraan.
Tbar = gemiddelde van Tmax en Tmin. Tmin = 0, Tmax = ligt aan hoeveel ranks (gewoon weer alles bij elkaar optellen net als bij W)
hoe bereken je Tbar in R
- of met deze formule; n(n+1)/4
- of met mean(c(T.min, T.max))
hoe bereken je SEt
SEt = sqrt(n(n+1)(2n+1)/14)
wat bereken je uiteindeljik bij de wilcoxon signed rank test
z= (T+ - Tbar)/SEt
hoe bereken je de effect size bij de wilcoxon ranked sign test
r = z/sqrt(N)
Kruskal-wallis test= alternative voor…
independent samples, meer dan 2 groepen
hoe rank je in R
rank(x)
wat bereken je bij de kruskal wallis test
the sum of the squared ranks of each of the three conditions. difference between those sums of ranks = more evidence for rejecting the null hypothesis.
wat is de df en sampling distribution voor de kruskal wallis test
chi square sampling distribution, en df = k-1
omnibus test=
allows us to say something about the difference between the groups, but not in which way we can find this difference.
wat is een followup van kruskal wallis
contrasts, of een followup van wilcoxon rank sum test. want kruskal wallis is ook een omnibus test!!!
Friedman’s ANOVA =
subtract the expected mean ranking from the calculated observed mean ranking.
wat voor distribution bij de friedman’s ANOVA
ook chi square distribution
waar is friedman een alternatief voor
repeated one-way ANOVA
hoe rank je bij de Friedman’s ANOVA
je rankt de condities van elke participant. dus stel je hebt 3 verschillende condities, dan kijk je dus welke conditie de laagste score had (= rank 1), welke daarna de hogere score had etc.
dus dan krijg je een rank score van 1,2,3 per participant.
wat bereken je dus bij de Friedman’s ANOVA, wat is anders dan bij de rest van de testen
de ranks within person. (ipv de ranks voor de groepen) = still take into account the differences between the persons. uiteindelijk kijk je dan wel naar de som van de condities, is er een meaningful difference between the conditions?
wat voor post hocs kan je gebruiken voor de Friedman ANOVA
wilcoxon signed-rank test
hoe doe je een nonparametric test in JASP
eerst de parametric test, daarna aanvinken nonparametric test.
wat is een mann whitney test
non parametric of independent samples t test.
= hetzelfde als Wilcoxon Rank Sum Test
hoe voer je een mann whitney test uit
independent samples t test -> onder tests staat dan mann whitney
Wilcoxon signed-rank test is the non-parametric equivalent of the …
paired-samples t-test
Kruskal-Wallis test is the non-parametric equivalent of the …
independent one-way ANOVA.
Friedman’s ANOVA is the non-parametric equivalent of
the repeated measures ANOVA
dus een woord bij achterliggend proces voor elke nonparametric test
wilcoxon rank sum =
wilcoxon signed rank =
kruskal wallis =
friedmans anova =
mean
sum
sum
mean