Lecture 17: non-parametric testing Flashcards

1
Q

wanneer gebruik je non parametric testing?

A
  • When assumptions are violated -> bv strong non-normality
  • When the variable is ordinal -> when playing Mario Kart
  • When unsure about outliers -> multiple observations with z = 3
How well did you know this?
1
Not at all
2
3
4
5
Perfectly
2
Q

Parametric vs Nonparametric: distribution

A

parametric = normally distributed
nonparametric = any distribution

How well did you know this?
1
Not at all
2
3
4
5
Perfectly
3
Q

Parametric vs Nonparametric: sampling

A

parametric: random sample
nonparametric: random sample

How well did you know this?
1
Not at all
2
3
4
5
Perfectly
4
Q

Parametric vs Nonparametric: sensitivity to outliers

A

parametric = yes
non parametric = no

How well did you know this?
1
Not at all
2
3
4
5
Perfectly
5
Q

Parametric vs Nonparametric: works with…

A

parametric = large data sets
nonparametric = small and large data sets

How well did you know this?
1
Not at all
2
3
4
5
Perfectly
6
Q

Parametric vs Nonparametric: speed

A

parametric = fast
nonparametric = slow

How well did you know this?
1
Not at all
2
3
4
5
Perfectly
7
Q

wat is het voordeel aan parametric testing

A

parametric = slightly more powerful, je kan kleinere effecten dus beter opsporen.

How well did you know this?
1
Not at all
2
3
4
5
Perfectly
8
Q

welke variabele is sensitief voor outliers?

A

de mean

How well did you know this?
1
Not at all
2
3
4
5
Perfectly
9
Q

dus wat gebruik je bij nonparametric testing ipv de mean?

A

ranks!

How well did you know this?
1
Not at all
2
3
4
5
Perfectly
10
Q

hoe bereken je ranks in R

A

rank(x)

maar… goed opletten op ties!

How well did you know this?
1
Not at all
2
3
4
5
Perfectly
11
Q

hoe werken ties: bv

value 3|50
value 4|50

A

(3+4)/2=3.5

How well did you know this?
1
Not at all
2
3
4
5
Perfectly
12
Q

wat is het nadeel van ranks

A

je gooit wel informatie weg, de extremeness van de values wordt niet meegenomen.

of de 5e value nou gelijk is aan 100 of 1000, het blijft rank 5

How well did you know this?
1
Not at all
2
3
4
5
Perfectly
13
Q

waarom is dit nadeel aan ranks niet perse erg

A

je bent hierdoor wel dichter bij het psychologische construct dat je wil meten, je wil gewoon iets zeggen over wie bijvoorbeeld meer anxious is. het maakt dan niet uit of zij een score van 100 of 1000 hebben op een test

How well did you know this?
1
Not at all
2
3
4
5
Perfectly
14
Q

procedure nonparametric testing: assumption

A

independent samples

How well did you know this?
1
Not at all
2
3
4
5
Perfectly
15
Q

procedure nonparametric testing: hypothesis

A

H0= equal population distributions (implies equal mean ranking)
HA=unequal mean ranking
of
HA= higher mean ranking for one group

How well did you know this?
1
Not at all
2
3
4
5
Perfectly
16
Q

procedure nonparametric testing: test statistic

A

either:
- difference between mean ranking
- sum of ranking

How well did you know this?
1
Not at all
2
3
4
5
Perfectly
17
Q

wilcoxon rank sum test:

A

calculate the mean rank, vergelijk deze tussen twee independent samples.

How well did you know this?
1
Not at all
2
3
4
5
Perfectly
18
Q

waar is de wilcoxon rank-sum test een alternatief voor?

A

independent samples t test

How well did you know this?
1
Not at all
2
3
4
5
Perfectly
19
Q

wat is de main gedachte achter wilcoxon rank sum test

A

By ranking all values and then summing the ranks per group, one would expect under the null hypothesis, that the sum of ranks is approximately equal.

After standardizing the test statistic (summed ranks for one group), we can use the standard normal distribution as the sampling distribution.

How well did you know this?
1
Not at all
2
3
4
5
Perfectly
20
Q

sum of ranks per group=

A

gewoon de som van de ranks van beiden groepen vergelijken. dit is al de test statistic!
geeft info over welke mean rank het hoogste is. het maakt dan niet uit of je naar de mean rank van groep 1 kijkt, of van groep 2. ze hebben namelijk dezelfde informatie.

How well did you know this?
1
Not at all
2
3
4
5
Perfectly
21
Q

de meeste software….

A

subtracts Wmin (=minimum possible value), zodat het 0 punt ook echt een nulwaarde heeft. want anders neem je dus ook allemaal values mee die onmogelijk zijn om te krijgen, zelfs in het slechtste geval.

behalve SPSS

How well did you know this?
1
Not at all
2
3
4
5
Perfectly
22
Q

W.min=

A

minimal possible observed rank sum. -> we beginnen met ranking op 1. de tweede lowest score = rank 2.

dus als we 10 observations hebben, is de W.min altijd 55 -> 1+2+3+4+5+6+7+8+9+10 = 55.
dus zelfs als alle lage waardes in groep 1 zitten, is dit het minimale wat je kan krijgen. normaal is het natuurlijk dat het een beetje wisselt, soms heeft groep 2 een lagere value dan de volgende value in groep 1, etc.

How well did you know this?
1
Not at all
2
3
4
5
Perfectly
23
Q

dus wat doe je bij beiden de wilcoxon rank sum test en de wilcoxon signed rank test uiteindelijk?

en wat is het verschil tussen de wilcoxon rank sum test en de wilcoxon signed rank test

A

je berekent de z bij beiden!!

wilcoxon rank sum= mean W per group, verschilt die van de verwachtte mean?

wilcoxon signed rank test = summed W per group

How well did you know this?
1
Not at all
2
3
4
5
Perfectly
24
Q

om de z score te kunnen berekenen, hebben we de …. nodig

A

To calculate the Z-score we need to standardize the W.

To do so we need the mean W and the standard error of W.

For this we need the sample sizes for each group.
dan de mean en standard error van de ranks opzoeken in R

How well did you know this?
1
Not at all
2
3
4
5
Perfectly
25
Q

waarom kan je kijken naar 1 van de W’s, ,en hoef je niet te kijken naar alletwee?

A

omdat de test statistic = looking at the difference between the predicted value and the observed value.

How well did you know this?
1
Not at all
2
3
4
5
Perfectly
26
Q

W.max=

A

wat is de highest possible ranking? kijken wat als de ene groep allemaal hogere waardes had dan de andere groep. dus bijvoorbeeld:

11+12+13+14+15+16+17+18+19+20 = 155

dit is dan de W.max

How well did you know this?
1
Not at all
2
3
4
5
Perfectly
27
Q

wat is de mean W under H0

A

het gemiddelde van W.min en W.max.

-> H0 zegt dat er geen verschil zou zitten tussen de groepen, dat ze een ongeveer gelijke ranks zouden hebben. vanaf hier kijk je naar hoeveel jouw geobserveerde W afwijkt van die mean W.

How well did you know this?
1
Not at all
2
3
4
5
Perfectly
28
Q

hoe bereken je Wmean ook wel?

A

Ws = (n1(n1+n2+1)) / 2

How well did you know this?
1
Not at all
2
3
4
5
Perfectly
29
Q

hoe bereken je de standard error

A

sqrt((n1n2(n1+n2+1)) / 12

30
Q

waarom berekenen we die standard error

A

omdat we de invloed van de sample size weg willen halen (=standardization)

31
Q

wat krijg je dan na standardization?

A

je kan dan de normal distribution als sampling distribution gebruiken!

32
Q

hoe bereken je de effect size bij wilcoxon

A

r = z/sqrt(N)

hiermee haal je het effect van de sample size dus weg, kijk je alleen naar de magnitude

33
Q

effect size rank-biserial correlation=

A

als deze gelijk is aan 1, heeft een groep alle hoge observaties en de andere alle lage.

correlation of 0 betekent dat de groepen gelijk zijn

34
Q

ranks zijn robust voor:

A
  • shape of distribution
  • outliers
  • any changes that you make to the data = still the same result.
35
Q

wat kan je ook doen als je data niet helemaal normaal is

A

log transformation, maar dit is wel een gray area

36
Q

wilcoxon signed rank test

A

it assigns + or - to the difference between two repeated measures. by ranking the absolute difference and summing these ranks for the positive group, the null hypothesis is tested that both positive and negative differences are equal.

37
Q

waar is de wilcoxon signed rank test een alternatief voor?

A

a nonparametric alternative to the paired samples t test.

38
Q

bij een paired samples design (dus bv paired samples of wilcoxon signed rank test), wat voor formaat heb je dan?

A

wide format!

39
Q

wide data format=

A

each row corresponds to the observation in one condition and then in the other condition naast elkaar.

40
Q

long data format=

A

een column voor alle independent variable data, dus alles onder elkaar.

41
Q

wat doe je bij de wilcoxon ranked sign test

A

take the absolute difference between pre and post measure (sign maakt dan niet meer uit), en rank deze. neem daarna de som van de ranks van de absolute difference between the groups.

42
Q

what do we ignore bij de wilcoxon ranked sign test

A

ignore the cases for which the difference is 0 (dus basically de ranks).

43
Q

absolute difference =

A

the difference without the sign!

maar we houden de sign wel in ons achterhoog

44
Q

wat bereken je bij de wilcoxon rank test

A

T+

45
Q

hoe bereken je T+

A

we kijken naar de som van alle values met een positieve sign (dus ignore alles met de negative signs)

46
Q

wat als je een two sided wilcoxon ranked sign test doet?

A

dan kan je kijken naar of de negatieve T, of de positieve T. maakt niet uit, geven alletwee hetzelfde resultaat

47
Q

wat is het nulpoint dat je ook berekent bij de wilcoxon ranked sign test om jouw gevonden T+/T- mee te vergelijken

A

T met dakje, = n(n+1)/4

dit is dus het gemiddelde van T. onder de nulhypothese zou je verwachten dat de gevonden T ongeveer gelijk is hieraan.

Tbar = gemiddelde van Tmax en Tmin. Tmin = 0, Tmax = ligt aan hoeveel ranks (gewoon weer alles bij elkaar optellen net als bij W)

48
Q

hoe bereken je Tbar in R

A
  • of met deze formule; n(n+1)/4
  • of met mean(c(T.min, T.max))
49
Q

hoe bereken je SEt

A

SEt = sqrt(n(n+1)(2n+1)/14)

50
Q

wat bereken je uiteindeljik bij de wilcoxon signed rank test

A

z= (T+ - Tbar)/SEt

51
Q

hoe bereken je de effect size bij de wilcoxon ranked sign test

A

r = z/sqrt(N)

52
Q

Kruskal-wallis test= alternative voor…

A

independent samples, meer dan 2 groepen

53
Q

hoe rank je in R

A

rank(x)

54
Q

wat bereken je bij de kruskal wallis test

A

the sum of the squared ranks of each of the three conditions. difference between those sums of ranks = more evidence for rejecting the null hypothesis.

55
Q

wat is de df en sampling distribution voor de kruskal wallis test

A

chi square sampling distribution, en df = k-1

56
Q

omnibus test=

A

allows us to say something about the difference between the groups, but not in which way we can find this difference.

57
Q

wat is een followup van kruskal wallis

A

contrasts, of een followup van wilcoxon rank sum test. want kruskal wallis is ook een omnibus test!!!

58
Q

Friedman’s ANOVA =

A

subtract the expected mean ranking from the calculated observed mean ranking.

59
Q

wat voor distribution bij de friedman’s ANOVA

A

ook chi square distribution

60
Q

waar is friedman een alternatief voor

A

repeated one-way ANOVA

61
Q

hoe rank je bij de Friedman’s ANOVA

A

je rankt de condities van elke participant. dus stel je hebt 3 verschillende condities, dan kijk je dus welke conditie de laagste score had (= rank 1), welke daarna de hogere score had etc.

dus dan krijg je een rank score van 1,2,3 per participant.

62
Q

wat bereken je dus bij de Friedman’s ANOVA, wat is anders dan bij de rest van de testen

A

de ranks within person. (ipv de ranks voor de groepen) = still take into account the differences between the persons. uiteindelijk kijk je dan wel naar de som van de condities, is er een meaningful difference between the conditions?

63
Q

wat voor post hocs kan je gebruiken voor de Friedman ANOVA

A

wilcoxon signed-rank test

64
Q

hoe doe je een nonparametric test in JASP

A

eerst de parametric test, daarna aanvinken nonparametric test.

65
Q

wat is een mann whitney test

A

non parametric of independent samples t test.

= hetzelfde als Wilcoxon Rank Sum Test

66
Q

hoe voer je een mann whitney test uit

A

independent samples t test -> onder tests staat dan mann whitney

67
Q

Wilcoxon signed-rank test is the non-parametric equivalent of the …

A

paired-samples t-test

68
Q

Kruskal-Wallis test is the non-parametric equivalent of the …

A

independent one-way ANOVA.

69
Q

Friedman’s ANOVA is the non-parametric equivalent of

A

the repeated measures ANOVA

70
Q

dus een woord bij achterliggend proces voor elke nonparametric test

wilcoxon rank sum =
wilcoxon signed rank =
kruskal wallis =
friedmans anova =

A

mean
sum
sum
mean