Thema 3: Betrouwbaarheidsanalyse Flashcards

1
Q

Wat zijn betrouwbaarheidsanalyses?

A
  1. Onderzoeken van de onderdelen van een meetinstrument. Of het correspondeert met responsmodel
  2. Onderdeel van data-screening
How well did you know this?
1
Not at all
2
3
4
5
Perfectly
2
Q

Wat is data-screening?

A

Kijken of de verzamelde datareeksen van elk item kloppen met het responsmodel bij dat item, zoals vastgesteld tijdens de ontwikkeling van het meetinstrument

How well did you know this?
1
Not at all
2
3
4
5
Perfectly
3
Q

Wat is een datapunt?

A
  1. Een representatie van de uitkomst van een meting
  2. Allerlei vormen
  3. Bits (reeksen 0 en 1en)
How well did you know this?
1
Not at all
2
3
4
5
Perfectly
4
Q

Wat is een datareeks?

A
  1. Meerdere datapunten
  2. Type: numeric, integer, float, string
  3. Factor: datareeks waarbij elk datapunt slechts een paar waarden aan kan nemen
  4. Ook een datareeks voor data
How well did you know this?
1
Not at all
2
3
4
5
Perfectly
5
Q

Welke 2 meetniveau’s bestaan er?

A
  1. Continu. Doorlopende schaal
  2. Categorisch. Discrete schaal
    (3. Dichotome: categorisch en continue (interval))
How well did you know this?
1
Not at all
2
3
4
5
Perfectly
6
Q

Noem kenmerken van het continue meetniveau

A
  1. Doorlopende schaal
  2. Ratio en interval
  3. Numerieke datatype
How well did you know this?
1
Not at all
2
3
4
5
Perfectly
7
Q

Noem 3 kenmerken van categorisch meet niveau

A
  1. Discrete schaal
  2. Ordinaal en nominaal
  3. Factor datatype, soms string
How well did you know this?
1
Not at all
2
3
4
5
Perfectly
8
Q

Noem 4 redenen waarom het schadelijk is om variabele categorisch te meten als het continue gemeten kan worden

A
  1. Bij laag meetniveua zijn meer deelnemers nodig
  2. Continue variabelen zijn meer valide
  3. Van continue kun je naar lager niveau, andersom niet
  4. Categorsiche indeling geeft meer vertekening van de werkelijkheid
How well did you know this?
1
Not at all
2
3
4
5
Perfectly
9
Q

Noem 2 redenen waarom toch onderzoek wordt gedaan met categorische variabelen

A
  1. Manipulaties in experimenteel onderzoek zijn categorisch
  2. Valide en betrouwbare operationalisatie belangrijk
How well did you know this?
1
Not at all
2
3
4
5
Perfectly
10
Q

Geef 3 kenmerken voor goede variabelenamen

A
  1. Engelstalig
  2. Spreken voor zich
  3. Geen problematische karakters
  4. Machine-readability

vb. camelCase of snake_case

How well did you know this?
1
Not at all
2
3
4
5
Perfectly
11
Q

Noem 2 type bestandsformaten

A
  1. Open: .csv, .ods
  2. Proprietary: .spss
  3. Deels open: .xlsx
How well did you know this?
1
Not at all
2
3
4
5
Perfectly
12
Q

Noem een voordeel en nadeel van .csv bestandsformaat

A

+: Eenvoudig
-: Ondersteunt geen metadata

How well did you know this?
1
Not at all
2
3
4
5
Perfectly
13
Q

Waarom zijn individuele datapunten niet van belang?

A

Datareeksen worden verzameld om informatie te krijgen over een populatie. Patronen in datareeksen zijn belangrijker dan individuele datapunten omdat populaties gedefinieerd zijn als oneindig groot

How well did you know this?
1
Not at all
2
3
4
5
Perfectly
14
Q

Wat is de verdelingsvorm? Distribution

A

De manier waarop de datapunten om het gemiddelde heen liggen

How well did you know this?
1
Not at all
2
3
4
5
Perfectly
15
Q

Welke 3 termen worden gebruikt om een verdelingsvorm te beschrijven?

A
  1. Modaliteit (toppigheid) - Hartigans’ dip test
  2. Scheefheid (skewness)
  3. Spitsheid (kurtosis)
How well did you know this?
1
Not at all
2
3
4
5
Perfectly
16
Q

Noem 8 kenmerkenv an modaliteit/toppigheid

A
  1. Beschrijft aantal toppen van een verdeling
  2. Modus; meest voorkomende waarde in een datareeks. Vormt top in een verdeling
  3. Unimodaal of multimodaal. Ook bimodaal
  4. Doel: obv verdelingsform in steekproef iets te zeggen over verdelingsvorm in populatie
  5. Ambiguiteit door meetfout of onduidelijk beeld in populatie
  6. Multimodale verdelingen vaak indicatie dat populatie uit meerdere subpopulaties bestaat
  7. Verdelingsmaat: Hartigan’s diptest –> indicatie unimodaliteit (0).
  8. Grafiek én verdelingsmaat bekijken
How well did you know this?
1
Not at all
2
3
4
5
Perfectly
17
Q

Noem 3 kenmerken van scheefheid

A
  1. Beschrijft of een verdeling symmetrisch of asymmetrisch is
  2. Verdelingsmaat: skeweness. Perfect: 0
  3. Vuistregels: conservatief -1/1; liberaal pas schending bij -3/3
How well did you know this?
1
Not at all
2
3
4
5
Perfectly
18
Q

Noem 3 kenmerken van spitsheid/kurtosis

A
  1. Beschrijft hoe spits of plat een verdeling is
  2. Leptokurte - uniforme/platykurte verdeling
  3. Verdelingsmaat: kurtosis. 0 = perfect normale verdeling
  4. Vuistregels: conservatief -1/1, liberaal -3/3
How well did you know this?
1
Not at all
2
3
4
5
Perfectly
19
Q

Noem 6 kenmerken van de normale verdeling

A
  1. Unimodaal
  2. Symmetrisch
  3. Niet bijzonder spits of plat
  4. 68% vd datapunten binnen 1 stdv van het gemiddelde
  5. 955 vd datapunten binnen 2 stdv van het gemiddelde
  6. 99,7% vd datapunten binnen 3 stdv van het gemiddelde
How well did you know this?
1
Not at all
2
3
4
5
Perfectly
20
Q

Beschrijf de perfecte normale verdeling

A

Unimodaal (diptest 0), symmetrisch (skewness 0) en niet bijzonder spits of plat (kurtosis 0).

How well did you know this?
1
Not at all
2
3
4
5
Perfectly
21
Q

Wat is de standaardnormale verdeling / z-verdeling?

A
  1. Normaalverdeling met gemiddelde van 0 en stdv van 1
  2. Datapunten heten z-scores
  3. Standaardisering
How well did you know this?
1
Not at all
2
3
4
5
Perfectly
22
Q

Wat geeft de z-score aan?

A

Hoe ver een waarde van het gemiddelde af ligt

Als normaal verdeeld: ook informatie over hoe extreem dat datapunt is

How well did you know this?
1
Not at all
2
3
4
5
Perfectly
23
Q

Noem 2 kenmerken van standaardisering

A
  1. Vertaalt datareeksen naar zelfde schaal (0 is gemiddeld, 1 is een stdv)
  2. Standaardisering verandert de onderlinggende verdeling van de waarden niet!
How well did you know this?
1
Not at all
2
3
4
5
Perfectly
24
Q

Noem 4 kenmerken van de density plot

A
  1. Dichtheid van de verdeling: hoeveel datapunten er voor een gegeven meetwaarde zijn
  2. Normaalverdeling
  3. Oppervlakkte is 1
  4. Kan kans op een bepaalde waarde aflezen
25
Q

Noem 3 kenmerken van histogrammen met ‘normal curves’

A
  1. Histogram met density plot
26
Q

Noem 5 visualisaties van verdelingsvormen

A
  1. Density plots
  2. Histogrammen met ‘normal curves’
  3. Q-Q plots
  4. Boxplots
  5. Staafdiagrammen
27
Q

Noem 3 kenmerken van een Q-Q plot

A
  1. Verdeling van datareeks vergelijken met normale verdeling
  2. Geobserveerde tegen verwachte kwartielen geplot
  3. Normaal verdeeld, dan kwartielen op diagonale lijn
28
Q

Noem 3 kenmerken van boxplots

A
  1. 3 kwartielen plotten, midlijn geeft mediaan aan.
  2. Boxen geven 1e en 3e kwartiel aan: 50% vd data binnen deze twee boxen
  3. Geen outliers dan einde verticale lijn is min en max
29
Q

Welke visualisatie wordt gebruikt voor categorische variabelen en waarom?

A

Staafdiagrammen, omdat er geen continue variabele is om op de x-as te plaatsen. Daar komen categorieen te staan en datapunten op y-as. Kan geen density plot generaliseren en geen verdelingsvormen!

30
Q

Wat is een overeenkomst tussen histogrammen en staafdiagrammen?

A

Geven een beeld van de verdeling van een variabele, van de absolute en relatieve frequenties voor elke meetwaarde

31
Q

Noem 2 mogelijke conclusies van afwijkende verdelingen van een meetinstrument

A
  1. Deelnemers in deze populatie en context zijn anders dan de deelnemers uit de oorspronkelijke populatie waar het meetinstrument ontwikkeld is
  2. Meetinstrument is niet valide in de betreffende populatie en context

In praktijk gaan vaak beide op

32
Q

Noem 3 bijzondere meetmodellen mbt verbanden tussen items

A
  1. Parallelle meetmodel
  2. Tau-equivalente meetmodel
  3. Congenerieke meetmodel
33
Q

Beschrijf het parallelle meetmodel

A
  1. Aanname: alle items zijn parallelle metingen. Zelfde gemiddelde, variantie, onderlinge samenhang
  2. Alle items zouden even sterk met elkaar moeten correleren
  3. Nadeel: Bijna nooit realistisch
34
Q

Benoem 2 voorwaarden van het tau-equivalente meetmodel

A
  1. Alle items meten dezelfde onderliggende (latente) variabele/ alle items in het meetinstrument moeten even sterk laden in een 1-factor factoranalyse /
  2. Vereist gelijke covarianties tussen items. Covarianties zijn niet gestandaardiseerd, daarom vereist het ook gelijke varianties in de praktijk
  3. Nadeel: gelijke covarianties en varianties is zelden het geval
35
Q

Benoem 2 eigenschappen van het cogenerieke meetmodel

A
  1. Unidimensionaliteit van items: alle items meten hetzelfde onderliggende construct
  2. Nadeel: weinig psychologische constructen
36
Q

Beschrijf interne consistentie tussen items

A

Maat voor de mate waarin de items in een meetinstrument met elkaar samenhangen.

Betrouwbaarheid meetinstrument

37
Q

Wat is meetinvariantie?

A

Als het meetinstrument op dezelfde manier werkt in verschillende groepen

38
Q

Noem 3 aspecten die helder moeten zijn bij validiteit

A
  1. Precieze definitie van het construct (welke aspecten van de psychologie omvat het WEL en NIET)
  2. Operationalisaties
  3. Responmodellen bij de items
39
Q

Wat beschrijft het responsmodel

A

Hoe het doelconstruct de door het meetinstrument geregisteerde responsen veroorzaakt: de causale kettingen van het betreffende construct naar de responsen die het meetinstrument registreert

40
Q

Noem 4 aspecten waarover verwachtingen zijn

A
  1. verdeling vd responsen per item
  2. verbanden tussen de items
  3. verbanden van de items met de datareeksen vd meetinstrumenten voor andere constructen
  4. verbanden tussen de geaggregeerde scores en datareeksen vd instrumentne voor andere constructen
41
Q

Wat is meetfout?

A

Dat deel van een meetscore dat puur door toeval tot stand komt

42
Q

Noem 2 kenmerken van betrouwbaarheid (volgens klassieke testtheorie)

A
  1. Proportie vd variantie in de (geobserveerde) testscores die door de ware scores worden veroorzaakt
  2. Betrouwbaarheid is kwadraat van de correlatie tussen 2 parallelle meetinstrumenten –> betrouwbaarheid inschatten
43
Q

Noem 5 uitdagingen van test-hertestbetrouwbaarheid

A
  1. Mensen veranderen continu
  2. Mensen herinneren zich dingen
  3. Transient error
  4. Termijn tussen metingen
  5. Meetfout onderschatten
44
Q

Wat is test-hertestbetrouwbaarheid?

A
  1. De betrouwbaarheid van een test, gebaseerd op twee afnames. Tweede toepassing van het meetinstrument als parallelle versie van zichzelf gebruiken.
  2. Voordeel: Voldoen aan de eisen die je stelt aan een parallelle test (zelfde ware scoren voor een gegeven individue en evenveel meetfout)
  3. Nadeel: mensen 2x meten –> ((on)willekeurige)) drop outs
45
Q

Wat is transient error?

A

De meetfout die veroorzaakt wordt door tijdafhankelijke factoren

46
Q

Wat is de interne consistentie?

A
  1. Mate waarin items in een meetinstrument hetzelfde meten
  2. Kan worden gebruikt als schatting voor de betrouwbaarheid van meetinstrument –>
  3. Schatters voor betrouwbaarheid obv een enkele afname van een meetinstrument
47
Q

Noem 3 eigenschappen van split-half betrouwbaarheid

A
  1. Maat voor interne consistentie. Items van meetinstrument in twee helften verdelen–> twee parallelle tests –> gemiddelde berekenen –> correlatie ^2 = schatting betrouwbaarheid elke helft
  2. Probleem: verschillende manieren helften verdelen –> coefficient alpha
  3. Probleem: aanname geen transient error –> onrealistisch bij psychologisch onderzoek!! = nadeel
48
Q

Noem 2 redenen waarom Coefficient Alpha populaire maat is

A
  1. Eenvoudig te berekenen
  2. Beschikbaar in SPSS
49
Q

Noem 3 kenmerken van coefficient alpha / cronhachs alpha

A
  1. Gemiddelde van alle mogelijke split-half betrouwbaarheden
  2. Nadeel: ontbreken transient error en vereist tau-equivalent meetmodel –> strenge voorwaarden
50
Q

Noem 2 eigenschappen van coefficent H

A
  1. Gaat uit van verschillende factorladingen
  2. Gebruikt die informatie om een betere schatting van de betrouwbaarheid van de schaal te geven
  3. Makkelijk te berekenen (met de hand)
51
Q

Noem 2 eigenschappen van de Greatest Lower Bound

A
  1. De grootste set van betrouwbaarheidsschatters
  2. Niet makkelijk met de hand te berekenen
52
Q

Noem 3 eigenschappen van Omega

A
  1. 3 varianten: McDonald’s, Tavelle’s en Hierarchische.
  2. Niet eenvoudig te berekenen, software nodig
53
Q

Wat is McDonald’s Omega?

A

Aanpassing van coefficient alpha zodat de strenge aanname van tau-equiavalentie niet meer nodig is

54
Q

Wat is Ravelle’s Omega?

A

Alternatieve manier om omega te berekenen mbv bifactor model: elk item laadt op algemene factor EN >/ 1 kleinere factoren EN eigen factor (die voor de error staat). Alle factorladingen gebruikt om betrouwbaarheid in te schatten –> iets hogere schattingen

55
Q

Wat is de hierarchische omega?

A

Gebruikt ook bifactormodel, kijkt alleen naar ladingen op de ene onderliggende factor

56
Q

Welke betrouwbaarheidsmaat moet je gebruiken? Afh van

A
  1. Behoeften
  2. Mogelijkheden
  3. Meetmodel
57
Q

Wat zijn betrouwbaarheidsanalyses?

A

Onderzoeken van onderdelen van een. meetinstrument.

58
Q

Wanneer gebruik je de Spearman-Brown formule?

A

Als alle items in een meetinstrument even betrouwbaar zijn

59
Q
A