Thema 3: Betrouwbaarheidsanalyse Flashcards
Wat zijn betrouwbaarheidsanalyses?
- Onderzoeken van de onderdelen van een meetinstrument. Of het correspondeert met responsmodel
- Onderdeel van data-screening
Wat is data-screening?
Kijken of de verzamelde datareeksen van elk item kloppen met het responsmodel bij dat item, zoals vastgesteld tijdens de ontwikkeling van het meetinstrument
Wat is een datapunt?
- Een representatie van de uitkomst van een meting
- Allerlei vormen
- Bits (reeksen 0 en 1en)
Wat is een datareeks?
- Meerdere datapunten
- Type: numeric, integer, float, string
- Factor: datareeks waarbij elk datapunt slechts een paar waarden aan kan nemen
- Ook een datareeks voor data
Welke 2 meetniveau’s bestaan er?
- Continu. Doorlopende schaal
- Categorisch. Discrete schaal
(3. Dichotome: categorisch en continue (interval))
Noem kenmerken van het continue meetniveau
- Doorlopende schaal
- Ratio en interval
- Numerieke datatype
Noem 3 kenmerken van categorisch meet niveau
- Discrete schaal
- Ordinaal en nominaal
- Factor datatype, soms string
Noem 4 redenen waarom het schadelijk is om variabele categorisch te meten als het continue gemeten kan worden
- Bij laag meetniveua zijn meer deelnemers nodig
- Continue variabelen zijn meer valide
- Van continue kun je naar lager niveau, andersom niet
- Categorsiche indeling geeft meer vertekening van de werkelijkheid
Noem 2 redenen waarom toch onderzoek wordt gedaan met categorische variabelen
- Manipulaties in experimenteel onderzoek zijn categorisch
- Valide en betrouwbare operationalisatie belangrijk
Geef 3 kenmerken voor goede variabelenamen
- Engelstalig
- Spreken voor zich
- Geen problematische karakters
- Machine-readability
vb. camelCase of snake_case
Noem 2 type bestandsformaten
- Open: .csv, .ods
- Proprietary: .spss
- Deels open: .xlsx
Noem een voordeel en nadeel van .csv bestandsformaat
+: Eenvoudig
-: Ondersteunt geen metadata
Waarom zijn individuele datapunten niet van belang?
Datareeksen worden verzameld om informatie te krijgen over een populatie. Patronen in datareeksen zijn belangrijker dan individuele datapunten omdat populaties gedefinieerd zijn als oneindig groot
Wat is de verdelingsvorm? Distribution
De manier waarop de datapunten om het gemiddelde heen liggen
Welke 3 termen worden gebruikt om een verdelingsvorm te beschrijven?
- Modaliteit (toppigheid) - Hartigans’ dip test
- Scheefheid (skewness)
- Spitsheid (kurtosis)
Noem 8 kenmerkenv an modaliteit/toppigheid
- Beschrijft aantal toppen van een verdeling
- Modus; meest voorkomende waarde in een datareeks. Vormt top in een verdeling
- Unimodaal of multimodaal. Ook bimodaal
- Doel: obv verdelingsform in steekproef iets te zeggen over verdelingsvorm in populatie
- Ambiguiteit door meetfout of onduidelijk beeld in populatie
- Multimodale verdelingen vaak indicatie dat populatie uit meerdere subpopulaties bestaat
- Verdelingsmaat: Hartigan’s diptest –> indicatie unimodaliteit (0).
- Grafiek én verdelingsmaat bekijken
Noem 3 kenmerken van scheefheid
- Beschrijft of een verdeling symmetrisch of asymmetrisch is
- Verdelingsmaat: skeweness. Perfect: 0
- Vuistregels: conservatief -1/1; liberaal pas schending bij -3/3
Noem 3 kenmerken van spitsheid/kurtosis
- Beschrijft hoe spits of plat een verdeling is
- Leptokurte - uniforme/platykurte verdeling
- Verdelingsmaat: kurtosis. 0 = perfect normale verdeling
- Vuistregels: conservatief -1/1, liberaal -3/3
Noem 6 kenmerken van de normale verdeling
- Unimodaal
- Symmetrisch
- Niet bijzonder spits of plat
- 68% vd datapunten binnen 1 stdv van het gemiddelde
- 955 vd datapunten binnen 2 stdv van het gemiddelde
- 99,7% vd datapunten binnen 3 stdv van het gemiddelde
Beschrijf de perfecte normale verdeling
Unimodaal (diptest 0), symmetrisch (skewness 0) en niet bijzonder spits of plat (kurtosis 0).
Wat is de standaardnormale verdeling / z-verdeling?
- Normaalverdeling met gemiddelde van 0 en stdv van 1
- Datapunten heten z-scores
- Standaardisering
Wat geeft de z-score aan?
Hoe ver een waarde van het gemiddelde af ligt
Als normaal verdeeld: ook informatie over hoe extreem dat datapunt is
Noem 2 kenmerken van standaardisering
- Vertaalt datareeksen naar zelfde schaal (0 is gemiddeld, 1 is een stdv)
- Standaardisering verandert de onderlinggende verdeling van de waarden niet!
Noem 4 kenmerken van de density plot
- Dichtheid van de verdeling: hoeveel datapunten er voor een gegeven meetwaarde zijn
- Normaalverdeling
- Oppervlakkte is 1
- Kan kans op een bepaalde waarde aflezen
Noem 3 kenmerken van histogrammen met ‘normal curves’
- Histogram met density plot
Noem 5 visualisaties van verdelingsvormen
- Density plots
- Histogrammen met ‘normal curves’
- Q-Q plots
- Boxplots
- Staafdiagrammen
Noem 3 kenmerken van een Q-Q plot
- Verdeling van datareeks vergelijken met normale verdeling
- Geobserveerde tegen verwachte kwartielen geplot
- Normaal verdeeld, dan kwartielen op diagonale lijn
Noem 3 kenmerken van boxplots
- 3 kwartielen plotten, midlijn geeft mediaan aan.
- Boxen geven 1e en 3e kwartiel aan: 50% vd data binnen deze twee boxen
- Geen outliers dan einde verticale lijn is min en max
Welke visualisatie wordt gebruikt voor categorische variabelen en waarom?
Staafdiagrammen, omdat er geen continue variabele is om op de x-as te plaatsen. Daar komen categorieen te staan en datapunten op y-as. Kan geen density plot generaliseren en geen verdelingsvormen!
Wat is een overeenkomst tussen histogrammen en staafdiagrammen?
Geven een beeld van de verdeling van een variabele, van de absolute en relatieve frequenties voor elke meetwaarde
Noem 2 mogelijke conclusies van afwijkende verdelingen van een meetinstrument
- Deelnemers in deze populatie en context zijn anders dan de deelnemers uit de oorspronkelijke populatie waar het meetinstrument ontwikkeld is
- Meetinstrument is niet valide in de betreffende populatie en context
In praktijk gaan vaak beide op
Noem 3 bijzondere meetmodellen mbt verbanden tussen items
- Parallelle meetmodel
- Tau-equivalente meetmodel
- Congenerieke meetmodel
Beschrijf het parallelle meetmodel
- Aanname: alle items zijn parallelle metingen. Zelfde gemiddelde, variantie, onderlinge samenhang
- Alle items zouden even sterk met elkaar moeten correleren
- Nadeel: Bijna nooit realistisch
Benoem 2 voorwaarden van het tau-equivalente meetmodel
- Alle items meten dezelfde onderliggende (latente) variabele/ alle items in het meetinstrument moeten even sterk laden in een 1-factor factoranalyse /
- Vereist gelijke covarianties tussen items. Covarianties zijn niet gestandaardiseerd, daarom vereist het ook gelijke varianties in de praktijk
- Nadeel: gelijke covarianties en varianties is zelden het geval
Benoem 2 eigenschappen van het cogenerieke meetmodel
- Unidimensionaliteit van items: alle items meten hetzelfde onderliggende construct
- Nadeel: weinig psychologische constructen
Beschrijf interne consistentie tussen items
Maat voor de mate waarin de items in een meetinstrument met elkaar samenhangen.
Betrouwbaarheid meetinstrument
Wat is meetinvariantie?
Als het meetinstrument op dezelfde manier werkt in verschillende groepen
Noem 3 aspecten die helder moeten zijn bij validiteit
- Precieze definitie van het construct (welke aspecten van de psychologie omvat het WEL en NIET)
- Operationalisaties
- Responmodellen bij de items
Wat beschrijft het responsmodel
Hoe het doelconstruct de door het meetinstrument geregisteerde responsen veroorzaakt: de causale kettingen van het betreffende construct naar de responsen die het meetinstrument registreert
Noem 4 aspecten waarover verwachtingen zijn
- verdeling vd responsen per item
- verbanden tussen de items
- verbanden van de items met de datareeksen vd meetinstrumenten voor andere constructen
- verbanden tussen de geaggregeerde scores en datareeksen vd instrumentne voor andere constructen
Wat is meetfout?
Dat deel van een meetscore dat puur door toeval tot stand komt
Noem 2 kenmerken van betrouwbaarheid (volgens klassieke testtheorie)
- Proportie vd variantie in de (geobserveerde) testscores die door de ware scores worden veroorzaakt
- Betrouwbaarheid is kwadraat van de correlatie tussen 2 parallelle meetinstrumenten –> betrouwbaarheid inschatten
Noem 5 uitdagingen van test-hertestbetrouwbaarheid
- Mensen veranderen continu
- Mensen herinneren zich dingen
- Transient error
- Termijn tussen metingen
- Meetfout onderschatten
Wat is test-hertestbetrouwbaarheid?
- De betrouwbaarheid van een test, gebaseerd op twee afnames. Tweede toepassing van het meetinstrument als parallelle versie van zichzelf gebruiken.
- Voordeel: Voldoen aan de eisen die je stelt aan een parallelle test (zelfde ware scoren voor een gegeven individue en evenveel meetfout)
- Nadeel: mensen 2x meten –> ((on)willekeurige)) drop outs
Wat is transient error?
De meetfout die veroorzaakt wordt door tijdafhankelijke factoren
Wat is de interne consistentie?
- Mate waarin items in een meetinstrument hetzelfde meten
- Kan worden gebruikt als schatting voor de betrouwbaarheid van meetinstrument –>
- Schatters voor betrouwbaarheid obv een enkele afname van een meetinstrument
Noem 3 eigenschappen van split-half betrouwbaarheid
- Maat voor interne consistentie. Items van meetinstrument in twee helften verdelen–> twee parallelle tests –> gemiddelde berekenen –> correlatie ^2 = schatting betrouwbaarheid elke helft
- Probleem: verschillende manieren helften verdelen –> coefficient alpha
- Probleem: aanname geen transient error –> onrealistisch bij psychologisch onderzoek!! = nadeel
Noem 2 redenen waarom Coefficient Alpha populaire maat is
- Eenvoudig te berekenen
- Beschikbaar in SPSS
Noem 3 kenmerken van coefficient alpha / cronhachs alpha
- Gemiddelde van alle mogelijke split-half betrouwbaarheden
- Nadeel: ontbreken transient error en vereist tau-equivalent meetmodel –> strenge voorwaarden
Noem 2 eigenschappen van coefficent H
- Gaat uit van verschillende factorladingen
- Gebruikt die informatie om een betere schatting van de betrouwbaarheid van de schaal te geven
- Makkelijk te berekenen (met de hand)
Noem 2 eigenschappen van de Greatest Lower Bound
- De grootste set van betrouwbaarheidsschatters
- Niet makkelijk met de hand te berekenen
Noem 3 eigenschappen van Omega
- 3 varianten: McDonald’s, Tavelle’s en Hierarchische.
- Niet eenvoudig te berekenen, software nodig
Wat is McDonald’s Omega?
Aanpassing van coefficient alpha zodat de strenge aanname van tau-equiavalentie niet meer nodig is
Wat is Ravelle’s Omega?
Alternatieve manier om omega te berekenen mbv bifactor model: elk item laadt op algemene factor EN >/ 1 kleinere factoren EN eigen factor (die voor de error staat). Alle factorladingen gebruikt om betrouwbaarheid in te schatten –> iets hogere schattingen
Wat is de hierarchische omega?
Gebruikt ook bifactormodel, kijkt alleen naar ladingen op de ene onderliggende factor
Welke betrouwbaarheidsmaat moet je gebruiken? Afh van
- Behoeften
- Mogelijkheden
- Meetmodel
Wat zijn betrouwbaarheidsanalyses?
Onderzoeken van onderdelen van een. meetinstrument.
Wanneer gebruik je de Spearman-Brown formule?
Als alle items in een meetinstrument even betrouwbaar zijn