6. Structural validity & internal consistency Flashcards
Definieer structural validity
= De mate waarin de scores van een instrument een adequate afspiegeling zijn van de dimensionaliteit van het te meten construct
Ofwel, hoe goed de interne structuur van een meetinstrument overeenkomt met het onderliggende theoretische construct dat het geacht wordt te meten
Waar verwijst de interne stuctuur (internal structure) van een meetinstrument naar? En wanneer is dit relevant?
- De kwaliteit van individuele items
- De relatie tussen items
Dit is alleen relevant voor een instrument met meerdere items, gebaseerd op een reflectief model (in een reflectief model zijn de items met elkaar gecorreleerd)
Hoe kan Structurele validiteit worden geëvalueerd?
Twee methoden:
- Factor Analysis (FA)
- Item Response Theory (IRT)
Waar wordt Factor Analysis (FA) voor gebruikt?
- Om de structurele validiteit van een meetinstrument te beoordelen
- Om de dimensionaliteit van een meetinstrument te onderzoeken
- Voor data reductie (verminderen van het aantal items)
Wat is het belangrijkste pricipe van Factor Analyse?
Between item correlaties
Wat is een voorwaarde voor het uitvoeren van een Factor Analyse?
Kan alleen worden gebruikt voor reflectieve modellen
Wat wordt er precies bedoelt met data reductie middels Factor Analyse?
Bijvoorbeeld door: (1) het verminderen van het aantal variabelen, door twee of meerdere variabelen te combineren tot een factor, of (2) vermindering van het aantal items door items die niet binnen één van de factoren clusteren te elimineren
Welke twee typen Factor Analyse zijn er? En wat is het belangrijkste verschil?
1. Exploratory Factor Analysis (EFA)
* Geen sterke ideën over het aantal en de soorten factoren (inhoudelijk) = ontwikkelingsfase
2. Confirmatory Factor Analysis (CFA)
* Hypothese gedreven, testen of de data past bij een apriori gedefinieërde structuur; het verwachte aantal factoren, en items binnen factoren wordt vooraf gespecificeerd = evaluatie fase
Hoe gaat Factor Analyse te werk?
Collect data –> schatting van ‘factor loadings’ gebaseerd op het vooraf gedefinieerde modeltype (EFA of CFA) –> beslissen over het aantal factoren (EFA) of de model fit (CFA)
Hoe ziet de data-structuur van een Factor Analyse er uit?
Cross-sectioneel
Op basis waarvan worden de ‘factor loadings’ geschat/berekend?
Inter Item Correlations –> correlation of covariance matrix
Of note: if all items highly correlate with each other, it is probably a unidimensional scale
Wat is een ‘factor loading’
De sterkte van de relaties tussen een item en de onderliggende factoren
Score is estimated using the observable variables (factors are latent, unobservable variables)
Hoe worden de factor loadings gepresenteerd bij een EFA en een CFA?
- Bij EFA krijg je een factor loading voor elke factor
- Bij CFA krijg je slechts één factor loading; elk item past maar bij één factor
Op basis waarvan concludeer je in een EFA het aantal factors?
Op basis van eigenvalues
= the sum of all squared factor loadings, (per factor); measure of variance accounted for by that factor
Twee manieren:
1. Kaiser criterion
= all factors with eigenvalues > 1
2. Scree test
= plot eigenvalues (look for number of datapoints above the ‘break’/ elbow)
Op basis waarvan bepaal je bij een CFA de model fit?
Op basis van fit parameters:
- CFI = Comparative Fit Index
- TLI = Tucker Lewis Index
- RMSEA = Root Mean Square Error of Approximation
- SRMR = Standardized Root Mean Square Residual
Welke waarden moeten de model fit parameters van een CFA hebben voor een ‘goede fit’?
CFI: dichtnij 0.95 of hoger
TLI: dichtbij 0.95 of hoger
RMSEA: dichtbij 0.06 of lager
SRMR: dichtbij 0.08 of lager
Wat kun je doen als je CFA model geen goede fit heeft?
- Andere modellen testen
- Assumpties checken (bijv. reflectief model)
- Concluderen dat er slechte structural validity is
- PROM verbeteren (door het verwijderen of vervangen van items)
- Negeren, bij een gebrek aan een betere oplossing
Wat zijn andere mogelijke typen modellen die mogelijk zijn bij een CFA?
Hierachical model
construct - items - factor(en)
Bifactor model
factor(en) - items - construct
Wat is Internal consistency?
De mate van onderlinge samenhang tussen de items
- Maakt deel uit van reliability (betrouwbaarheid)
- De items worden gezien als herhaalde metingen van hetzelfde construct (= een specifciek construct = unidimensional)
Waarm is internal consistency niet hetzelfde als unidimensionaliteit?
Unidimensionality verwijst naar de mate waarin items hetzelfde onderliggende construct meten (dit kan worden geanalyseerd met factor analyse)
Interne consistentie wordt beoordeeld per unidimensionele (sub)schaal
Hoe kan je de interne consistentie van een meetinstrument beoordelen?
Dit wordt meestal gedaan aan de hand van de Cronbach’s alpha
>0.70
Cronbach’s alpha can be seen as the mean correlation of all possible split-half correlations
