C4 - Betrouwbaarheid Flashcards
Wat zijn de 3 kenmerken van betrouwbaarheid?
- consistentie en reproduceerbaarheid van scores
- is een vereiste voor validiteit (wat je beoogt te meten)
- is een kenmerk van een score, niet van een test zelf
(Je kunt niet zeggen of een test wel/niet betrouwbaar is alleen of de scores wel/niet betrouwbaar zijn)
Welke formule past bij de Klassieke Test Theorie (KTT)?
Elke geobserveerde score (X) bestaat uit:
1. Ware score (T)
2. Meetfout (e)
dus –> X=T+e
Wat zijn 3 assumpties van KTT?
- Het gemiddelde van de meetfouten (=error) is nul (want de error is random)
- De correlatie tussen de ware score en de meetfout (=error) is nul
- De correlatie tussen de meetfout (=error) en verschillende metingen is nul
Wat is een ‘Content sampling error’?
testitems die gekozen zijn dekken niet het hele domein
Wat is een ‘time sampling error’?
fout door timing van de test (individuele factoren - moe, honger, angst & omgevingsfactoren - herrie, temperatuur)
Wat zijn 4 typen van betrouwbaarheid?
- Test-hertestbetrouwbaarheid
- Parallelle test-betrouwbaarheid
- Interne consistentie (split half betrouwbaarheid = test in 2 delen splitsen en items matchen)
- Interbeoordelaarsbetrouwbaarheid
Wat is ‘Test-hertest-betrouwbaarheid’?
Zelfde instrument meet op 2 momenten ook hetzelfde (geen carry over effect=geheugen, oefening)
Wat is Parallelle test-betrouwbaarheid?
Twee gelijkwaardige vormen van dezelfde test, maar verschillende items
Wat is interne consistentie?
uitgedrukt als Cronbach’s alpha = homogeniteit van scores binnen een domein
Wat is interbeoordelaarsbetrouwbaarheid?
meet de mate waarin 2 beoordelaars tot dezelfde conclusie komen
Wat is Standaard Meetfout (SEM)?
= de spreiding van geobserveerde scores rondom de ware score
Wat is het betrouwbaarheidscoëfficiënt?
= de mate waarin 2 metingen met elkaar overeenkomen
Wat is het verband tussen SEM en betrouwbaarheid
Hoe kleiner SEM, hoe hoger de betrouwbaarheid
Hoe kun je betrouwbaarheid vergroten? (3)
- Het aantal items vergroten (met behoud van kwaliteit)
- Gestandaardiseerde afnamecondities waarborgen
- Duidelijke scoringsprocedures opstellen
Wat is Item Characteristic Curve (ICC)?
grafiek met vermogen op x-as en kans op correct antwoord op y-as
- moeilijkheidsgraad = b (hoe hoger, hoe moeilijker het item)
- discriminatieparameter = a (hoe hoger a, hoe beter onderscheidend)
Welke verschillende correlatiecoëfficiënten gebruik je voor welke schaal?
- Pearson –> interval & ratio schaal
- Spearman –> ordinale schaal
- Point-biserial –> dichotome score relateren aan interval/ratio schaal (=2 waardes)
Welk soort fouten horen bij Klassieke TestTheorie?
random meetfouten
Op welke 2 manieren kun je betrouwbaarheid uitdrukken?
- Standaardmeetfout (SEM)
- Betrouwbaarheidscoëfficiënt
Wat is de KTT?
Klassieke Testtheorie
→ Betrouwbaarheid van een test hangt af van de kwaliteit van losse items
Uit welke 4 dingen bestaat de KTT?
P (moeilijkheidsgraad) → niet te hoog/laag
D (discriminatie-index) → goed onderscheidend (hoger = beter item)
r-it / r-ir (item-totaal correlatie) → item past goed bij de hele test (hoger= beter item)
α if item deleted (hoger ↑ = slechter item)
Wat is de vernieuwde versie van KTT? (welke 2 letters horen hierbij)
IRT
- moeilijkheidsgraad = b
- discriminatieparameter = a
Wat zijn 3 speciale mogelijkheden bij IRT?
- Computer adaptive testing = test automatisch moeilijker als je goede antwoorden geeft
- Detecting biased items = ICC’s voor verschillende groepen maken en vergelijken
- Reliability = IRT modellen geven ook info over betrouwbaarheid
