College 6 Flashcards
Wat voor meetfout gaat KTT vanuit?
-toevallige meetfouten
Standaardmeetfout (SEM)
-de standaarddeviatie van alle mogelijke scores als iemand oneindig vaak getest zou worden
-gebruikt om de toevallige meetfout in te schatten
-het gemiddelde van de verdeling van oneindige scores is de werkelijke score (T) en SEM=SD
-hoe kleiner het betrouwbaarheidsinterval, hoe minder SEM, hoe betrouwbaarder de scores
Hoe optimaliseer je betrouwbaarheid?
-minimaliseren van de variantie van de meetfout
-maximaliseren variantie ware scores
Standaard error of estimates (SE)
-schattingsfout/SE
-gebruik je om systematische meetfouten in te schatten
-regressielijn: range rondom de voorspelde score van test A bij een bepaalde score op test B
-bij systematische testfout is test niet meer valide
-hoe smaller betrouwbaarheidsinterval rond regressielijn, hoe smaller de precieze voorspelde score
Met welke meetfout hangen betrouwbaarheid en validiteit samen?
-toevallige meetfout (SEM): betrouwbaarheid
-systematische meetfout (SE): validiteit
Cultural test bias hypothesis (CTBH)
-verschillen in gemiddeldes tussen verschillende groepen worden veroorzaakt door biases van de test of het meetproces en zijn niet te vinden in het echte leven
-het zou een grote maatschappelijke impact hebben als deze theorie waar is
-als de betrouwbaarheid van een test omlaag gaat, gaat de kans op aanwezigheid van biases in de test omhoog
Culturele bias
-witte mensen scores op IQ testen gemiddeld 1 sd hoger dan zwarte mensen
etiologie
-als verschillen in gemiddelden tussen groepen echt bestaan kan je etiologie bestuderen
eerlijkheid/fairness van een test
-persoonlijke eigenschappen die niet van belang zijn voor de te meten eigenschappen mogen geen invloed hebben op de testresultaten of op de interpretatie ervan
Differential predictive validity
-suggereert dat een test een construct nauwkeuriger meet en een betere voorspelling maakt voor de groep waarop deze test gebaseerd is een niet voor de andere groep
Cultural loading
-de mate waarin culturele specificiteit in een test of individueel testitem aanwezig is.
-hoe meer geladen, hoe groter de kans op biases
Mean difference definition of test bias
-als er verschillen zitten in groepsgemiddeldes zegt dit niet meteen dat de test gebased is.
Egalitarian fallacy
-dat de verdelingen van gemiddeldes voor alle groepen gelijk zijn
-niet altijd juist
Content bias
-bv. wanneer bij MC vragen een afleider vaker wordt gekozen door de ene groep dan door de andere groep
Differential item functioning (DIF)
-IRT techniek die bias kan opsporen
-vergelijk ICC van twee verschillende groepen, met een DIF index: trek vanaf een P van 0,5 een lijn en lees af welke vaardigheid nodig is om te kijken of het item moeilijker is voor een bepaalde groep
-je kunt gedeelde correlatie uitrekenen
Decision-theory models
-helpen personen om vast te stellen hoeveel informatie een predictor test nodig heeft om beslissingen te nemen over classificaties
-het hangt af van een cut-off point of wel of geen sprake is van een problematische testcore
Hoe bepaal je een optimaal cut-off point?
-kijk naar jou conclusie en de scores van andere gevalideerde testen
-sensitief genoeg, dat iemand met een probleem een positieve uitslag krijgt
-specifiek genoeg, dat iemand zonder probleem een negatieve uitslag krijgt
-positief voorspellend; iemand met een positieve uitslag moet het probleem ook echt hebben
-negatief voorspellend; als iemand een negatieve uitslag heeft moet die het probleem niet hebben
-twee perspectieven: je kan bereden vanuit het probleem en vanuit de test
Wat zijn een wenselijk en onwenselijk scenario van de decision -theory model?
-wenselijk: true positive (A), true negative (D)
-onwenselijk: false negative (C), false positive (B)
Formule sensitiviteit
-aantal true positives tov van iedereen met probleem
-A/(A+C)=…%
Formule specifiviteit
-aantal true negatieven tov van iedereen zonder het probleem
-D/(B+D)=…%
Formule positief voorspellende waarde
-A/(A+B)=…%
Formule negatief voorspellende waarde
-D/(C+D)=…%
Zeldzame conditie decision theory model
-probleem komt weinig voor
-lage positieve voorspellende waarde, doordat er veel mensen zijn met een positieve testuitslag zonder probleem
-multiple-gating procedure: meerdere screeningstesten met dezelfde meetpretentie afnemen en kijken of het testresultaat hetzelfde is
-bij screening: sensitiviteit>specificiteit
Assesment accomodations
-veranderingen in standaard procedure/testen die worden doorgevoerd om de impact van de beperkingen van personen te minimaliseren, die irrelevant zijn voor het construct dat wordt gemeten
-ondersteuningsbehoefte
-doel van aanpassingen is om zo valide en accuraat mogelijk de metingen te verrichten van de score op het construct
3 situaties waarin testen aanpassen niet nodig is
-als aangetaste vaardigheid direct gerelateerd is aan construct
-als doel van de test is om aan- of afwezigheid van ondersteuningsbehoeften te meten
-aanpassingen moeten uniek een op maat zijn om de behoeften van elk individu tegemoet te komen, dus hoeft niet bij elke test
ELL
-English language learner
Flags
-sterretjes zetten bij het onderzoeksresultaat als er voor sommige mensen aanpassingen zijn gedaan
-is niet elke onderzoeker het mee eens
Europese ethische code met 4 principes
-respect voor individuele rechten en waardigheid van anderen
-professionele competentie (expertise)
-verantwoordelijkheid
-professionele integriteit
