Hoofdstuk 6 deel 1. Flashcards
Hoofdstuk 6
Formules die bekend dienen te zijn: 6.1, 6.9, 6.10, 6.11, 6.16, 6.25, 6.26, 6.40, 6.45, 6.46,
de formule onder 6.46, 6.47 en de formule onder 6.47.
ook speciale aandacht voor:
o verklaringen fluctuatie testscores; definitie betrouwbaarheid
(formule 6.15!); betrouwbaare score, betrouwbaarheid en manieren
om betrouwbaarheid te bepalen; gemiddelde meetfout (formule
6.4); betrouwbaarheidsindex en correlatie; betrouwbaarheid en
validiteit; Spearman-Brown formule (toepassen formule);
Cronbach’s alpha als ondergrens
Gaat het om betrouwbaarheid of om validiteit.
de mate van herhaalbaarheid van metingen, dus een zelfde persoon die onder
gelijkblijvende condities diverse malen dezelfde test krijgt, zou bij hoge ….. telkens
een gelijkaardige score moeten krijgen
Betrouwbaarheid
2 vragen dringen zich op:
* Is het zinvol om dezelfde persoon meermaals dezelfde test voor te leggen?
- Wat moet men zich voorstellen bij gelijkblijvende condities tijdens opeenvolgende testsessies?
de mate van herhaalbaarheid van metingen.
is dit betrouwbaarheid of validiteit
betrouwbaarheid
De centrale vooronderstelling is dat er een ware score is en dat alle afwijkingen bij het meten
slechts ruis rond de waarheid is. Om alle meetfout als ruis rond een ware score te zien moet
de ruis aan een aantal voorwaarden voldoen. Wanneer een test aan een voldoende grote
groep personen of meerdere malen aan een persoon wordt afgenomen, kan op grond van het
bovenstaande worden afgeleid dat de gemiddelde meetfout 0 is en dat het gemiddelde van
de geobserveerde testscores gelijk is aan het gemiddelde van de ware scores
Omdat iedere
individuele testscore een meetfout bevat, bestaat de variantie van de scores bij de afnames
bij meerdere personen niet alleen uit variantie van de ware scores
(▌betrouwbare variantie),
maar ook uit variantie die aan de meetfouten kan worden toegeschreven
(▌foutenvariantie).
De betrouwbaarheid van een test kan nu worden gedefinieerd als de ratio van de variantie
van de betrouwbare score en de geobserveerde score.
Bij de bovenstaande formulering van betrouwbaarheid, doen zich twee vragen voor: of men
dezelfde persoon wel zinvol diverse malen dezelfde test kan voorleggen, en wat men zich
moet voorstellen bij gelijkblijvende condities tijdens opeenvolgende testsessies.
Een zinvolle herhaalbaarheid van metingen in hoge mate wordt bemoeilijkt door geheugeneffecten
en leerprocessen, die zich al vanaf een 2e afname doen gelden. Herhaalbaarheid van metingen
moet dus gezien worden als een hypothetisch gedachte-experiment, waarbij de testprestaties van
verschillende metingen onafhankelijk van elkaar zijn: de persoon leert er niet uit en herinnert zich
niet van voorgaande sessies
Naast bedoelde eigenschappen, meet een test ook vaak onbedoelde eigenschappen. Zo kan woord
begrip bij een test voor numerieke vaardigheden een systematische invloed hebben op de test
prestaties. De betrouwbaarheid van de testscore wordt zowel door de bedoelde numerieke
eigenschap als de onbedoelde woordbegrip eigenschap bepaald, want het gaat om
herhaalbaarheid, inclusief bedoelde en niet-bedoelde effecten.
Voor de herhaalbaarheid van metingen zijn meespelende stabiele eigenschappen van
ondergeschikt belang. Instabiele eigenschappen zoals motivatie, emotionaliteit en stemming
kunnen een rol spelen, maar zorgen nog steeds voor onafhankelijkheid van de afnemingen.
Wanneer wordt deze onafhankelijkheid wel geschonden? P12
Als de veranderlijkheid het gevolg is van de testprocedure, bijv door andere testprestaties door
oefening.
Personen kunnen ook van afneming tot afneming veranderen. Deze veranderlijkheid mag niet het
gevolg zijn van de testprocedure, maar moet dan een veranderlijke instabiele eigenschap zijn zoals
motivatie, emotionaliteit of stemming
Hoe komt het dat testscores in een hypothetisch gedachte-experiment toch fluctueren over
herhaalde afnemingen onder gelijkblijvende condities? In feite gaat men ervan uit dat er invloeden
op de testprestatie inwerken die op onvoorspelbare of toevallige wijze variëren over herhaalde
afnemingen van de test, bvb black out of helder moment. Over een groot aantal metingen bij
dezelfde persoon heffen deze voor en nadelen elkaar echter op. Indien dit niet zou zijn, dan
veroorzaken deze invloeden toch een zekere stabiliteit in de testprestatie waardoor hun effecten
niet geheel onvoorspelbaar of toevallig zijn. Alle factoren die ten grondslag liggen van toevallige
invloeden op testgedrag zijn gebonden aan een specifieke testsessie.
Voorbeeld: iemand met een concentratiestoornis zal over een groot aantal testen gemiddeld lager
scoren dan wanneer hij deze stabiele eigenschap niet zou hebben, het gaat dus niet om een
onvoorspelbaar of toevallig fenomeen.
Hoe kan het gedachte-experiment bij herhaalde metingen worden samengevat? P193
Herhaalbaarheid van metingen kan worden beoordeling indien we een persoon vele malen dezelfde
test onder gelijkblijvende condities kunnen voorleggen, waarbij de testprestaties bij verschillende
afnemingen onafhankelijk van elkaar zijn; er wordt niet geleerd van de afnemingen en de persoon
herinnert zich niets van de vorige afnemingen
De klassieke testtheorie brengt de relatieve inbreng in kaart van de over afnemingen
onvoorspelbare invloeden op de testprestaties en de over de afnemingen systematisch werkzame
eigenschappen van personen en testsituatie. Dit soort van herhaalde metingen worden ook wel
………………….. genoemd.
A afhankelijke replicaties
B onafhankelijke replicaties
onafhankelijke replicaties
De klassieke testtheorie analyseert hoe verschillende factoren, zowel onvoorspelbare als consistente, invloed hebben op de prestaties van een test bij herhaalde metingen. Deze herhaalde metingen worden ook wel aangeduid als “…………………..”.
6.2 De klassieke testtheorie
De klassieke testtheorie stamt al uit het begin van de 20e eeuw, maar de definitieve formulering werd aan het einde van de jaren 60 gepubliceerd. Sinds de laatste publicatie is aan de
grondvesten niet meer getornd, en hebben theoretici zich vooral gericht op een nieuwe klasse
van testmodellen, meestal aangeduid met de naam ………………..
item-responstheorie.
Betrouwbare score en meetfout
In de klassieke testtheorie wordt iemands testscore opgesplitst in:
- T: constant of systematisch deel (‘true score’). Bij onafhankelijke replicaties van een meting
dragen de volgende factoren bij aan een bepaalde mate van constantie in iemands testscore: - Factoren gebonden aan de persoon.
- Factoren gebonden aan de testsituatie.
- E: toevallig of niet-systematisch deel (‘error’ of meetfout). Andere factoren zijn gebonden aan
een specifieke eenmalige testsessie waardoor hun invloed op de testscore over onafhankelijke
replicaties is onvoorspelbaar.
In de klassieke testtheorie wordt een testscore opgedeeld in een constant of systematisch deel en
een toevallig of niet systematisch deel. Dit wordt aangetoond met de volgende formule:
Xij = Ti + Eij . Waar staan deze letters voor? P195
Xij = geobserveerde testscore behaald tijdens replicatie (j= i…,q)
Ti = systematisch deel (ware/betrouwbare component)
Eij = toevallig deel (E staat voor error, oftewel meetfout)
Doordat de T een constante is wordt de j weg gelaten\
de ij is in kleine letters
Tot nu toe stond het onderscheid tussen betrouwbare score en meetfout centraal. Men zou ook een
onderscheid kunnen maken tussen:
* Bedoelde factoren.
* Onbedoelde factoren.
Naar analogie met de opsplitsing van de geobserveerde score in een betrouwbaar of systematisch
deel en een toevallig niet-systematische deel, kan dan onderscheid gemaakt worden tussen:
*A t. Bvb test voor rigiditeit bedoelt rigiditeit te meten,
maar meet tevens emotionaliteit, agressiviteit en woordbegrip. Dit valt niet samen met de
betrouwbare score.
B Dit bevat tevens de meetfout bevat: dit valt niet samen
met de meetfout alleen. Het bevat dus bevat tevens de meetfout, maar valt er niet
mee samen. De bedoelde scorecomponent valt dan ook niet samen met de betrouwbare
score. In de praktijk gelden altijd ongelijkheden. Een test met een hoge betrouwbaarheid meet
niet noodzakelijk in belangrijke mate datgene wat men bedoelt te meten.
A = Bedoeld deel/bedoelde scorecomponen
B * Onbedoeld deel/onbedoelde scorecomponent die
Waar hebben we het over als we spreken van begripsvaliditeit
A Een test met een hoge betrouwbaarheid meet noodzakelijk in belangrijke mate datgene wat
men bedoelt te meten! (Begripsvaliditeit)
B Een test met een hoge betrouwbaarheid meet niet noodzakelijk in belangrijke mate datgene wat
men bedoelt te meten! (Begripsvaliditeit)
B Een test met een hoge betrouwbaarheid meet niet noodzakelijk in belangrijke mate datgene wat
men bedoelt te meten! (Begripsvaliditeit)
Er zijn 2 benaderingen voor het schatten van de betrouwbaarheid:
De eerste is gebaseerd
op twee testafnemingen, de tweede op een enkele testafneming
Binnen de eerste benadering zijn er twee mogelijkheden. De eerste mogelijkheid maakt gebruik van twee verschillende
▌paralleltests, die equivalent of inwisselbaar zijn en de rol spelen van onafhankelijke replicatie. De correlatie tussen deze twee tests wordt ▌paralleltestbetrouwbaarheid genoemd
tweede mogelijkheid is gebaseerd op twee afnemingen van dezelfde test, waarbij de tweede
afneming de rol speelt van onafhankelijke replicatie. De correlatie tussen de twee testscores
wordt de ▌test-hertestbetrouwbaarheid genoemd.
Ook binnen de tweede benadering zijn er twee varianten.
De eerste, de ▌splitsingsmethode,
is gebaseerd op de splitsing van de test in twee halve tests met evenveel items. Deze halve
tests spelen de rol van parallelle tests. Er wordt gecorrigeerd voor het feit dat het om halve
tests gaat, en het resultaat is een schatting van de paralleltestbetrouwbaarheid. De tweede
methode, de ▌interne-consistentiemethode, is gebaseerd op de covarianties tussen alle items
en leidt tot een ondergrens van de betrouwbaarheid
Je hebt dus herhaalde meting en daaronder vallen.
- parraleltest ( parralelvormmethode)
- dezelfde test ( test-hertestmethode)
en je hebt de eenmalige meting en daaronder valt.
- twee helften ( Splitsingsmethode)
-items ( interne- consistentiemethode)
Wat wordt er hier beschreven.
Omdat onafhankelijke replicaties in werkelijkheid niet bestaan, is gezocht naar een realistische benadering van deze situatie, door het gebruik van twee inwisselbare tests. De vraag is
uiteraard wat we verstaan onder inwisselbare maar niet-identieke tests.
We gebruiken de
term ……….en definiëren die wiskundig. Uit deze definitie volgt dat de correlatie tussen scores op twee parallelle tests gelijk is aan de betrouwbaarheid van de afzonderlijke
scores. Uitgaande van twee tests I en II, en ruwe scores XI en XII, en scores van persoon i van
XiI en XiII, noemen we twee tests parallel als voor iedere i uit een populatie geldt dat
a test hertest methode
b splitisngemethode
c parallelle tests
d intere - consitentiemethode
parraleltest ( parralelvormmethode)
Welke methode wordt e rhiet beschreven
deze methode kan worden beschouwd als een poging om het ideaal van onafhankelijke replicaties te realiseren. De procedure komt er op neer dat dezelfde test met een
behoorlijke tussentijd tweemaal aan dezelfde groep wordt voorgelegd. De correlatie tussen
beide ruwe scores is in de populatie gelijk aan de betrouwbaarheid van de test, mits beide
afnemingen als onafhankelijke replicaties kunnen worden beschouwd
a test hertest methode
b splitisngemethode
c parallelle tests
d intere - consitentiemethode
De test-hertestmethode
wat wordt er hier beschreven
bij deze van methodes van betrouwbaarheidsbepaling die uitgaat van een enkele testafneming
is die van de interne consistentie. Cronbachs alfa behoort tot deze groep van methoden. Ze
zijn gebaseerd op de inwisselbaarheid van de individuele items in een test. Cronbachs alfa kan
ook gebaseerd zijn op groepjes items, die dan inwisselbaar dienen te zijn.
De procedure is eenvoudig: de test wordt eenmalig voorgelegd aan een representatieve
groep. De scores op de items vormen de basis voor de berekeningen. Alle covarianties tussen
de items worden berekend, alsmede de variantie van X. Tezamen met het aantal items k worden deze resultaten ingevuld in een van de vele coëfficiënten van interne consistentie, die dan
worden gebruikt als schattingen van de betrouwbaarheid rXX’. De bekendste coëfficiënt is alfa.
D
Wat is waar
a Betrouwbaarheid impliceert geen validiteit. Daarentegen is een onbetrouwbare testscore wel
altijd ook invalide. K
b Betrouwbaarheid impliceert geen validiteit. Een onbetrouwbare testscore is daardoor ook niet invalide.
a Betrouwbaarheid impliceert geen validiteit. Daarentegen is een onbetrouwbare testscore wel
altijd ook invalide. Kennelijk is in dit geval de operationalisering van het te meten begrip zo
ongelukkig, dat de testscore vooral uit meetfouten bestaat, die nergens mee correleren.
Het uiteindelijke doel van een test ligt in de gebruiksmogelijkheden. Bij het realiseren van dat
doel is betrouwbaarheid een noodzakelijke, maar niet voldoende voorwaarde.
