Taak 2

Question 1

Reliability

Answer 1

Betrouwbaarheid verwijst naar de consistentie van een meetmethode. Als dezelfde methode wordt gebruikt voor dezelfde steekproef onder dezelfde omstandigheden, zou het hetzelfde resultaat moeten opleveren. Tests die vrij zijn van meetfouten worden als betrouwbaar beschouwd.

Question 2

4 type reabiliteit:

Answer 2

Test-hertest betrouwbaarheid
interbeoordelaarsbetrouwbaarheid (Interrater reliability)
Parallelle vormen betrouwbaarheid (Parallel forms reliability)
Interne consistentie (Internal consistency)

Question 3

Test-hertest betrouwbaarheid (Test-retest reliability)

Answer 3

Test-hertest betrouwbaarheid meet de consistentie van resultaten wanneer dezelfde test op dezelfde steekproef op een ander moment wordt herhaald. Het wordt gebruikt om iets te meten dat naar verwachting in de loop van de tijd stabiel blijft. Test-hertest betrouwbaarheid is belangrijk om te bepalen hoe goed een methode bestand is tegen factoren die de resultaten kunnen beïnvloeden.

Voorbeeld;

Question 4

Interbeoordelaarsbetrouwbaarheid (Interrater reliability)

Answer 4

Interbeoordelaarsbetrouwbaarheid meet de mate van overeenstemming tussen verschillende mensen die hetzelfde waarnemen of beoordelen. Het zorgt ervoor dat verschillende onderzoekers of beoordelaars dezelfde resultaten verkrijgen. Het is belangrijk om subjectiviteit te minimaliseren en consistentie tussen beoordelaars te waarborgen.
(andere drie zijn beter)

Question 5

kritiek interbeoordelaarsbetrouwbaarheid

Answer 5

Subjectiviteit: Omdat beoordelaars hun eigen interpretaties en perspectieven hebben, kan er een gebrek aan objectiviteit zijn in de beoordelingen. Dit kan leiden tot inconsistenties tussen beoordelaars en lagere betrouwbaarheid.

Onduidelijke criteria: Als de criteria voor beoordeling niet duidelijk zijn gedefinieerd en niet consistent worden toegepast door beoordelaars, kan dit leiden tot inconsistenties in de beoordelingen en lagere betrouwbaarheid.

Training en ervaring: Beoordelaars kunnen verschillende niveaus van training en ervaring hebben, wat invloed kan hebben op hun beoordelingen. Onvoldoende training of onervarenheid kan leiden tot lagere interbeoordelaarsbetrouwbaarheid.

Question 6

Parallelle vormen betrouwbaarheid (Parallel forms reliability)

Answer 6

Parallelle vormen betrouwbaarheid meet de correlatie tussen twee equivalent versies van een test. Het wordt gebruikt wanneer er twee verschillende beoordelingsinstrumenten zijn ontworpen om hetzelfde te meten. Hoge parallelle vormen betrouwbaarheid geeft aan dat beide versies van de test consistente en betrouwbare resultaten geven.

Question 7

Interne consistentie (Internal consistency)

Answer 7

Interne consistentie beoordeelt de correlatie tussen meerdere items in een test die is ontworpen om hetzelfde construct te meten. Het zorgt ervoor dat alle items in de test hetzelfde aspect meten. Interne consistentie kan worden gemeten met methoden zoals gemiddelde inter-item correlatie of split-half betrouwbaarheid.

Question 8

Cronbach’s alpha

Answer 8

Cronbach’s alpha is een maat voor interne consistentiebetrouwbaarheid. Het kwantificeert de mate waarin items in een schaal met elkaar gecorreleerd zijn. Cronbach’s alpha varieert van 0,00 tot 1,00, waarbij hogere waarden wijzen op een hogere interne consistentie. Cronbach’s alpha wordt gebruikt om de betrouwbaarheid van een test of vragenlijst te schatten.

Question 9

Reliability meestal geschat door een van drie manieren

Answer 9

test-retest, parallel forms, internal consistency

Question 10

Hoe kun je de bron van de meetfout vinden bij het evalueren van de reliability?

Answer 10

• Test-retest method - Een methode om de betrouwbaarheid van een test te schatten door dezelfde test aan dezelfde personen op twee verschillende tijdstippen af te nemen en de consistentie tussen de scores te meten.
• Parallel forms - Een methode om de betrouwbaarheid van een test te schatten door verschillende versies (vormen) van dezelfde test aan dezelfde personen af te nemen en de consistentie tussen de scores te meten.
• Split-half method - Een methode om de betrouwbaarheid van een test te schatten door de test in twee helften te splitsen en de consistentie tussen de scores op beide helften te meten.
• KR20 method - Een methode om de interne consistentie van een test te schatten door de Kuder-Richardson-formule 20 te gebruiken. Deze formule is specifiek ontworpen voor tests met dichotome items, zoals ja/nee-vragen. De KR20-methode berekent een betrouwbaarheidscoëfficiënt op basis van de correlatie tussen de scores op de verschillende items in de test. Het geeft een schatting van de mate waarin de items samenhangend meten wat ze beogen te meten. De KR20-coëfficiënt varieert tussen 0 en 1, waarbij hogere waarden duiden op een hogere interne consistentie.
• Alpha coefficient - Een schattingsmaat voor de interne consistentie van een test, die aangeeft in hoeverre alle items in de test consistent meten wat ze beogen te meten.

Question 11

als de betrouwbaarheid zeer laag is kun je dit verhelpen door..

Answer 11

• meer items toe te voegen
• factor en item analysis
• correction for attenuation

Question 12

7 beoordelingscriteria kwaliteit test

Answer 12

1. theoretische basis
2. kwaliteit testmateriaal
3. volledigheid handleiding
4. normen
5. betrouwbaarheid
6. construct validiteit
7. criterium validiteit

Question 13

Fout in psychologische testen

Answer 13

Onnauwkeurigheden die kunnen optreden bij het meten van psychologische eigenschappen, veroorzaakt door factoren zoals meetfouten, subjectieve beoordelingen of andere bronnen van variabiliteit.

Question 14

Testscoretheorie

Answer 14

Ware score - Het werkelijke niveau van een psychologische eigenschap dat een persoon bezit, onafhankelijk van meetfouten.

Waargenomen score - De score die wordt verkregen door een persoon op een psychologische test, inclusief zowel de ware score als eventuele meetfouten.

Meetfout - De variabiliteit in meetresultaten die wordt veroorzaakt door factoren zoals toevallige fouten, subjectieve interpretatie of andere bronnen van onnauwkeurigheid.

Standaardfout van meting - Een schatting van de gemiddelde variabiliteit tussen de werkelijke scores en de waargenomen scores in een test.

Question 15

Basis sampling theorie

Answer 15

Een theoretisch kader dat zich richt op de statistische principes en methoden voor het trekken van steekproeven uit een populatie en het maken van generalisaties op basis van de steekproefresultaten.

extra: Dit is een theoretisch kader dat wordt gebruikt om methoden en technieken voor steekproeftrekking te ontwikkelen en te rechtvaardigen. Het is gebaseerd op het idee van willekeurige steekproeftrekking, waarbij elke individuele eenheid in de populatie een bekende kans heeft om in de steekproef te worden opgenomen. De basis sampling theorie houdt rekening met verschillende factoren, zoals steekproefomvang, selectiebias en schattingen van parameters, om betrouwbare inferenties te maken over de populatie op basis van de steekproef.

Question 16

Domeinsteekproefmodel

Answer 16

Een model dat de relatie tussen betrouwbaarheid en domeinrepresentativiteit van een test beschrijft, waarbij wordt onderzocht hoe goed de test de eigenschappen van de gehele populatie weerspiegelt.

Question 17

Item Response Theorie

Answer 17

Een theoretisch kader dat zich richt op het modelleren en analyseren van de reacties op individuele testitems, met als doel het meten van psychologische eigenschappen met een hoge precisie en betrouwbaarheid.

In traditionele testtheorie worden de scores van deelnemers op een test simpelweg opgeteld om een totaalscore te verkrijgen. IRT gaat daarentegen een stap verder door te kijken naar de reacties op afzonderlijke testitems. Het richt zich op het begrijpen van hoe verschillende individuen reageren op verschillende items en welke informatie elk item biedt over de eigenschap die wordt gemeten.

Question 18

COTAN

Answer 18

Het COTAN-beoordelingssysteem is een systeem dat wordt gebruikt om de kwaliteit van tests te beoordelen. Bij het beoordelen van een test worden de volgende stappen doorlopen:

Theorie: De theoretische basis van de testconstructie wordt beoordeeld. Belangrijke aspecten zijn het doel van de test, de te meten construct, de doelgroep en de functie van de test.

Testmaterialen: De gebruikte materialen in de test worden beoordeeld. Hierbij wordt gelet op de consistentie en kwaliteit van de materialen.

Handleiding: De handleiding van de test wordt beoordeeld. Deze moet duidelijk en eenduidig zijn, zodat de test op dezelfde wijze kan worden afgenomen en geïnterpreteerd.

Normen: De scores van de geteste individuen worden vergeleken met scores van een normgroep. Er wordt gekeken naar norm-referenced interpretation, waarbij de scores van de patiënt worden vergeleken met de normgroep, en naar absolute normen, die vaak worden vastgesteld door experts.

Betrouwbaarheid: De betrouwbaarheid van de test wordt beoordeeld. Hierbij wordt gekeken naar de meetfout (inaccuracies) van de test. De betrouwbaarheidscriteria van COTAN geven richtlijnen voor de betrouwbaarheid van de test, afhankelijk van het belang van de test en de gebruikte steekproef.

Validiteit: De validiteit van de test wordt beoordeeld. Hierbij wordt gekeken of de test meet wat hij pretendeert te meten en of er consistentie is met andere tests die hetzelfde construct meten. Ook wordt gekeken naar eventuele verschillen tussen relevante groepen.

Eindoordeel: COTAN geeft geen definitief oordeel over de test, maar biedt een theoretisch kader waarop de psycholoog zelf een afweging kan maken. De psycholoog moet de testresultaten in de context van de individuele casus evalueren.

Bij het kiezen van een test moet rekening worden gehouden met de inhoud en theoretische basis, de psychometrische eigenschappen en eventuele meetfouten. Het is belangrijk om de testresultaten te wegen en inconsistenties vooraf te bepalen. De diagnostische cyclus moet worden gevolgd en er moet een evaluatie plaatsvinden na afloop van het proces.

Question 19

Cronbach’s alpha meet de laagste waarde van betrouwbaarheid

Answer 19

Wanneer Cronbach’s alpha wordt gebruikt om betrouwbaarheid te meten, wordt het beschouwd als de laagste schatting van betrouwbaarheid. Dit betekent dat het de laagste waarde van betrouwbaarheid weergeeft die men kan verwachten bij herhaalde metingen met hetzelfde meetinstrument en dezelfde steekproef. Het impliceert dat de werkelijke betrouwbaarheid mogelijk hoger is dan de geschatte waarde van Cronbach’s alpha.

Question 20

Je moet kunnen uitleggen vanaf welke betrouwbaarheidscoëfficiënt een meetinstrument mag worden gebruikt voor individuele diagnostiek. Waarom worden meer eisen gesteld aan een individuele meting?: hoge eisen van de test omdat er heel veel vanaf hangt, denk bijv. aan de cito toets. Wat is geldend voor een groepsmeetinstrument?

Answer 20

Niveau van betrouwbaarheid → <.80 = onvoldoende.
Voor individuele diagnostiek worden hogere eisen gesteld aan de betrouwbaarheid van een meetinstrument, omdat de resultaten grote gevolgen kunnen hebben voor individuele beslissingen en interventies. Een hoge betrouwbaarheid is essentieel om nauwkeurige en consistente metingen te waarborgen. Aan groepsmeetinstrumenten, zoals de Cito-toets, worden iets lagere betrouwbaarheidseisen gesteld, omdat de beslissingen op groepsniveau minder directe gevolgen hebben voor individuen. Er is geen vastgestelde drempel voor betrouwbaarheid die universeel geldt, omdat dit afhangt van het specifieke meetinstrument, het doel van de meting en de context. Het is belangrijk om een evenwicht te vinden tussen betrouwbaarheid, validiteit en andere relevante factoren bij het selecteren van meetinstrumenten voor individuele en groepsbeoordelingen.