Theorie uit Athena Judith Flashcards
Representativiteitsheuristiek
In hoeverre lijkt de gebeurtenis op jouw associatie
Beschikbaarheidsheuristiek
Interpreteren op basis van informatie die het meest beschikbaar is (recentelijk, makkelijkste herinneren, toegankelijk)
Verankering en aanpassing
Oordeel wordt beïnvloed door toevallig beginpunt en vaak onvoldoende aangepast (voorbeeld over korting)
Confirmation bias
Zoeken naar bevestigende informatie
Hindsight bias
Achteraf, met kennis, lijken uitkomsten voorspelbaarder dan ze waren
Illusory correlation
Zien van verbanden die niet bestaan
Overconfidence
Meer en overmatig vertrouwen met meer ervaring, meer informatie
Brunwik’s lensmodel
wat laat het zien?
Dit model laat zien hoe beoordelaars hun informatie combineren in hun oordeelsvorming.
Dit model laat ook zien dat mensen niet goed zijn in beslissen.
Statistisch oordelen is beter dan het oordelen van clinici.
Brunswik’s lensmodel past binnen de … benadering van besliskunde. Dit omdat het een … model is van de werkelijkheid
descriptieve
beschrijvend
dichotime items noem je ook wel …
toetsitems
polytome items noem je ook wel
testitems
Toetsitems:
Dit zijn items die een bepaalde vaardigheid meten en die juist of onjuist beantwoord kunnen worden.
De kernvragen van toetsitems zijn:
- Hoe moeilijk is een item?
- In hoeverre discrimineert het item tussen personen?
- In hoeverre past het item bij de andere items?
- Hoe moeilijk is een item?
kun je zien aan:
Dit kan je zien d.m.v. moeilijkheidsgraad (p), moeilijkheidsindex en afleiders
- In hoeverre discrimineert het item tussen personen?
Kun je zien aan:
Dit kan je zien d.m.v. Rit, Rir en ICC
- In hoeverre past het item bij de andere items?
Dit kun je zien dmv:
Dit kan je zien d.m.v. interitemcorrelatie (Phi)
Moeilijkheidsgraad:
De proportie mensen die het antwoord goed heeft
Hoe hoger de p-waarde, hoe … de moeilijkheidsgraad, des te … het item/de toets.
hoger
makkelijker
Ng =
N =
Ng = de deelnemers die het antwoord op het item goed hebben
N = alle deelnemers
Gecorrigeerde moeilijkheidsgraad (p’)
Docenten zeggen altijd bij meerkeuzevragen: altijd gokken! Dit omdat zij corrigeren voor de kans dat iemand een vraag goed maakt door middel van gokken. De gecorrigeerde moeilijkheidsgraad is een manier om dit te doen.
p =
a =
p = moeilijkheidsgraad
a = aantal antwoordmogelijkheden
Bij diagnostische toetsen (bijv. diagnosticeren van een stoornis) streven we naar … p’-waarden, …. Je wil duidelijk onderscheid tussen het hebben van een stoornis/diagnose en het niet hebben ervan.
extreme
hoge of lage
Bij selectief toetsgebruik (bijv. tentamen of proefwerk) streven we naar p’-waarden die … zijn omdat daarbij de spreiding het grootst is. Dit is rond de … .
middelmatig
P’=0.50
Afleiders:
Dit zijn de ‘foute’ antwoordopties.
Drie assumpties waar a-waarden aan moeten voldoen:
1) Alle a-waarden moeten lager zijn dan de p-waarde
2) Geen a-waarde mag gelijk zijn aan 0
3) De a-waarden moeten ongeveer gelijk zijn aan elkaar.
Discriminerend vermogen:
Dit is het vermogen om onderscheid te kunnen maken tussen hoog en laag scorende respondenten op de hele toets. Het discriminerend vermogen wordt weergeven door middel van correlaties.
Rit:
Het eigen item neem je wel mee in het berekenen van de correlatie
Rir:
Het eigen item neem je niet mee in het berekenen van de correlatie
Rit en Rir hebben een bezwaar:
Rit: overschatting van het discriminerend vermogen van het item; de itemscore is onderdeel van de totaalscore, dus correlatie is deels met zichzelf.
Rir: de restscore van ieder item is anders: Rir van items van dezelfde toets zijn niet te vergelijken.
ICC (Item-characteristic Curve)
Dit is een gedetailleerde weergave van de moeilijkheidsgraad van een item en het discriminerende vermogen van een item.
ICC (Item-characteristic Curve) laat de relatie zien tussen:
- De p-waarde (propotie goed) van item (i) op de Y-as
- De somscore op de X-as
ICC aflezen
Moeilijkheidsindex:
Discriminerend vermogen:
Moeilijkheidsindex: de toetsscore bij de Y-as 0.50
Discriminerend vermogen: de steilheid van de grafiek
ICC aflezen:
Hoe steiler de grafiek bij een bepaald stuk, hoe … het discriminerend vermogen.
In de ICC kun je de indexen aflezen, maar de … NIET.
Hoe hoger de moeilijkheidsindex volgens de ICC, hoe … de moeilijkheidsgraad (p-waarde), des te … is het item/de toets.
Hoe steiler de grafiek bij een bepaald stuk, hoe groter het discriminerend vermogen.
In de ICC kun je de indexen aflezen, maar de graden NIET.
Hoe hoger de moeilijkheidsindex volgens de ICC, hoe lager de moeilijkheidsgraad (p-waarde), des te moeilijker is het item/de toets.
Inter-itemcorrelatie
Phi:
Phi: de coefficient voor de samenhang tussen twee items.
Een lage Phi betekent een … samenhang
Een hoge Phi betekent een … samenhang
Een lage Phi betekent een lage samenhang
Een hoge Phi betekent een hoge samenhang
Een lage Phi-coefficient kan twee oorzaken hebben:
- De samenhang is laag omdat de items inhoudelijk niet goed bij elkaar passen
- De p-waarden van de items verschillen te veel van elkaar waardoor Phi, los van de inhoud, niet hoog kan zijn.
Vergelijk Phi met Phi-max
Wanneer Phi-max veel hoger is = het verschil in p-waarden niet de oorzaak, items passen inhoudelijk bij elkaar.
Wanneer Phi-max niet veel verandert = verschil in p-waarden wel de oorzaak,
Vergelijk Phi met Phi-max
Wanneer Phi-max veel hoger is = het verschil in p-waarden niet de oorzaak, items passen inhoudelijk bij elkaar.
Wanneer Phi-max niet veel verandert = verschil in p-waarden wel de oorzaak,
Phi- max stappenplan
- Maak een kruistabel en vul de randtotalen in
- Bepaal welk item het makkelijkste is en welke het moeilijkste is
- Beredeneer vanuit 1 van de twee opties:
I. Iedereen die het makkelijke item fout heeft, heeft het moeilijke item ook fout
II. Iedereen die het moeilijke item goed heeft, heeft het makkelijke item ook goed. - Vul de rest van de cellen in
- Bereken Phi aan de hand van de formule
Testitems kernvragen:
- In hoeverre lokt een bepaald item een antwoord uit?
- In hoeverre discrimineert het item tussen personen?
- In hoeverre past het item bij de andere items?
- In hoeverre lokt een bepaald item een antwoord uit?
Dit kan je zien d.m.v. .. - In hoeverre discrimineert het item tussen personen?
Dit kan je zien d.m.v. … - In hoeverre past het item bij de andere items?
Dit kan je zien d.m.v. …
- In hoeverre lokt een bepaald item een antwoord uit?
Dit kan je zien d.m.v. de evocatiegraad en evocatieindex - In hoeverre discrimineert het item tussen personen?
Dit kan je zien d.m.v. de Rit, Rir en ICC - In hoeverre past het item bij de andere items?
Dit kan je zien d.m.v. de correlatie (Spearman)
Evocatiegraad =
Dit is de mate waarin het item het te meten gedrag ‘uitlokt’.
= het itemgemiddelde (mits het item zo geformuleerd is dat een hoge score wijst op een hoge score op het te meten construct, anders eerst spiegelen)
Spiegelen:
het minimum van de schaal + het maximum van de schaal. Hier haal je dan score vanaf.
1 + 5 (bij een schaal van 5) en daar haal je de score vanaf.
ICC en evocatieindex aflezen:
Evocatieindex = testscore die het midden item ( neutraal) als gemiddelde uitkomst geeft
Discriminerend vermogen = steilheid van de grafiek
Bij de evocatieindex kijken we naar het … van de desbetreffende schaal.
Bij vijf is dit dus
midden
3 (1,2 -3- 4,5)
Hoe hoger de evocatieindex volgens de ICC, des te … is de evocatiegraad, des te … is het (item)gemiddelde.
Hoe hoger de evocatieindex volgens de ICC, des te lager is de evocatiegraad, des te lager is het (item)gemiddelde.
Scheefheid soorten:
Normale verdeling (scheefheid = 0)
Linksscheef (negatief scheef)
Rechtsscheef (positief scheef)
Platheid soortem
Leptopcurvisch
Platycurvisch
U-vorm
Biomodale verdeling
Negatief scheef (links-scheef)
eigenschap is negatief scheef verdeeld
OF
scores zijn negatief scheef verdeeld maar gemeten eigenschap is normaal verdeeld
> plafond effect
- hoge p-waarde
Positief scheef (rechts-scheef)
eigenschap is positief scheef verdeeld
OF
scores zijn positief scheef verdeeld maar gemeten eigenschap is normaal verdeeld
> bodem effect
- lage p-waarde
Leptocurvisch
smalle verdeling
Laag discriminerend vermogen voor personen rond het gemiddelde; test bestaat uit items met erg hoge en erg lage p-waarden
Kan ook het gevolg zijn van een homogene groep
Platycurvisch
brede verdeling
Hoog discriminerend vermogen; test bestaat vooral uit items met middelmatige p-waarden
Kan ook het gevolg zijn van een heterogene groep
Twee vormen binnen normaalverdeling
U-vormige verdeling (extreem plat)
Bimodale verdeling
U-vormige verdeling
extreem plat
normaalverdeling
items hebben extreem hoog onderscheidend vermogen waardoor twee verschillende groepen ontstaan (hoog- en laagscoorders)
- zeer hoge Rit of Rir
- Middelmatige p-waarden
Bimodale verdeling
Normaalverdeling met twee toppen
De groep bestaat wrs uit twee groepen (twee normaalverdelingen)
Standaardscores:
Z-score = van een score haal je het gemiddelde af en dan deel je door de standaarddeviatie.
De Z-score geeft weer …
Standaardscores:
Z-score = van een score haal je het gemiddelde af en dan deel je door de standaarddeviatie.
De Z-score geeft weer hoe ver iemand af zit van het gemiddelde, uitgedrukt in standaarddeviaties.
Klassieke testtheorie
X = T + E
Geobserveerde score = Ware score + toevallige meetfout
Formulebegrip Crohnbachs alpha
Als de variantie van de somscore gelijk is aan de som van de itemvarianties, is de betrouwbaarheid gelijk aan … .
Als de variantie van de somscores … is dan de som van de itemvarianties, is de betrouwbaarheid …
Formulebegrip Crohnbachs alpha
Als de variantie van de somscore gelijk is aan de som van de itemvarianties, is de betrouwbaarheid gelijk aan 0
Als de variantie van de somscores hoger is dan de som van de itemvarianties, is de betrouwbaarheid groter
Verleningsfactor
N =
Pxx’ =
Pyy’ =
Ezelsbruggetje
Verleningsfactor
N = de verleningsfactor
Pxx’ = gewenste betrouwbaarheid
Pyy’ = gevonden betrouwbaarheid
Ezelsbruggetje
De gewenste betrouwbaarheid komt als eerst
De gevonden komt onder
Interbeoordelaarsovereenstemming
Dit is de gelijkheid van de classificaties door beoordelaars aan één object op basis van hetzelfde classificatieschema (is er sprake van ongeveer een gelijk oordeel?)
De keuze van maten voor beoordelaarsovereenstemming is afhankelijk van het meetniveau van de data:
Soort data - Maten voor beoord.overeenst.
Nominaal -
Ordinaal -
Interval -
Soort data - Maten voor beoord.overeenst.
Nominaal - Proportie overeenstemming
Cohen’s coëfficiënt Kappa
Ordinaal - Gewogen coëfficiënt Kappa
Interval - Intraklassecorrelatie coëfficiënt
Nominaal
Po =
Pe =
Nominaal
Po = proportie (beoordelaars)overeenstemming
Pe = proportie toevalsovereenstemming
Ordinaal
Partiële overeenstemming is mogelijk
Hoezo? >
Partiële overeenstemming > …
Dit doe je aan de hand van een …
Ordinaal
Partiële overeenstemming is mogelijk
Hoezo? >
Wanneer je de volgende antwoordmogelijkheden/schalen hebt:
(Helemaal niet mee eens – niet mee eens – neutraal – mee eens – helemaal mee eens)
Dan kan je zeggen dat ‘helemaal niet mee eens’ en ‘niet mee eens’ een partiële overeenstemming hebben. Gedeeltelijk zijn ze hetzelfde.
Partiële overeenstemming gewogen coëfficiënt Kappa
Dit doe je aan de hand van een gewichten matrix
Interval
Elk object van een aselecte steekproef van n objecten…
Wordt door een aselecte steekproef van k beoordelaars…
Beoordeeld op een intervalschaal
Objecten
personen, gebeurtenissen werkstukken etc. (hetgeen wat beoordeeld wordt)
Verschillen tussen objecten
Bijv. verschillende kwaliteit van werkstukken
Verschillen tussen beoordelaars
Bijv. strenge en minder strenge docenten
Verschillen tussen specifieke objectbeoordelaarscombinaties
Bijv. ene werkstuk wordt strenger beoordeeld dan andere door een docent
drie spreidingsbronnen:
drie spreidingsbronnen:
* Objecten (n)
* Beoordelaars (k)
* Interactie
Overeenstemming =
Betrouwbaarheid =
Overeenstemming = de overeenkomst in beoordelingen van verschillende beoordelaars
Betrouwbaarheid = de samenhang tussen de beoordelingen van verschillende beoordelaars
Perfecte overeenstemming:
per object zelfde beoordelingen van beoordelaars
in een grafiek lijnen recht op elkaar
Perfecte betrouwbaarheid:
systematische verschillen tussen beoordelaars mogelijk
in een grafiek liggen lijnen parallel aan elkaar
Intracorrelatiecoëficiënt
Deze bereken je anders wanneer je de mate van overeenstemming wil weten of wanneer je de mate van betrouwbaarheid wil weten
Inhoudsvaliditeit:
Is de inhoud van een instrument representatief voor het onderwerp dat het beoogd te meten?
Criteriumvaliditeit
kan ik met dit instrument een extern criterium voorspellen?
* Concurrente validiteit
* Predictieve validiteit
Begripsvaliditeit
meet het instrument het begrip dat het beoogd te meten?
* Dimensionaliteitsonderzoek (PCA)
* Multi-task-multi-method matrix
* Kwaliteit items
Convergerende validiteit:
De mate waarin meetinstrumenten/tests/items die theoretisch gezien gerelateerd zouden moeten zijn, ook daadwerkelijk gerelateerde resultaten opleveren.
Divergerende validiteit:
De mate waarin een meetinstrument/test/items onderscheid kan maken tussen concepten die theoretisch gezien niet met elkaar verbonden zijn.
Inhoudelijke validiteit :
De mate waarin een meetinstrument de relevante aspecten van het concept meet dat het beoogt te meten
Eigenwaarde van een component:
Totaal door een component verklaarde hoeveelheid itemvarianties (elke dimensie heeft dus een eigenwaarde)
Hoeveelheid dimensies bepalen
Dit doe je op basis van…
- Verwachtiong a priori op basis van theorie
- Minimum eigenwaarde (>1)
- Scree-plot: knik-criterium (knik wél of niet meetellen)
- Scree-plot: scree-criterium (componenten boven het puin)
- Efficiëntie: % verklaarde variantie versus aantal factoren
- Interpreteerbaarheid factoroplossing (theorie)
Stappenplan PCA
- Bepalen aantal componenten, hulpmiddelen staan hierboven
- Roteren van dimensies
- Vergelijken van analyses waarbij verschillend aantal (geroteerde) dimensies, op basis van technische criteria (zie boven) en drie soorten validiteit
- Benoeming factoren uit gekozen factoroplossing: labelen van de dimensies
Aflezen in MTMM
Convergente validiteit: kijk naar correlaties tussen meetinstrumenten die dezelfde eigenschap meten.
Aflezen in MTMM
Convergente validiteit: kijk naar correlaties tussen meetinstrumenten die dezelfde eigenschap meten.
Een hoge positieve correlatie tussen meetinstrumenten die dezelfde eigenschap meten, duidt op … validiteit.
Dit betekent dat de meetinstrumenten consistent zijn in het meten van dezelfde eigenschap
convergerende
Divergente validiteit
Kijk naar correlaties tussen meetinstrumenten die verschillende eigenschappen meten.
Een lage correlatie tussen meetinstrumenten die verschillende eigenschappen meten, duidt op divergente validiteit.
Dit betekent dat de meetinstrumenten in staat zijn om onderscheid te maken tussen verschillende eigenschappen
Spss
Convergente
Kijk naar correlatiecoëfficiënten die dezelfde eigenschap meten. Een positie significante correlatie wijst op convergerende validiteit
Divergente
Kijk naar de correlatiecoëfficiënten tussen variabelen die verschillende eigenschappen meten. Een lage correlatie tussen variabelen wijst op divergerende validiteit
Sensitiviteit
Specificiteit
