Hoofdstuk 3 - Kwaliteit van diagnostiek Flashcards
Welke drie referentiekaders worden er onderscheiden en welke benaderingen en tests sluiten hierbij aan?
- Referentiekaders die de individuele verschillen beschrijven. De eigenschapsbenadering en intelligentie theorieën sluiten hierbij aan. Voorbeelden van tests zijn de intelligentie- en persoonlijkheidstests zoals de g-factor van intelligentie van Spearman, de zeven Primary Mental Abilities van Thurnstone en de Big Five.
- Referentiekaders die de nadruk op de ontwikkeling leggen. De studie naar identiteitsontwikkeling en de psychoanalyse zijn voorbeelden van referentiekaders die de ontwikkeling benadrukken, zoals de egopsychologie van Loevinger en Maslows hiërarchie van behoeften. Tests voor dit referentiekader zijn de projectieve tests en instrumenten voor het meten van ontwikkelingsstadia van de ego- en identiteitsontwikkeling, zoals de ZALC.
- Referentiekaders die de context benadrukken. De biopsychologische en sociale leertheorieën zijn contextgeoriënteerde referentiekaders. Zij bieden verklaringen van veranderingen in gedrag, cognities en emoties. Er zijn weinig specifieke instrumenten voor, omdat de afhankelijke variabele een precies omschreven gedrag is als gevolg van een behandeling of interventie.
Wat is het doel van referentiekaders?
Referentiekaders zijn theorieën die de manier bepalen waarop gedrag beschreven, begrepen en verklaard worden, en daarmee de diagnostiek en de behandeling bepalen.
Wat zijn de 4 criteria voor het bepalen van de kwaliteit van referentiekaders volgens van der Werff (2000)?
- Zijn de elementen en relaties uit de theorie getoetst en wat is het resultaat?
- Is de theorie zo opgeschreven, dat toetsing mogelijk is?
- Is de theorie inspiratiebron geworden van empirisch onderzoek?
- Is er onderzoek gedaan naar praktische toepassingen van de theorie en wat is het resultaat van dit onderzoek?
Welke referentiekaders zijn volgens van der Werff van de hoogst, middelste en laagste kwaliteit?
Hoogste: eigenschapsbenadering, biopsychologie en sociale-leertheorieen.
Midden: psychoanalyse, bijvoorbeeld egopsychologie en studie naar identiteitsontwikkeling.
Laagste: groot deel van de psychoanalytische, humanistische en existentiële psychologie.
Welk referentiekader is voor de diagnosticus het meest vruchtbaar en waarom?
Voor de diagnosticus zijn de referentiekaders die individuele verschillen benadrukken het meest bruikbaar; zij hebben geleid tot een ruim aambod aan testen. Voor de referentiekaders die de ontwikkeling benadrukken is weinig ondersteunend onderzoek en bovendien hebben zij geleid tot een beperkt aantal bruikbare diagnostische instrumenten. Hoewel context georiënteerde referentiekaders succesvol zijn bij het ontwikkelen van interventies en het verklaringen van veranderingen hebben ook deze geleid tot een beperkt aantal instrumenten en zijn ze voor de diagnostiscus dus minder bruikbaar.
Beschrijf globale verschillen tussen KTT en IRT.
KTT: klassieke testtheorie, is een foutenmodel en gaat over zuiverheid van een meting.
IRT: moderne testtheorie is een theorie over gedragingen (latente trekken), met behulp waarvan de kans beschreven wordt dat een persoon ‘ja’ beantwoord voor een item die deze trek meet.
Beschrijf de testmodellen die bij de 3 referentiekaders horen.
- Referentiekaders die de individuele verschillen beschrijven –> meten van kwantitatieve dimensies van personen met KTT en IRT.
- Referentiekaders die nadruk op de ontwikkeling leggen –> meten van veranderingen door de tijd heen met lineaire, negatief versnellende of exponentiële, of stadiummodellen.
- Referentiekaders die de context benadrukken –> effecten van een interventie op de toe-of afname van gedrag meten met variantieanalyses.
Op basis van de Standards for Educational and Psychological Tests zijn in Nederland zeven criteria ontwikkeld waar tests en vragenlijsten op beoordeeld worden. Welke zijn de zeven criteria en wat houden ze in?
De zeven criteria waarop tests en vragenlijsten beoordeeld worden zijn de volgende:
- Uitgangspunt van de testconstructie, waarbij het gaat om de theoretische herkomst van het construct waarvoor de test bedoeld is, de relevantie van de testinhoud voor het betreffende construct en de meetpretentie die bepaalt welk normerings-, betrouwbaarheids- en validiteitsonderzoek gedaan moet worden.
2.Kwaliteit van het testmateriaal, waarbij gelet wordt op de standaardisatie van de items, het scoringssysteem, de instructie, degelijkheid en de efficiëntie van de test en de gebruikte materialen zoals het testboekje en de inhoud van de items.
3.Kwaliteit van de handleiding, waarbij gelet wordt op de informatie voor de gebruiker bij het interpreteren van de uitslag.
- Kwaliteit van de normen, waarbij het gaat om de aan- of afwezigheid van normen en om de relevantie van de normgroep en de absolute norm die bepaald wordt door grenswaarden. Die grenswaarden zijn vastgesteld door experts en door onderzoek waarin een criterium is onderzocht.
- Kwaliteit van de betrouwbaarheidsgegevens, die bepaald wordt aan de hand van vergelijkingen met de testresultaten van paralleltests, de interne consistentie, de resultaten van test en hertest en vergelijkingen tussen beoordelaars.
- Begripsvaliditeit, waarvoor nagegaan wordt of het begrip past in een nomologisch netwerk (een theorie) en waarvoor de interne structuur (associatie met groepen items, met subtests en tussen subtests en de test als geheel) en externe structuur (relatie met andere tests en verschillen tussen relevante groepen) wordt bepaald.
- Criteriumvaliditeit, waarvoor nagegaan wordt of de test samenhangt met een criterium, bijvoorbeeld het resultaat van een behandeling.
Beschrijf hoe hoog een betrouwbaarheidscoëfficiënt moet zijn bij belangrijke beslissingen, minder belangrijke beslissingen en experimenteel onderzoek.
Bij belangrijke beslissingen (bijv. personeelselectie, opname of ontslot uit kliniek etc.):
rxx <= 0.80 onvoldoende
0.80 <= rxx < 0.90 voldoende
rxx >= 0.90 goed
Bij minder belangrijke beslissingen (voorgangscontroles, bescnrijvend gebruik beroepskeuze etc).:
rxx <= 0.70 onvoldoende
0.70 <= rxx < 0.80 voldoende
rxx >= 0.80 goed
Bij experimenteel onderzoek:
rxx <= 0.60 onvoldoende
0.60 <= rxx < 0.70 voldoende
rxx >= 0.70 goed
Beschrijf de relatie tussen de betrouwbaarheid en standaardmeetfout.
Als de betrouwbaarheid hoog is, is de standaardmeetfout laag.
Beschrijf hoe hoog een criterium validiteitscoëfficiënt moet zijn volgens Cohen.
Cohen beschrijft de true correlatie (r) tussen predictor en criterium als volgt:
r = 0.10 verwaarloosbaar
r = 0.30 gemiddeld
r = 0.50 hoog
In studies moeten we r >= 0.50 vinden om te zeggen dat er een hoge samenhang is tussen twee gedragsconstructen (bijv. IQ en schoolprestatie).
Beschrijf de resultaten van de metastudie die de empirische verdeling van de validiteitscoëfficiënten toetst.
STudie door Meyer et al., 2011. Gebruikte resultaten van 125 studies en namen hier 144 true correlaties uit die ze in een histogram plotten.
De historgram laat het volgende zien: Gemiddelde correlatie is 0.32, standaarddeviatie is 0.19. Dus in 20% van de gevallen is r >= 0.50.
Dit komt ook overeen met Cohen’s regels.
Beschrijf het verschil tussen een klinische georiënteerde en een statistisch georiënteerde diagnosticus.
De klinische georiënteerde statisticus gebruikt geen formules, maar komt tot zijn diagnose door gebruik te maken van zijn klinische ervaring.
De statistische georiënteerde statisticus integreert de informatie juist niet met het hoofd, maar met een formule. Vaak is dat een lineaire combinatie van een beperkt aantal variabelen dat een criterium redelijk voorspelt.
Beschrijf de resultaten van de metastudie is is verricht over clinical versus mechanical prediction (Grove et al., 2000).
Grove et al., deden een meta analyse waarbij ze 163 studies met uiteenlopende trefwoorden vonden die tot 617 vergelijkingen leidden. Ze vergeleken hierbij het succes van diagnosticeren door een mens vs. computer.
47% van de studies waren in het voordeel van statistische predictie.
47% van de studies hadden gelijk resultaat.
In 8% van de studies was de klinische predictie beter.
Conclusie: het resultaat van statistische predictie is nog steeds beter, maar er is regelmatig ook sprake van gelijkspel.
Waarom is de diagnosticus een beperkte intuïtieve statisticus en beperkte informatieverwerker is?
Diagnostici zijn beperkte statistici omdat:
- Zij iemand beoordelen op slechts een enkel in het oog springend kenmerk. Zij houden geen rekening met het feit dat sommige verschijnselen heel zeldzaam zijn.
- Saillante informatie laten zij zwaarder wegen dan niet-saillante informatie, ook al draagt die minder bij.
- Zij hechten evenveel waarde aan een verschijnsel dat in een kleine steekproef voorkomt als aan een verschijnsel dat in een grote steekproef voorkomt.
- Zij nemen correlaties en covarianties niet goed waar en begrijpen de regressie naar het gemiddelde niet goed: bij een extreme score is de kans groot dat na een herhaalde meting de score minder extreem is.
Disagnostici zijn beperkte informatieverwerkers omdat ze vertekeningen hebben in vier processen van informatieverwerking:
- Verwerven van informatie. Ze gebruiken ijvoorbeeld de availability-heuristiek gebruiken; zij achten gebeurtenissen waarschijnlijker als zij ze snel uit het geheugen kunnen oproepen. Ook nemen zij selectief waar, wegen zij nieuwe tegenstrijdige informatie niet mee en gebruiken zij vuistregels. - Verwerken van informatie: nieuwe, niet kloppene info wordt niet meegenomen, groeiprocessen worden onderschat, vuistreels worden gebruiks, op grond van stereotypen zien zij correlaties die er niet zijn. Zij gaan af op concrete en directe informatie, zijn gevoelig voor een eerste indruk en zoeken bevestiging van hun eerste hypothese. Ook laten zij zich leiden door theoretische preoccupaties.
- Beoordelen van uitkomst van informatie
- Omgaan met feedback: alleen bevestigende informatie wordt serieus genomen
