Brainscape's Knowledge GenomeTM

Browse over 1 million classes created by top students, professors, publishers, and experts.


See full index

Assessmenttheorie > Hoofdstuk 3 > Flashcards

Hoofdstuk 3 Flashcards

1
Q

Wat is de definitie van validiteit?

A

Een integratief, evaluatief oordeel over de mate waarin empirisch bewijs en theoretische rationale de adequaatheid en geschiktheid ondersteunen van gevolgtrekkingen en handelingen die gebaseerd zijn op testscores en andere beoordelingswijzen

How well did you know this?
1
Not at all
2
3
4
5
Perfectly
2
Q

Hoe is validiteit een kwestie van mate?

A

We kunnen score interpretaties hebben waarvoor een beperkte validiteitsevidentie hebben en een score interpretatie waarvoor we ontzettend veel validiteitsevidentie hebben
-> geen kwestie van wel of niet valide

How well did you know this?
1
Not at all
2
3
4
5
Perfectly
3
Q

Hoe is validiteit een zich ontwikkelende eigenschap en validering een continu proces?

A

Naarmate we meer onderzoek doen krijgen we beter zicht op wat de scores precies betekenen

How well did you know this?
1
Not at all
2
3
4
5
Perfectly
4
Q

Wat zijn de kernaspecten van de benadering van Messick voor validiteit?

A
  • validiteit is een unitair concept
  • gebruik methoden van de wetenschap
  • inferenties zijn hypothesen
  • maak gebruik van alle experimentele, statistische en filosofische middelen
How well did you know this?
1
Not at all
2
3
4
5
Perfectly
5
Q

Op welke 2 manieren kunnen we een score interpreteren?

A
  1. steekproef: testgedrag als steekproef van domein van gedrag/kennis
  2. teken: testgedrag als teken van onderliggende processen en trekken
How well did you know this?
1
Not at all
2
3
4
5
Perfectly
6
Q

Op welke 3 manieren kunnen gedragsconsistenties tot stand komen?

A
  1. trek: stabiel kenmerk, proces of dispositie van een respons
  2. toestand: tijdelijke conditie van gemoed
  3. responseklasse: verzameling van gedragingen met dezelfde functionele relaties met antecedenten, concurrente en consequente stimulusconditie
How well did you know this?
1
Not at all
2
3
4
5
Perfectly
7
Q

Wat houdt inhoudsvaliditeit in?

A

Dekt de test het domein af dat je beoogt?

How well did you know this?
1
Not at all
2
3
4
5
Perfectly
8
Q

Wat zijn de problemen omtrent inhoudsvaliditeit?

A
  • omvat geen testresponsen
  • is op zich geen validiteit
How well did you know this?
1
Not at all
2
3
4
5
Perfectly
9
Q

Wat houdt criteriumgerelateerde validiteit in?

A

Correleert de test met relevante uitkomst?

How well did you know this?
1
Not at all
2
3
4
5
Perfectly
10
Q

Wat zijn de problemen omtrent criteriumgerelateerde validiteit?

A
  • evenveel vormen als criteria
  • gebrek aan inhoudsrelevantie en nadelige sociale consequenties
How well did you know this?
1
Not at all
2
3
4
5
Perfectly
11
Q

Wat zijn betere alternatieven voor criteirumgerelateerde validiteit?

A
  • predictieve validiteitsaspect: voorspelt de test het criterium in de toekomst?
  • concurrente validiteitsaspect: hangt de test (op dit ogenblik) samen met het criterium?
How well did you know this?
1
Not at all
2
3
4
5
Perfectly
12
Q

Wat houdt constructvaliditeit in?

A

Meet de test wat de test bedoelt te meten?

How well did you know this?
1
Not at all
2
3
4
5
Perfectly
13
Q

Wat zijn de problemen omtrent constructvaliditeit?

A
  • geen strikt opreationalisme
  • inschatting van sociale consequenties ontbreekt
How well did you know this?
1
Not at all
2
3
4
5
Perfectly
14
Q

Wat zijn de historische trends omtrent validiteit?

A
  • specifieke criteria -> types validiteit -> unitair concept
  • fundamentele shift in focus: van predictie naar verklaring
How well did you know this?
1
Not at all
2
3
4
5
Perfectly
15
Q

Wat zijn de twee facetten van het unitair validiteitsconcept?

A
  1. bron van rechtvaardigheid van het testen: evidentie als basis of consequenties als basis
  2. functie van het testen: testinterpretaties of testgebruik
How well did you know this?
1
Not at all
2
3
4
5
Perfectly
16
Q

Wat krijg je als je evidentie als basis en testinterpretatie combineert?

A

Constructvaliditeit

How well did you know this?
1
Not at all
2
3
4
5
Perfectly
17
Q

Wat krijg je als je evidentie als basis en testgebruik combineert?

A

Constructvaliditeit + relevantie-utiliteit

How well did you know this?
1
Not at all
2
3
4
5
Perfectly
18
Q

Wat krijg je als je consequentie als basis en testinterpretatie combineert?

A

Constructvaliditeit + waarde implicaties

How well did you know this?
1
Not at all
2
3
4
5
Perfectly
19
Q

Wat krijg je als je consequenties als basis en testgebruik combineert?

A

Constructvaliditeit + relevantie-utiliteit + waarde implicaties + sociale consequenties

How well did you know this?
1
Not at all
2
3
4
5
Perfectly
20
Q

Wat zijn de twee bedreigingen van constructvaliditeit?

A
  1. construct onderrepresentatie: iets te weinig
  2. construct irrelevante surplus: iets te veel
How well did you know this?
1
Not at all
2
3
4
5
Perfectly
21
Q

Welke twee redenen kunnen ervoor zorgen dat er construct irrelevante surplus ontstaat?

A
  1. constructirrelevante moeilijkheid: test is te makkelijk
  2. constructirrelevante makkelijkheid: testwiseness; test is te makkelijk, maar onbedoeld
22
Q

Welke twee types evidentie zijn er samen nodig voor constructvaliditeit?

A
  1. convergente validiteit: aantonen van implicaties van construct; waar een test mee moet correleren
  2. discriminante validiteit: relaties zijn niet toe te schrijven aan een alternatief construct; waar test niet mee mag correleren
23
Q

Wat zijn de gevolgen bij een gebrek aan convergerende en divergerende evidentie?

A
  • test meet construct niet goed: niet de verwachte reacties
  • constructietheorie is fout: verkeerde theorie, niet de verwachte reacties
  • aanvullende hypotheses zijn deficiënt: tijdstip, alleen/in groep..
  • onderzoek (experimenteel opzet) is niet adequaat
24
Q

Wat zijn de drie operationaliseringen van inhoudsvaliditeit?

A
  1. inhoud in test < inhoud in domein
  2. gedragingen in test< gedragingen in domein
  3. processen in test < processen in domein
25
Q

Wat zijn de belangrijkste aspecten van domeinconceptualisering?

A
  • grenzen: wat hoort er wel toe en wat niet?
  • facetten: mogelijkheden onderverdeling
26
Q

Op basis van welke categorieën kunnen we subdomeinen representeren?

A
  • uniformiteit
  • voorkomen
  • belangrijkheid
27
Q

Welke interne structuurmodellen zijn er?

A
  • cumulatief-kwantitatief model: hoe hoger de score, hoe hoger een bepaalde dispositie/eigenschap
  • nabijheidsmodel: welke stelling past het beste?
  • niet-compensatorisch intensiteits/kwaliteitsmodel: gaan kijken naar de pieken in de antwoorden in plaats van enkel een som maken
  • klassenmodel: mensen worden in groepen opgedeeld
  • dyadisch model: uitingen die niet samen kunnen voorkomen, maar we steunen op eenzelfde mechanisme
  • ipsatieve model: mensen met zichzelf vergelijken
28
Q

Welke twee types relaties zijn er met andere variabelen?

A
  1. trekvaliditeit: relaties tussen de test en andere methoden om hetzelfde en onderscheiden constructen te meten
  2. nomologische validiteit: relaties met maten van andere constructen
29
Q

Wat houdt trekvaliditeit in?

A

het construct mag niet aan één enkele methode verbonden zijn, noch ongehoord redundant met andere constructen

30
Q

Welke twee soorten redundantie zijn er?

A
  1. gewenste: over methoden -> als men verschillende methoden gebruikt voor hetzelfde construct te meten, moet dat enige overlap geven
  2. ongewenste: met andere constructen -> als en eenzelfde methode gebruikt voor verschillende kenmerken, mogen die niet sterk samenhangen
31
Q

Wat gaan we gebruiken om (gewenste/ongewenste) redundantie na te gaan?

A

Multimethode-multitrek matrix

32
Q

Hoe werkt de multimethode-multitrek maxtrix?

A
  • in de matrix worden een bepaald aantal kenmerken gemeten met een bepaald aantal methoden
  • er zijn 4 mogelijke combinaties
    1. heterotrait-monomethod (volle driehoeken): verschillende trekken gemeten door zelfde methode
    2. heterotrait-heteromethod (stippenlijn driehoeken): verschillende trekken meten met verschillende methoden
    3. monotrait-monomethod ((getal)): zelfde trek gemeten met zelfde methode
    4. monotrait-heteromethod ((getal) vetgedrukt): zelfde trek gemeten door verschillende methoden
33
Q

Wat is de bottom-line van de multimethode-multitrek matrix?

A
  • als je hetzelfde meet met verschillende methoden -> hoge correlaties
  • als je verschillende concepten meet met dezelfde methode -> lage correlaties
  • als je verschillende concepten meet met verschillende methoden -> nog lagere correlaties
34
Q

Waarnaar moet men bij een multimethode-multitrek matrix kijken of er sprake is van gewenste/ongewenste redundantie?

A
  • heterotrait-monomethod -> ongewesnte redundantie
  • monotrait-heteromethod -> gewenste redundantie
35
Q

Wat houdt nomologische validiteit in?

A

Overeenkomst tussen theoretische relaties van constructen en geobserveerde relaties met andere variabelen

36
Q

Hoe ontstaat nomologische ruis?

A

Door ongewenste impact van methodefactoren of verschillen in scorebetrouwbaarheid

37
Q

Wat houdt nomothetische spanwijdte in?

A

Empirisch netwerk van relaties van de test met
- metingen van andere constructen
- andere metingen van hetzelfde construct
- criterium gedrag

38
Q

Wat houdt sterke constructvalidering in?

A

Duidelijke theorie + deductieve benadering

39
Q

Wat houdt zwakke constructvalidering in?

A

Geobserveerde relaties, zonder duidelijk theoretisch kader

40
Q

Welke componenten zitten er in constructvaliditeit?

A
  1. test domein
    - content
    - relevance
    - representativeness
    - item/task response consistencies
  2. non-test domein
    • content-process consistencies
    • performance processes
    • gerelateerde constructen
    • toegepaste criteria
41
Q

Hoe kunnen we mogelijke rivaliseren hypothesen voor score-interpretatie identificeren?

A
  • uitbreiden van de itempool
  • aanpassen van antwoordformaat
  • aanpassen van de procedure
  • keuze van data-analyse
42
Q

Wat kan er allemaal gebruikt worden voor een correlatie- en covariantie-matrix?

A
  • mulitimethode-multitrek
  • exploratorische factoranalyse
  • confirmatorische factoranalyse
  • regressieanalyse, padanalyse en structurele vergelijkingsmodellen
43
Q

Waar kunnen we allemaal naar kijken bij procesanalyse om te proberen achterhalen hoe mensen te een antwoord komen?

A
  • protocolanalyse: mensen laten opschrijven wat ze zouden oden, luidop laten nadenken en dan analyseren
  • computermodellering: moeilijkheid van items
  • chronologische analyses: reactietijden
  • cognitieve correlaten: reactietijden + visuele taken + verbale taken
  • analyse van de redenen: waarom doe je iets, mensen laten verantwoorden
  • analyse van de oogbewegingen: eyetracking onderzoek
  • analyse van de systematische fouten: overschatting, onderschatting…
  • analyse van de strategieën en stijlen van taakprestatie: hoe lossen mensen taken op?
44
Q

Welke soorten generaliseerbaarheid van de score-interpretatie zijn er?

A
  • populatiegeneraliseerbaarheid
  • ecologische generaliseerbaarheid
  • temporele generaliseerbaarheid
  • taakgeneraliseerbaarheid
45
Q

Wat houdt een waardevertekening (bias) in?

A

Het binnendringen van gewoonlijk buitenwetenschappelijke motieven of overtuigingen in de verwezenlijking van wetenschappelijke doeleinden

46
Q

Wat houdt een ideologie in?

A

Een complexe configuratie van gedeeld waarden, affecten en overtuigingen die een interpretatiekader van de wereld bieden

47
Q

Welke methodologieën zijn er voor het identificeren van waarden en waardevertekeningen?

A
  • Kantiaanse benadering: kijken naar verschillende alternatieve verklaringen, verschillende interpretaties naast elkaar leggen
  • Hegeliaanse benadering: conflict tussen theorieën echt opzoeken, uitspelen van tegengestelde interpretaties
  • Singeriaanse benadering: kijken naar theorieën op zich en ook de waarde-implicaties + onderzoeksdomein op zo veel mogelijk manieren analyseren
48
Q

Wat houdt constructvaliditeit in?

A

Oordeel over relevantie, utiliteit en passendheid alleen in het licht van scorebetekenis

49
Q

Tot wat leidt cronstructirrelevantie?

A

Criteriumcontaminatie

50
Q

Tot wat leidt constructonderrepresentatie?

A

Criteriumdeficiëntie

51
Q

Wat is belangrijk om naar te kijken voor het bepalen van de beslissingsutiliteit?

A
  • sterkte van test-criterium relatie
  • base rate
  • selection ratio
  • kosten die testing met zich mee brengt
  • rekening houden met fairheid
52
Q

Waardoor is er grote variantie in criteriumpredictorcorrelaties?

A
  • administratieve fouten
  • te kleine steekproeven
  • correlaties met niet-continue variabelen
  • beperking van bereik
  • onbetrouwbaarheid van het criterium

Assessmenttheorie (14 decks)

Brainscape helps you reach your goals faster, through stronger study habits.
© 2024 Bold Learning Solutions. Terms and Conditions