Validiteiten

Question 1

Interne validiteit:
Geef de definitie

Answer 1

The extent to which inferences about observed covariation between A (independent concept) and B (dependent concept) reflect a causal relationship from A to B.

Question 2

Interne validiteit:
In welke stap van het 9-stappenplan komt deze terug?

Answer 2

De conclusie over de interne validiteit maakt deel uit van stap 5. Wat is de sterkte van het causaal verband?

Question 3

Interne validiteit:
Wat verlaagt in accountancy onderzoek vaak de validiteit?

Answer 3

In accountancy onderzoek zijn de causale verbanden vaak niet afkomstig uit gevalideerde theorieën (niet beschikbaar). Om pragmatische redenen worden vaak gesynthetiseerde resultaten gehaald uit andere onderzoeken in combinatie met ‘common sense’. Dit werkt echter verlagend op de interne validiteit.

Question 4

Interne validiteit:
Noem de bedreigingen t.a.v. Interne validiteit.

Answer 4

1. History: gebeurtenissen buiten de studie die de resultaten kunnen beïnvloeden.
2. Maturation: natuurlijke veranderingen in de deelnemers die de resultaten kunnen beïnvloeden.
3. Testing effect: herhaalde meting van de afhankelijke variabele kan de resultaten beïnvloeden.
4. Selection bias: ongelijke verdeling van deelnemers tussen groepen, die de resultaten kunnen beïnvloeden.
5. Instrumentatie: veranderingen in meetinstrumenten of observatoren die de resultaten kunnen beïnvloeden.
6. Regressie naar het gemiddelde: extreme scores die het gevolg zijn van een toevalligheid in de meting. De volgende meting bij dezelfde waarneming zou hierdoor waarschijnlijk dichter bij het gemiddelde liggen.

Question 5

Interne validiteit:
Hoe kunnen onderzoekers de interne validiteit waarborgen (dus bedreigingen beperken of controleren)?

Answer 5

1. Randomisatie: Door willekeurig waarnemingen in groepen in te delen, vallen overige effecten die je niet wil meten tegen elkaar weg en blijft het netto effect dat je wilt meten over.
2. Blinding: In het kader van randomisatie (experimenteel onderzoek) de onderzoekers, participanten en data-analisten niet laten weten welke waarnemingen in welke groepen zijn ingedeeld.
3. Controle- of vergelijkingsgroepen
4. Manipulatiechecks
5. Zorgvuldige dataverzameling

Question 6

Interne validiteit:
Wat is belangrijk t.a.v. de literatuur waarop wordt gesteund?

Answer 6

Dat de gebruikte literatuur inderdaad toepasbaar is om (het gedrag van) het onderzoekssubject te verklaren. Als bijvoorbeeld audit partner behavior wordt onderzocht is het niet toepasbaar te refereren naar onderzoek over accountantskantoor behavior.

Question 7

Constructvaliditeit:
Geef de definitie

Answer 7

The extent to which the operationalization of units, treatments, observations and settings captures the higher order constructs (match between conceptual level and operational level).

Dit is een variabele die niet direct waarneembaar is. Om constructen te meten heb je meerdere waarneembare of meetbare indicatoren nodig.

Question 8

Constructvaliditeit:
In welke stap van het 9-stappenplan komt deze terug?

Answer 8

De conclusie van constructvaliditeit is een onderdeel van stap 6. Wat is de kwaliteit van de operationalisering van het conceptueel model.

Question 9

Constructvaliditeit:
Soorten constructvaliditeit:

Answer 9

1. Inhoudsvaliditeit (content validity): Is het onderzoeksinstrument volledig representatief voor het te meten begrip?
2. Indruksvaliditeit (face validity): Lijkt de inhoud van het meetinstrument geschikt (relevant) voor je onderzoeksdoel?
3. Criteriumvaliditeit (criterion validity): Komen de resultaten van jouw onderzoeksinstrument overeen met die van andere, gevalideerde instrumenten?

Question 10

Constructvaliditeit:
Hoe meet je deze?

Answer 10

1. Een pilot (testronde). Bijvoorbeeld met Cronbach’s alpha.
2. Een statistiche analyse. Je test convergente en discriminante validiteit door te onderzoeken of de resultaten van jouw meting positief of negatief correleren aan andere bestaande metingen.
3. Een regressieanalyse. Indien regressieanalyse overeenkomst met je voorspelde uitkomsten, verhoogt dit de constructvaliditeit.

Question 11

Constructvaliditeit:
Bedreigingen:

Answer 11

1. Slechte operationalisatie
2. Verwachtingen van de onderzoeker (experimenter’s expectation bias).
3. Participatiebias (subject bias). Beantwoordingen van participanten kunnen zijn beïnvloed doodat de participanten verwachtingen hebben over het onderzoek.

Question 12

Constructvaliditeit:
Geef de definitie van Units:

Answer 12

De units verwijzen naar de onderzoekssubjecten die worden bestudeerd. Het is belangrijk om rekening te houden met de units bij het beoordelen van constructvaliditeit omdat verschillende groepen mensen mogelijk verschillende ervaringen hebben met de constructen die worden gemeten. Bijvoorbeeld, een test van emotionele intelligentie kan verschillende validiteitseisen hebben voor werknemers in een bedrijf ten opzichte van studenten in een klaslokaal.

Question 13

Constructvaliditeit:
Geef de definitie van Treatments:

Answer 13

Intentionele manipulatie van de onderzoeker om verschillen in gedrag tussen units te veroorzaken is relevant voor de constructvaliditeit omdat het kan leiden tot verschillende meetresultaten voor hetzelfde construct. Bijvoorbeeld, als een onderzoeker een training geeft aan één groep auditteams om hun samenwerkingsvaardigheden te verbeteren, terwijl de andere groep geen training krijgt, kan dit leiden tot verschillen in samenwerkingsgedrag tussen de groepen, waardoor constructvaliditeit van de meetinstrumenten in het geding kan komen.

Question 14

Constructvaliditeit:
Geef de definitie van Observations:

Answer 14

Het observeren van het gedrag van de units is relevant voor de constructvaliditeit omdat het de methode is waarmee we het construct meten. De manier waarop we het gedrag van de units observeren moet aansluiten bij het te meten construct om een geldige meting te krijgen. Bijvoorbeeld, als we emotionele intelligentie meten, kunnen we niet alleen het IQ van de deelnemers meten. We moeten specifieke observaties doen van emotionele reacties en gedrag.

Question 15

Constructvaliditeit:
Geef de definitie van Setting:

Answer 15

De omstandigheden en context waarin de observaties plaatsvinden zijn relevant voor de constructvaliditeit omdat deze de resultaten kunnen beïnvloeden. Bijvoorbeeld, als we emotionele intelligentie meten in een stressvolle omgeving, kan dit leiden tot andere metingen dan in een rustige omgeving. Het is belangrijk om ervoor te zorgen dat de omstandigheden en context van de observaties overeenkomen met de context waarin het construct normaal gesproken wordt ervaren.

Question 16

Statistische validiteit:
Geef de definitie.

Answer 16

The appropriate use of statistics to test the hypotheses.

Question 17

Statistische validiteit:
In welke stap van het 9-stappenplan komt deze terug?

Answer 17

De conclusie van statistische validiteit is een onderdeel van stap 8. Wat is de kwaliteit van de statistische analyses om de onderzoeksvraag te beantwoorden?

Question 18

Statistische validiteit:
Aan welke criteria voldoet een statistisch valide onderzoek?

Answer 18

1. De steekproef moet representatief zijn voor de populatie. Moet willekeurig zijn en elk lid populatie moet gelijke kans hebben om te worden getrokken.
2. De meetinstrumenten moeten betrouwbaar en valide zijn. Betrouwbaarheid wil zeggen consistentie van de meetresulaten. Valide wil zeggen nauwkeurigheid van meetinstrumenten in het meten van wat ze bedoeld zijn te meten (juiste statistieken toegepast).
3. De uitgevoerde statistische analyses moeten geschikt zijn voor de verzamelde gegevens. De analysemethoden moeten passen bij de aard van de verzamelde gegevens en de doelstellingen van het onderzoek.
4. De resultaten van het onderzoek moeten statistisch significant zijn. Er moeten een significant verschil of verband zijn tussen de variabelen die worden onderzocht en dit verschil wordt niet verklaard door toeval.

Question 19

Statistische validiteit:
Wat moet in een onderzoek worden gedaan indien niet wordt voldaan aan alle criteria van een statistisch valide onderzoek?

Answer 19

Nu moet men voorzichtig zijn bij het trekken van conclusies en moet verder onderzoek worden overwogen om de betrouwbaarheid van de resultaten te overwegen.

Question 20

Externe validiteit:
Geef de definitie:

Answer 20

The extent to which the results hold over variations in persons, settings, treatments and outcomes (i.e. generalizability of results).

Question 21

Externe validiteit:
In welke stap van het 9-stappenplan komt deze terug?

Answer 21

De conclusie van externe validiteit is een onderdeel van stap 9. In hoeverre zijn de resultaten van de studie generaliseerbaar?

Question 22

Externe validiteit:
Wat zijn de belangrijkste factoren die de externe validiteit beïnvloeden?

Answer 22

1. Steekproef. Als de steekproef niet representatief is voor de populatie waarvoor de resultaten worden gegeneraliseerd, kan de externe validiteit van het onderzoek lager zijn.
2. Meetinstrumenten. Als de meetinstrumenten niet geschikt zijn voor de populatie waarvoor de resultaten worden gegeneraliseerd, kan de externe validiteit van het onderzoek lager zijn.
3. Setting. Als de setting niet overeenkomt met de situatie waarvoor de resultaten worden gegeneraliseerd, kan de externe validiteit van het onderzoek lager zijn.
4. Tijd. Als de tijd waarin het onderzoek is uitgevoerd niet overeenkomt met de tijd waarvoor de resultaten worden gegeneraliseerd, kan de externe validiteit van het onderzoek lager zijn.

Question 23

Externe validiteit:
Wat zijn de belangrijkste strategieën die onderzoekers kunnen gebruiken om de externe validiteit te verhogen?

Answer 23

1. Randomisatie. Door het toepassen van randomisatie in het onderzoek kunnen onderzoekers de steekproef representatiever maken en daarmee de externe validiteit van het onderzoek vergroten.
2. Diverse steekproef. Door een diverse steekproef te gebruiken kunnen onderzoekers ervoor zorgen dat de resultaten van het onderzoek relevant zijn voor verschillende populaties.
3. Generaliseerbare meetinstrumenten. Door het gebruik van meetinstrumenten die geschikt zijn voor verschillende populaties, kunnen onderzoekers ervoor zorgen dat de resultaten van het onderzoek relevant zijn voor