Taak 9: Wetenschappelijke integriteit en open science

Question 1

2 redenen waarom mensen methodologische gebreken kunnen vergeven:

Answer 1

1. Eerdere overtuigingen van onderzoekers over een bepaald onderwerp
2. Belang van het onderwerp van een onderzoek

Question 2

2 manieren waarop het belang van een onderwerp de evaluaties van mensen kan beïnvloeden:

Answer 2

1. Clementie bias = wetenschappers die onderzoek artikelen lezen zijn vergevingsgezinder voor
   methodologische zwakheden die ze opmerken in studies van belangrijke problemen
2. Oversight bias = het belang van een probleem maakt het moeilijke om methodologische
   zwakheden op te sporen

Question 3

Binominale effectgrootteweergave

Answer 3

de grootte van een effect illustreren door de effectgroottes om
te zetten in binominale succespercentages

Question 4

2 manieren waarom mensen eerder methodologische zwakheden over het hoofd zien in een
onderzoek dat belangrijke problemen aanpakt

Answer 4

1. Representativiteitsheuristiek = veronderstelling dat een onderdeel, het geheel
   vertegenwoordigt
   Voorbeeld: omdat een probleem belangrijk is, moet de studie ook belangrijk zijn
2. Halo-effect = wanneer iemands algemene indruk is gebaseerd op een bepaalde
   eigenschap/evaluatie wat de specifieke kenmerken nadelig kan beïnvloeden
   Voorbeeld: door verliefdheid van onderzoekers op het belang van een onderwerp, kunnen ze
   de onvolkomenheden ervan over het hoofd zien

Question 5

Methodologische gebreken in een onderzoek kan leiden tot

Answer 5

1. Slordigheid
2. Twijfelachtige onderzoekspraktijken

Question 6

Publicatiedruk

Answer 6

sterke stimulansen om snel, veel en vernieuwend te publiceren
Manier om prestatie van wetenschappers te beoordelen → prestatiefrequentie
Daarom → kwaliteitscontrolemechanismen om fouten op te sporen

Question 7

Collegiale toetsing

Answer 7

ezen, becommentariëren en het adviseren over of een artikel al dan niet goed
genoeg is voor publicatie door andere onderzoekers met expertise
Nadeel 1: geen volledige garantie voor optimale kwaliteit
Nadeel 2: menselijke factor kan beperkende factor zijn ofwel Cognitieve bias

Question 8

Cognitieve bias

Answer 8

vertekeningen in de oordeelsvorming van peer-reviewers en bij het nemen van
beslissingen
4 soorten cognitieve bias:
1. Novelty bias (niewigheidsbias)
= een resultaat wat vernieuwend is, wordt soms minder kritisch bekeken
2. Leniency bias
= een onderzoek met een belangrijk onderwerp
3. Confirmation bias (kan leiden tot cherry-picking)
4. Hindsight bias (kan leiden tot HARKing)
Gevolg van cognitieve bias → verlies van kritische attitude

Question 9

Wetenschappelijke fraude

Answer 9

niet-wetenschappelijke prikkels die tot problematische onderzoek
uitvoering kunnen leiden d.m.v. bedrog of misleiden

Question 10

3 soorten twijfelachtige onderzoekspraktijken:

Answer 10

1. HARKing (Hypothesizing After the Results are Known)
   = wanneer een onderzoeker een onverwacht resultaat vindt en het onderzoek presenteert op
   een manier alsof dit onverwachte resultaat altijd al het doel was om te vinden
   → statistisch resultaat zonder a-priori-hypothese is een toevallig resultaat en dus foutpositief resultaat
2. Cherry-picking
   = wanneer een onderzoeker alleen de meest positieve onderzoeksresultaten presenteert
3. P-hacking
   = wanneer een onderzoeker verschillende analysestrategieën gebruiken om zo op zoek te
   gaan naar een significant resultaat ter ondersteuning van hun hypothese
   → confirmation bias
   Hoe kunnen we dit voorkomen:
4. Bewust zijn van onze biases
5. Objectieve criteria voor kwalitatief goed onderzoek
6. Vooraf formuleren van verwachtingen

Question 11

Motivated reasoning

Answer 11

beschrijft hoe bepaalde doelen of motivaties de oordeels- en besluitvorming
van mensen kunnen beïnvloeden
* Scout mindset
= begrijpen van de situatie (dingen zien zoals ze zijn i.p.v. wat je zou willen zien)
* Soldier mindset
= verslaan van de vijand

Question 12

4 normen van Merton

Answer 12

1. Gemeenschappelijkheid
   = alle wetenschappers moeten toegang hebben tot de kennis van wetenschap
2. Universalisme
   = kenmerken van de wetenschapper mogen geen rol spelen bij het beoordelen van
   wetenschappelijke producten
3. Belangeloosheid
   = wetenschap komt ten goede van het algemeen belang en niet persoonlijk gewin
4. Georganiseerde scepsis
   = wetenschap moet voortdurend blootgesteld kunnen worden aan kritische analyse en
   collegiale toetsing

Question 13

Open science

Answer 13

aanvullende kwaliteitscontrolemechanisme die streeft naar transparantie en
toegankelijkheid
▪ Reproduceerbaarheid = onderzoekers kunnen op basis van de informatie die over een studie
wordt gegeven, het onderzoek op dezelfde manie opnieuw doen
4 pijlers van open science:
1. Preregistratie
= het openbaar maken van onderzoeksplannen, verwachtingen en analyseplannen
2. Open data
= openbaar maken van onderzoeksgegevens
3. Open materialen
= openbaar maken van onderzoeksmaterialen
4. Open access publicaties
= iedereen die geïnteresseerd is heeft toegang tot een publicatie van een onderzoek (NIET
gratis)

Question 14

2 soorten onderzoek - open science

Answer 14

1. Exploratief
   = onderzoeker zonder a-priori-verwachtingen data analyseert of onderzoeksresultaat
   toevallig vind
2. Bevestigend
   = onderzoeker probeert een hypothese te bevestigen of te verwerpen
   Preregistratie wordt gebruikt om het verschil tussen een exploratief of bevestigend onderzoek van
   tevoren duidelijk te maken

Question 15

5 principes voor integere wetenschapsbeoefening volgens VSNU-gedragscode

Answer 15

1. Eerlijkheid
2. Zorgvuldigheid
3. Transparantie
4. Onafhankelijkheid
5. Verantwoordelijkheid
   Kortbondige omschrijving van VSNU-gedragscode → 61 normen voor integer onderzoek rondom
   verschillende fasen van het onderzoeks- en publicatieproces.