studietaak 9 - Wetenschappelijke integriteit en open science

Question 1

hoe kan het belang van een onderwerp de evaluatie van het onderzoek door mensen beïnvloeden

Answer 1

• leniency bias
• oversight bias

Question 2

waarom zijn mensen meer geneigd om de methodologische zwakheden van een onderzoek te negeren wanneer het om een belangrijk probleem gaat?

Answer 2

• representativeness heuristic =die de impliciete aanname is dat het deel het geheel vertegenwoordigt, of dat een instantie vergelijkbaar is met zijn klasse -> people implicitly assume that because the problem is important, the study must be important too
• halo-effect = de algemene globale evaluatie van mensen beïnvloedt de evaluatie van specifieke onderdelen

Question 3

wat is publicatiedruk?

Answer 3

• ,Publicatiedruk ontstaat deels omdat onderzoekers in sommige academische settings niet enkel beoordeeld worden op de kwaliteit van hun publicaties, maar ook op de kwantiteit van onderzoek.
• In zo’n geval is de publicatiefrequentie, naast het uitvoeren van kwalitatief goed onderzoek, een belangrijke manier om de prestatie van wetenschappers te beoordelen.

Question 4

geef 2 robuuste kwaliteitscontrolemechanismen die fouten in wetenschappelijke publicaties tijdig voorkomen

Answer 4

1. Peerreview = is het lezen, becommentariëren en uiteindelijk het adviseren over ‘of een artikel al dan niet goed genoeg is voor publicatie’ door andere onderzoekers met expertise in het betreffende vakgebied.
2. Open Science

Maar traditioneel bestaan er, naast het peer-reviewproces, weinig aanvullende mechanismen voor kwaliteitscontrole. Daardoor blijven sommige slordigheden en twijfelachtige onderzoekspraktijken toch onopgemerkt.

Question 5

op welke manieren kan peerreview plaatsvinden?

Answer 5

1. Enkelblind houdt in dat de auteur van het artikel niet weet wie als reviewer commentaar geeft.
2. Dubbelblind wil zeggen dat ook de reviewer niet weet wie de auteur van het werk is, om zo een objectief oordeel te kunnen geven puur op basis van de inhoud van het manuscript.
3. niet-blind, waarbij de auteurs weten wie hen reviewt en vice versa.

Question 6

wat is een menselijke beperkende factor in het peerreview proces? en welke soorten bestaan er?

Answer 6

• cognitieve bias = vertekening in de oordeelsvorming -> neiging om informatie te filteren en te interpreteren op een manier die past bij je eigen overtuigingen + ook de neiging om info die niet conform de eigen overtuiging is, net iets kritischer te beoordelen
• novelty bias (nieuwigheidsbias) = een resultaat dat nieuw (of vernieuwend is) wordt soms minder kritisch onder de loep genomen dan studies die geen spannende bevindingen rapporteren
• leniency bias, = de neiging om de methodologische kwaliteit van onderzoek minder kritisch te beoordelen wanneer het een belangrijk onderwerp betreft
• hindsight bias = mensen hebben de neiging om wanneer ze terugkijken naar moeilijk voorspelbare resultaten te denken dat ze deze hadden zien aankomen (ze

Een mogelijk gevolg van cognitieve biases in de wetenschap is het verlies van de kritische attitude

Question 7

wat is wetenschappelijke fraude?

Answer 7

• Fraude is bedrog of het opzettelijk misleiden.
• Onder wetenschappelijke fraude valt het fingeren van resultaten of onderzoeksgegevens, en het opzettelijk kopiëren van andermans werk en dit als eigen ideeën presenteren (plagiaat).

De termen ‘bewust’ en ‘opzettelijk’ zijn echter cruciaal in de definitie van fraude.

Question 8

noem 4 twijfelachtige onderzoekspraktijken of slordigheden uit het wetenschappelijk onderzoek

Answer 8

1. HARKing
2. cherry picking
3. p-hacking
4. conflict of interest

Question 9

wat is HARKing?

Answer 9

HARKing betekent Hypothesizing After the Results are Known, oftewel, hypotheses formuleren nadat er (significante) resultaten zijn gevonden.

HARKing doet zich voor wanneer een onderzoeker een onverwacht resultaat vindt en vervolgens het onderzoek presenteert op een manier alsof het onderzoeken van de (achteraf geformuleerde) hypothese altijd al het doel was.

Het risico bij een statistisch resultaat zonder a-priori-hypothese is dat het een toevallig resultaat is en dus een fout-positief resultaat (false positive).

Question 10

bij welk soort onderzoek kan het formuleren van hypotheses op basis van onderzoeksgegevens net wel?

Answer 10

-> bij het exploratief of data-gedreven onderzoek!

!! het is natuurlijk wel ongepast om exploratief onderzoek te doen en vervolgens achteraf te pretenderen dat de hypothese van te voren bedacht was.

Wanneer er sprake is van HARking wordt er dus niet systematisch vanuit een ‘als-dan-daarom’-schema gewerkt, maar wordt wel de indruk gewekt alsof dat het geval is.

Question 11

wat is cherry-picking?

Answer 11

Cherrypicking betekent dat onderzoekers alleen de meest positieve onderzoeksresultaten (het ‘zoetste fruit’) presenteren, terwijl ze andere resultaten achterwege laten of minder belang geven in een rapportage.

Ook het selectief citeren van onderzoeken of juist studies bewust uit de bespreking weglaten om een bepaalde theorie te ondersteunen, valt onder cherrypicking.

Question 12

wat is p-hacking (op zoek gaan naar significantie)

Answer 12

• P-hacking doet zich voor wanneer onderzoekers verschillende analysestrategieën gebruiken om zo op zoek te gaan naar een significant resultaat, ter ondersteuning van hun hypothese.
• Door op zoek te gaan naar de meest optimale analysestrategie kunnen er kunstmatig veel significante associaties naar voren komen.

– > De essentie van P-hacking heeft te maken met de confirmation bias,

Question 13

wat is een conflict of interest in het wetenschappelijk onderzoek?

Answer 13

• Er is sprake van belangenverstrengeling wanneer een onderzoeker baat heeft bij een bepaalde uitkomst, bijvoorbeeld op persoonlijk, politiek, professioneel, financieel of legaal vlak.
• belangenverstrengeling maakt het moeilijk (maar niet onmogelijk) om degelijk objectief onderzoek te doen.

Transparantie en het openbaar maken van alle onderzoeksgegevens is hierbij een cruciale randvoorwaarde.

Question 14

wat is de p-waarde?

Answer 14

• p-waarde bepaalt de statistische significantie. De p-waarde is het resultaat van een statistische toets.
• Een p-waarde geeft de kans weer om in een bepaalde steekproef een verband (bijvoorbeeld een correlatie) te vinden, terwijl dat verband niet bestaat in de populatie waaruit de steekproef genomen is.

In de sociale wetenschappen wordt er meestal een cutoff van p<.05 gehanteerd.

Question 15

wat is het resultaat van replicatie studies?

Answer 15

• replicaties leiden tot een sterkere inductieve generalisatie
• de discussie rondom de lastige repliceerbaarheid van veel onderzoek een buitengewone stimulans is geweest voor wetenschappelijke zelfkritiek.

Question 16

wat brachten de bevinden van de Open Science Collaboration naar voren?

Answer 16

• Ook als onderzoekers alles correct en nauwkeurig doen, is de statistische kans om ernaast te zitten nog steeds reëel.
• Slordigheid en twijfelachtige onderzoekspraktijken hebben verreikende gevolgen en zijn een belangrijke oorzaak van de replicatiecrisis.
• ‘Eén studie is geen studie’; replicatie van onderzoeken is van groot belang om vertrouwen in onderzoeksresultaten te verkrijgen.
• Transparantie is essentieel om onderzoeksresultaten te kunnen reproduceren.

Question 17

welke zijn de 4 normen die het karakter van wetenschap onderliggen volgens Robert Merton?

Answer 17

1. Gemeenschappelijkheid
   Kennis is gemeenschappelijk. Alle wetenschappers moeten toegang hebben tot de producten van wetenschap (kennis) om de bloei van nieuwe kennis te maximaliseren.
2. Universalisme
   Kenmerken van de wetenschapper (zoals geslacht, afkomst enzovoort) mogen geen rol spelen bij het beoordelen van wetenschappelijke producten.
3. Belangeloosheid
   Wetenschap komt ten goede van het algemeen belang en niet ten goede van persoonlijk gewin.
4. Georganiseerde scepsis
   Wetenschap moet voortdurend blootgesteld kunnen worden aan kritische analyse en collegiale toetsing, bijvoorbeeld voordat het als publicatie geaccepteerd wordt.

CUDOS = communalism, universalism, disinterestedness en organized skepticism.

Question 18

welke zijn 4 procedures van de werkwijze van open science?

Answer 18

1. preregistratie
2. Open data
3. open materialen
4. open-access publiceren

Question 19

welke

wat is preregistratie? (één van de procedures van open science)

Answer 19

preregistratie = het openbaar maken van onderzoeksplannen, verwachtingen (hypotheses) en analyseplannen, inclusief alle beslissingen die kunnen worden geanticipeerd.

De preregistratie volgt meestal een voorgegeven format en wordt online ‘bevroren’ en openbaar gemaakt, meestal voordat de data worden verzameld maar in elk geval voordat de data worden geanalyseerd.

Preregistratie is een manier om het verschil tussen exploratief (exploratory) en bevestigend (confirmatory) onderzoek duidelijk te maken.

Question 20

wat zijn de 3 typische valkuilen van de onderzoekspraktijk met het risico op het vinden van fout-positieve bevindingen?

Answer 20

1. HARKing (het formuleren van hypothesen nadat de resultaten bekend zijn),
2. p-hacking (het analyseren van de data op verschillende manieren totdat het verwachte resultaat is bereikt)
3. fishing for significance (het analyseren van data zonder doel op zoek naar statistisch significante verbanden)

==> dit zijn twijfelachtige onderzoekspraktijken waarbij het risico op fout-positieve bevindingen hoog is.

Question 21

wat betekent open data? (één van de procedures van open science)

Answer 21

Een tweede pijler van open science is het openbaar maken van onderzoeksgegevens, zoals bijvoorbeeld de (geanonimiseerde) antwoorden op vragenlijsten.

Bij het openbaar maken van wetenschappelijke gegevens wordt er gestreefd om te werken volgens de zogenaamde FAIR-principes
[F]indable - vindbaar
[A]ccesible - toegankelijk
[I]nteroperable - interoperabiliteit, onafhankelijk van specifieke software
[R]eusable - herbruikbaar (geen gebruikslicenties)

Question 22

wat betekent open materialen? (één van de procedures van open science)

Answer 22

Naast het openbaar maken van de onderzoeksgegevens, moeten volgens open science ook onderzoeksmaterialen openbaar gemaakt worden. Deze onderzoeksmaterialen zijn bijvoorbeeld vragenlijsten, analysescripts en aanvullende materialen.

Question 23

wat betekent open-access publiceren? (één van de procedures van open science)

Answer 23

Open access publiceren houdt in dat anderen geen abonnement nodig hebben om de publicatie over jouw onderzoek te kunnen lezen.

Open access publiceren betekent dat iedereen die geïnteresseerd is, toegang heeft tot een onderzoekspublicatie . Met name onderzoekers die niet zijn aangesloten bij een universiteit, onderzoekers uit ontwikkelingslanden waar er wellicht minder geld beschikbaar is voor abonnementen bij tijdschriften, en burgers die zelf onderzoek willen doen over een bepaald onderwerp hebben hier baat bij.

Question 24

Wat houdt reproduceerbaarheid van onderzoek in?

Answer 24

Reproduceerbaarheid* betekent dat onderzoekers op basis van de informatie die over een studie wordt gegeven het onderzoek op dezelfde manier opnieuw kunnen doen. Je verwacht dan ook dezelfde of vergelijkbare resultaten.

Reproduceerbaarheid kan gaan over de volledige studie of een onderdeel ervan (bijvoorbeeld de statistische analyses).

Question 25

welke zijn de 5 principes van integer onderzoek toegelicht in de Nederlandse gedragscode wetenschappelijke integriteit?

Answer 25

1. eerlijkheid = geen ongefundeerde claims, onderzoeksproces correct rapporteren, data en/of bronnen niet verzinnen, tegenargumenten au sérieux nemen
2. zorgvuldigheid = wetenschappelijke methodes gebruiken, optimale precisie betrachten bij van ontwerp tot disseminatie vh onderzoek
3. transparantie = helder houden op welke data men zich baseert, hoe resultaten verkregen zijn, rol van de externe belanghebbenden
4. onafhankelijkheid = niet laten leiden door buiten-wetenschappelijke overwegingen, ook onpartijdigheid
5. verantwoordelijkheid = rekenschap geven dat onderzoek niet in isolement gebeurt, grenzen bewaken van legitieme belangen, wetenschappelijke en maatschappelijke relevantie nakomen

Question 26

welke klachtenprocedure staat vermeld in de Nederlandse gedragscode wetenschappelijke integriteit?

Answer 26

De gedragscode schrijft voor dat elke instelling die de code ondertekent een commissie of functionaris wetenschappelijke integriteit benoemt.

Question 27

geef het criterium van integere wetenschapsbeoefening voor
“Doe onderzoek dat wetenschappelijk en/of maatschappelijk van betekenis kan zijn. “

Answer 27

Onderzoek dat wetenschappelijk relevant is, bouwt voort op eerder onderzoek, probeert een hiaat in de literatuur te sluiten en draagt bij aan ons begrip van een bepaald fenomeen.

Deze norm betreft vooral het principe verantwoordelijkheid.

Question 28

geef het criterium van integere wetenschapsbeoefening voor “Doe geen ongefundeerde claims over te behalen resultaten.”

Answer 28

Lege beloftes over verwachte onderzoeksresultaten kunnen schadelijk zijn omdat er mogelijk publieke gelden worden besteed aan onderzoek dat zijn doelen niet kan behalen.

Deze norm betreft met name eerlijkheid.

Question 29

geef het criterium van integere wetenschapsbeoefening voor “Houd rekening met de laatste wetenschappelijke inzichten.”

Answer 29

Als je geen rekening houdt met de nieuwste wetenschappelijke inzichten, kan het zijn dat je voortbouwt op onderzoek dat al is weerlegd of geëvolueerd. Je loopt bijvoorbeeld het risico om meetinstrumenten te gebruiken die niet valide zijn gebleken,

Deze norm houdt verband met het principe van zorgvuldigheid, in het betrekken van eerder onderzoek, en met het principe van verantwoordelijkheid,

Question 30

geef het criterium van integere wetenschapsbeoefening voor
“Zorg voor een onderzoeksopzet waarmee de onderzoeksvraag beantwoord kan worden.”

Answer 30

Onderzoek begint altijd met een vraagstelling. Het onderzoek heeft geen nut als je de vraagstelling die je op voorhand hebt opgesteld, niet kunt beantwoorden.

Deze norm heeft te maken met eerlijkheid bij de opzet van een studie over welke vragen deze wél en níet kan beantwoorden.
Ook betreft de norm zorgvuldigheid bij de opzet van de studie om een specifieke vraag te kunnen beantwoorden .
Als laatste houdt deze norm verband met verantwoordelijkheid om een onderzoek op te zetten dat een bepaalde (beloofde) bijdrage ook daadwerkelijk kan leveren.

Question 31

geef het criterium van integere wetenschapsbeoefening voor
“Hanteer wetenschappelijke methoden.”

Answer 31

De wetenschappelijke methode is gebaseerd op het formuleren van theorieën en verwachtingen en het systematisch toetsen van deze verwachtingen op basis van observeerbare data.

Het hanteren van de wetenschappelijke methode heeft te maken met zorgvuldigheid, dus het nauwkeurig toepassen van bepaalde stappen om op die manier kennis te vergaren.

Verder betreft deze norm onafhankelijkheid. De wetenschappelijke methode is een proces dat ontworpen is om de persoonlijke opvattingen en biases van de onderzoeker te minimaliseren en om zo objectief mogelijk naar de feiten te kunnen kijken.

Question 32

geef het criterium van integere wetenschapsbeoefening voor
“Vermijd dat de keuze van de onderzoeksmethode, de data-analyse, de beoordeling van de resultaten en de weging van mogelijke verklaringen worden bepaald door buiten-wetenschappelijke belangen, argumenten of voorkeuren (bijvoorbeeld commerciële of politieke).”

Answer 32

Als je je vraagstelling of methode op basis van politieke of commerciële belangen kiest, is de kans op bias groot

Dit is centraal in het aspect van onafhankelijkheid, namelijk onafhankelijkheid van politieke of commerciële belangen.

Question 33

geef het criterium van integere wetenschapsbeoefening voor
“ Verzin geen data of onderzoeksresultaten en rapporteer niet over verzonnen data of onderzoeksresultaten alsof ze echt zijn.”

Answer 33

fraude en twijfelachtige onderzoekspraktijken is het intentioneel misleiden in wetenschappelijk werk een groot kwaad omdat dit niet alleen geen nieuwe kennis genereert, maar ook foute informatie verspreidt,

Het niet falsificeren en het verzinnen van onderzoeksgegevens is de essentie van het principe eerlijkheid.

Question 34

geef het criterium van integere wetenschapsbeoefening voor
“Werk er aan mee dat data waarvoor dat gepast is, overeenkomstig de FAIR-beginselen vindbaar, toegankelijk, interoperabel en herbruikbaar zijn (Findable, Accessible, Interoperable, Re-usable).”

Answer 34

Zoals besproken in het deel over open science is het openbaar maken van data volgens de FAIR-principes van belang omdat dit de replicatie van analyses mogelijk maakt.

Hierbij gaat het om transparantie: het volledig openbaar maken van de onderzoeksdata zodat iedereen deze kan bekijken en controleren.

Question 35

geef het criterium van integere wetenschapsbeoefening voor
“Alle auteurs zijn volledig verantwoordelijk voor de inhoud van het wetenschappelijke product, tenzij dit daarin anders is vermeld.”

Answer 35

Alle auteurs moeten een inhoudelijke bijdrage hebben geleverd (zie norm 31) en akkoord zijn gegaan met het manuscript (zie norm 32). Alleen dan kunnen ze ook de verantwoordelijkheid nemen voor het gehele onderzoeksartikel.

Hier gaat het om verantwoordelijkheid voor het werk waar je je naam onder zet.

Question 36

geef het criterium van integere wetenschapsbeoefening voor
“Wees transparant over de gevolgde methode en werkwijze, en leg deze waar relevant vast in onderzoeksprotocollen, logboeken, lab journals of verslagen. De wetenschappelijke argumentatie moet helder zijn en de stappen in het onderzoeksproces moeten controleerbaar zijn. Doorgaans zal dit betekenen dat het onderzoek voldoende gedetailleerd moet zijn beschreven om de dataverzameling te kunnen repliceren en de data-analyse te kunnen herhalen.”

Answer 36

Zoals besproken in het deel over open science is replicatie belangrijk om een bepaald onderzoeksresultaat te kunnen vertrouwen (‘één studie is géén studie’).

Deze norm heeft te maken met transparantie, maar ook met zorgvuldigheid in het beschrijven van het onderzoeksproces en de uitgevoerde analyses, inclusief alle beslissingen die zijn genomen.

Question 37

geef het criterium van integere wetenschapsbeoefening voor
“ Wees expliciet over relevante niet-gerapporteerde data die conform de onderzoeksopzet wel verzameld zijn maar tot andere conclusies dan de wel gerapporteerde zouden kunnen leiden.”

Answer 37

Zoals we zagen bij de stof over open science is ‘cherry-picking’ van onderzoeksresultaten schadelijk omdat zo het beeld kan ontstaan dat er bewijs voor een bepaalde hypothese of theorie is gevonden, terwijl er tegenstrijdige informatie is.

Dit betreft transparantie in het rapporteren van alle onderzoeksresultaten en eerlijkheid in het trekken van conclusies op basis van de resultaten.

Question 38

geef het criterium van integere wetenschapsbeoefening voor
“Vermijd overbodige referenties en maak de bibliografie niet onnodig lang.”

Answer 38

Citaties zijn een manier om zichtbaarheid van een artikel te genereren, maar ook om status te verwerven als onderzoeker. Citeer daarom alleen de artikelen die je nodig hebt voor je argumentatie en zorg ervoor dat de inhoudelijke reden

Het nauwkeurig en precies omgaan met referenties heeft te maken met zorgvuldigheid. Verder gaat het ook om eerlijkheid, om bronverwijzingen in artikelen niet te gebruiken als middel om de eigen citaties of de citaties van een ander kunstmatig op te hogen.

Question 39

geef het criterium van integere wetenschapsbeoefening voor
“Beoordeel niet, of alleen in algemene zin, buiten het domein van de eigen deskundigheid.”

Answer 39

Onderzoekers beoordelen elkaars werk door middel van peerreview of via commissies voor promoties of het toekennen van onderzoeksbeurzen. Een onderzoeker die geen expertise heeft van (een deel van) het te beoordelen onderzoek kan niet eerlijk beoordelen.

Hier gaat het om eerlijkheid, over de grenzen van de eigen expertise.

Question 40

geef het criterium van integere wetenschapsbeoefening voor
“ Wees eerlijk in publieke communicatie en helder over de beperkingen van het onderzoek en van de eigen expertise. Communiceer pas over onderzoeksresultaten aan het algemene publiek als er voldoende zekerheid over de resultaten bestaat.”

Answer 40

Wetenschapscommunicatie is van groot belang om nieuwe kennis met het bredere publiek te delen. Door resultaten gunstiger te presenteren dan dat deze zijn of niet transparant te zijn over de beperkingen van het onderzoek, kan bij burgers een verkeerd beeld ontstaan over een fenomeen.

Dit gaat over eerlijkheid en transparantie. Dit is niet alleen van toepassing voor de communicatie tussen wetenschappers (door middel van publicaties), maar ook voor communicatie met een breder publiek.

Question 41

geef het criterium van integere wetenschapsbeoefening voor
“Zorg als begeleider, projectleider, onderzoeksdirecteur of leidinggevende in alle onderzoeksfasen voor een open en inclusieve cultuur.”

Answer 41

Diversiteit is belangrijk voor de wetenschap omdat verschillende mensen verschillende opvattingen en ervaringen hebben die hun blik kunnen kleuren (bias). Meestal zijn we niet bewust van een bepaalde bias en zijn het mensen met andere opvattingen die deze opmerken.

Deze norm houdt verband met het streven naar onafhankelijkheid. Een diversiteit aan ervaringen, identiteiten en opvattingen maken het mogelijk om onderzoek te genereren dat niet gekleurd is door een bepaalde bias.