probleem 7: biases in cognitieve wetenschappen

Question 1

Definities van biases en relevantie voor cognitieve wetenschappen

Answer 1

De termen ‘publicatiebias’ en ‘selectieve rapportage bias’ verwijzen naar de differentiële keuze om bepaalde studies te publiceren of bepaalde resultaten te rapporteren:
* Studie publicatie bias: studies met non-significante bevindingen zullen minder snel worden gepubliceerd dan studies met significante bevindingen. -> Wordt een gehele studie wel of niet gepubliceerd?
* Selectieve uitkomst rapportage bias: meerdere uitkomsten van een studie worden geëvalueerd en de uitkomsten die non-significant blijken, zullen minder snel worden gepubliceerd dan significante uitkomsten. -> Welke resultaten wel en niet worden gepubliceerd?
* Selectieve analyse rapportage bias: data wordt op meerdere manieren geanalyseerd en de analyses met de meest indrukwekkende, statistische significante varianten van de resultaten zullen worden gebruikt. -> Welke analyses worden wel/niet gebruikt?

Question 2

Detectie: testen voor publicatie en andere rapportages bias (deel 1)

Answer 2

Het evalueren van biases in een enkele studie is lastig, omdat de data vaak beperkt is. Een uitzondering geldt wanneer het onderzoeksdesign en het analyseplan a prior zijn geregistreerd. Het is makkelijker om bias te evalueren wanneer wordt gekeken naar meerdere studies die dezelfde onderzoeksvraag beantwoorden.
* Kleine studie effecten: deze testen evalueren studies uit dezelfde meta-analyse en stellen vast of de effectgroottes gerelateerd zijn aan het formaat van de studie. Wanneer kleinere studies grotere effecten hebben dan grotere studies, dan is er misschien sprake van rapportage biases.
* Selectie modellen: selectiemodel benaderingen evalueren of het patroon van de resultaten die zijn verzameld uit een aantal studies een onderliggend filterproces suggereren, zoals de non-publicatie van een bepaald percentage resultaten dat geen formele statistische significantie had bereikt.

Question 3

Detectie: testen voor publicatie en andere rapportages bias (deel 2)

Answer 3

• Overmatige significantie: het testen op overmatige significantie evalueert of het aantal statistische significante resultaten in een corpus van studies hoger is dan zou worden verwacht volgens bepaalde veronderstellingen over de effectgrootte.
• Ander veld-brede beoordelingen: in sommige werkvelden, zoals neuroimaging, waar identificatie van loci in plaats van effectgroottes het doel is, is een andere benadering nodig. Eentje die evalueert of het aantal ontdekte loci is gerelateerd aan de steekproefomvang van het onderzoek. In de afwezigheid van biases, zou je verwachten dat grotere studies een grotere power hebben en dus meer loci detecteren.
• Methodes voor het corrigeren van bias: zowel benaderingen voor effecten van kleine studies als selectie modellen kunnen corrigeren voor de mogelijke aanwezigheid van bias. Hoewel deze methodes de focus zijn van actief onderzoek, is hun prestatie nog onbekend. Ze kunnen mogelijk een vals gevoel van veiligheid genereren dat we vervormde of selectief gerapporteerde gegevens kunnen verhelpen.

Question 4

Prevalentie: empirisch bewijs voor publicatie bias en andere rapportage biases (deel 1)

Answer 4

• Neuroimaging: een onderzoek had gevonden dat er te veel neuroimaging studies waren met statistisch significante resultaten, waarschijnlijk door biases. Ook bleek dat sommige kleinere studies een te hoog aantal loci had gevonden.
• Dieronderzoek en andere preklinische studies: in preklinische studies, waaronder dieronderzoek, werd recentelijk benadrukt dat kernbevindingen niet konden worden gerepliceerd. Dit duidt op het feit dat er verschillende biases van invloed zijn.
• Psychologische wetenschap: in de afgelopen 50 jaar rapporteerden steeds meer psychologische studies positieve resultaten. Dit zou kunnen duiden op een bias tegen negatieve resultaten. Veel psychologische wetenschappers rapporteren dat ze gebruik maken van selectieve rapportage en flexibiliteit in analyse om hun onderzoeksresultaten meer geschikt voor publicatie te maken.

Question 5

Prevalentie: empirisch bewijs voor publicatie bias en andere rapportage biases (deel 2)

Answer 5

• Klinische trials: overmatige significantie wordt vaak gevonden in klinische industrie trails. Mogelijk is dit te verklaren door financiële conflicten (de studies worden gefinancierd door sponsoren). Negatieve resultaten van medicatie worden vaak niet gepubliceerd of vervormd gerapporteerd zodat ze positief lijken.
• Genetica: in de afgelopen decennia hadden genetica studies vaak veel problemen met reproduceerbaarheid gehad. Slechts enkele genetische studies uit de literatuur destijds konden betrouwbaar worden gerepliceerd.

Question 6

Preventie: aanpakken om bias te voorkomen (deel 1)

Answer 6

• Studie registratie: veel bekende journals vereisen nu een registratie protocol als een voorwaarde voor publicatie. Nog maar weinig klinische trials zijn echter geregistreerd. Daarnaast is de registratie niet gebruikelijk voor andere designs, ondanks dat registratie hiervoor eveneens nuttig kan zijn.
• Pre-specificatie: pre-specificatie van het onderzoeksontwerp en het analyseplan kan ervoor zorgen dat a priori en post-hoc analyses van elkaar gescheiden blijven.
• Data, protecol, code en analyse beschikbaarheid: voor materialen die digitaal gedeeld kunnen worden, is transparantie van het materiaal, de gegevens en het onderzoeksproces nu eenvoudig.
• Replicatie: een belangrijke kernwaarde van de wetenschap is reproduceerbaarheid. Huidige beloningen voor innovatie wegen zwaarder dan die voor replicatie, dat replicatie in sommige velden nog zeldzamer maakt. Wetenschappelijke journals zijn deze beloningsstructuren aan het aanpassen om publicatie bais te voorkomen.
• Samenwerkingsprojecten: stimulansen voor replicatieonderzoek worden verder versterkt door middel van crowdsourcing en samenwerkingsprojecten om de haalbaarheid en impact van replicatie te vergroten.

Question 7

Preventie: aanpakken om bias te voorkomen (deel 2)

Answer 7

• Pre-publicatie en review praktijken: rapportage standaarden worden nauwkeuriger. Zo worden de checklist standaarden voor indiening van een wetenschappelijk artikel soms aangevuld met aanvullende of speciale standaarden die biases tegengaan.
• Publicatie praktijken: journals kunnen praktijken die beloningsstructuren veranderen en bias verminderen aanmoedigen of zelfs vereisen.
• Post-publicatie review praktijken: terugtrekking van wetenschappelijke artikelen zijn een zeldzame gebeurtenis, net als volledige her-analyses van gepubliceerde resultaten. Het vergroten van blootstelling aan post publicatie commentaar kan hierin wellicht nuttig zijn om dit soort praktijken te stimuleren.
• Beloningsstructuren: de primaire valuta van academische wetenschap is publicatie. Beloningen moeten opnieuw worden uitgelijnd, zodat de nadruk niet wordt gelegd op de kwantiteit van publicaties, maar op de kwaliteit en impact van het werk, evenals een wetenschappers track-record voor reproduceerbaarheid.