probleem 7: harking Flashcards
confirmatory en exploratory onderzoek
In de afgelopen jaren hebben verschillende studieboeken en artikelen gesuggereerd om af te wijken van de traditionele benadering waarbij hypothesen worden gevormd voorafgaand aan het uitvoeren van experimenten. Zo zegt Bem dat de traditionele aanpak nuttig is voor confirmatory onderzoek, terwijl het gebruik van post-hoc (een hypothese die gebaseerd is op resultaten) meer past bij exploratory onderzoek.
Harking:
het rapporteren van een post-hoc-hypothese in iemands onderzoek alsof het een a-priori-hypothese is (vooraf opgesteld). In wezen omvat harking in het in acht nemen van de post-hoc aannemelijkheid van hypothesen bij het beslissen welke hypothesen er in de inleiding van het rapport komen te staan.
indirect bewijs voor harking + 3 symptomen
Indirect bewijs: er zijn verschillende diagnostische symptomen die duiden op het feit dat sommige wetenschappers gebruikmaken van harking;
* Symptoom 1 – de te-gemakkelijke kwalificatie: verwijst naar het gebruikmaken van een verstandige of passende hypothese die niet voor de hand liggend was af te leiden uit de theorie en die wordt bevestigd door de resultaten van de studie.
-> Harking herkennen doordat iets lijkt alsof het niet op een juiste theorie is gebaseerd.
* Symptoom 2 – de te-goed-om-waar-te-zijn theorie: er is sprake van een mismatch tussen de aannemelijkheid van de theorie en de verwachting van de bevindingen; men kan zich gemakkelijk aannemelijke variaties op de theoretische aanname voorstellen die zou leiden tot compleet verschillende voorspellingen.
-> Harking herkennen doordat de resultaten te mooi zijn om waar te zijn.
* Symptoom 3 – de al-te in het oog springende methodologische blunder: als een auteur Harkt, kan dit leiden tot een slechte fit tussen het onderzoeksontwerp en het schijnbare doel, omdat de studie oorspronkelijk immers niet goed bedoeld was voor de geharkte hypothese (bv: er is een conditie getest die niet logisch is voor de geharkte hypothese).
direct bewijs voor harking
Direct bewijs: in een enquête werd wetenschappers gevraagd om de frequentie te melden waarmee ze geleerden in hun vakgebied vormen van harking zagen gebruiken. Hieruit bleek dat niet alleen harking plaatsvindt, maar dat bepaalde vormen ervan even veel voorkomen als de traditioneel toegeschreven aanpak (hypotheses vooraf opstellen).
Keuren wetenschappers deze praktijk goed?
Volgens respondenten is het volkomen acceptabel om de lijst met aannemelijke hypothesen aan te vullen door hypotheses toe te voegen die door de gegevens worden gesuggereerd, zolang men ook enig werkelijk a-priori-hypothese(n) naar voren brengt.
-> Kortom, ze hebben bezwaar op het onderdrukken van a-priori-hypotheses die fout zijn gebleken, maar ze hebben geen bezwaar op het naar voren brengen van gepaste post-hoc hypothesen.
Reden 1 – bevestiging van een a-priori-theorie
-> Het is voor wetenschappers vaak belangrijk om zo expliciet mogelijk te zijn over wat hun assumpties en verwachtingen zijn, ondanks dat ze misschien nog niet een samenhangende en formele theorie hebben. Dit belang voor expliciete hypotheses komt voort uit:
- Het feit dat veel wetenschappers logisch empirisme wordt aangeleerd.
- Het feit dat veel tekstboeken alleen instructie geven wanneer men zich in een context van rechtvaardiging bevindt (confirmatory onderzoek), en niet wanneer men zich in een context van ontdekking bevindt (exploratory onderzoek).
Popper betoogde dat het weerleggen van een theorie informatiever is dan de bevestiging ervan.
Een duidelijke weerlegging kan helpen om een tegenstrijdige theorie te elimineren. Een empirische bevestiging zorgt daarentegen er alleen voor dat de theorie blijft bestaan voor verder onderzoek, maar het verkleint de reeks mogelijke verklaringen voor een fenomeen niet. Toch zijn er aanwijzingen dat wetenschappers bevestigingen vaak informatiever en waardevoller vinden dat de ontkrachting daarvan. Dit komt waarschijnlijk mede door de confirmation bias die elke onderzoeker met zich meedraagt.
-> voorgaand argument suggereert dat onderzoek expliciete hypothesen opstelt en bewijs presenteert dat deze hypothesen bevestigt, waarschijnlijk gunstiger zal worden beoordeeld voor publicatie dan onderzoek dat ofwel geen expliciete hypotheses naar voren brengt of zijn hypothese(n) niet bevestigd.
-> Dit stimuleert het gebruik van harking. Auteurs die hier namelijk voor kiezen, kunnen voldoen aan beide criteria:
- Ze weten het patroon van resultaten voordat ze het rapport schrijven
- Hierdoor kunnen ze ervoor zorgen dat de hypothesen die naar voren worden gebracht in de inleiding van het rapport mooi worden bevestigd door hun gegevens.
Reden 2 – efficiënte wetenschappelijke communicatie
-> Men kan stellen dat voor lezers tijd en aandacht te waardevol zijn om te verspillen aan het lezen van iets wat achteraf ongeldige benaderingen bleek te hebben. Harking brengt de bottom line – het beste begrip van iemands gegevens, ofwel de kern van het verhaal – bovenaan het rapport, bij de inleiding.
Het is de vraag of het de moeite waard is bij de traditionele aanpak om de lezer te wijzen op hypothesen die voor het onderzoek als meer plausibel werden beschouwd dan na het onderzoek. Deze aanpak is accurater, maar een stuk minder efficiënt.
Reden 3 – aangrijpende wetenschappelijke communicatie
-> onderzoeksrapporten waarbij harking is gebruikt, komen beter door het beoordelings- en publicatieproces, omdat beter passen bij een goed wetenschappelijk script en een goed verhaal van het script.
Zo dient het opstellen van een theorie als een effectieve ‘initiërende gebeurtenis’ van het verhaal. Het geeft bepaalde gebeurtenissen betekenis en rechtvaardigt de latere doelgerichte activiteiten die gericht zijn op het testen van de hypothesen. En wanneer men harking toepast is een ‘happy end’ (d.w.z. bevestiging van de resultaten) gegarandeerd.
Een studie waar geen harking in wordt gebruikt, heeft daarentegen niet zo’n soepel lopende verhaallijn. Hoewel het een meer accurate representatie is van hoe het proces verloopt, is het niet zo’n pakkend verhaal als bij harking. Dit geldt voornamelijk bij exploratory onderzoek, omdat hier nog weinig overeenstemming is over wat de juiste vragen zijn.
Overtreffen de kosten de baten van harking?
Kunnen we post hoc hypothesen herkennen en buiten beschouwing laten?
-> Het is niet eenvoudig om te beoordelen of er sprake is van harking. Om daarover te kunnen oordelen moet men in twijfel trekken dat wat iemand nu beweert (post hoc) ook was hoe diegene erover dacht voor aanvang van het onderzoek (a priori).
Hoe permanent zijn de kosten van harking?
-> Veel van de kosten van harking zijn slechts op korte termijn, vanwege de zelfcorrigerende eigenschap van de wetenschap; fouten en misconcepties worden op de lange duur vaak rechtgezet. Niet alle kosten van harking kunnen echter hierdoor worden rechtgezet. In sommige gevallen kan de schade cumulatief zijn in plaats van tijdelijk (bv groeiend cynisme). Bovendien moeten we de zelfcorrigerende eigenschap van wetenschap niet gebruiken als excuus om schadelijke praktijken toe te staan.
Wat zijn de transactie kosten van actie ondernemen tegen harking?
-> Actie ondernemen tegen harking kan kosten met zich meebrengen. Zo kan de wetenschap, in het bijzonder in context van ontdekking, niet goed functioneren onder strikte beperkingen die alleen bepaalde manieren toelaten om bruikbare kennis te ontwikkelen.
Het publiekelijk maken dat er veel gebruik wordt gemaakt van harking binnen de wetenschap kan het vakgebied een slechte naam geven. De wetenschap is afhankelijk van publieke steun, dus dit zou ernstige gevolgen kunnen hebben. Het is moeilijk om te bepalen of de bovenstaande argumenten het tolereren van harking rechtvaardigen.
harking vermijden deel 1
Er zijn verschillende mogelijkheden. De meeste hiervan zijn gericht op het aanpassen van het algehele systeem, i.p.v. dat er gericht wordt op individuele wetenschappers. Dit omdat individuele oplossingen wss niet zullen slagen zonder dat er systematische, structurele veranderingen komen.
* Educatie: studenten moeten worden blootgesteld aan de voor- en nadelen van harking, zodat ze hier zelf een mening over kunnen vormen en kunnen bijdragen aan het bereiken van overeenstemming.
* Onderzoek doen naar harking: het beantwoorden van wetenschappelijke vragen over harking zou kunnen bijdragen aan het bereiken van consensus over de echte risico’s.
harking vermijden deel 2
- Harking benoemen in professionele gedrags- en ethiek codes: als consensus wordt bereikt moeten richtlijnen en sancties voor overtredingen worden opgesteld.
- De beloningen voor harking binnen het publicatieproces aanpassen: evaluatieve criteria en praktijken in het publicatieproces moeten veranderd worden (bv; de reputatie van wetenschappers zou niet puur moeten afhangen van het aantal publicaties). Voorbeelden van verandering:
o Replicatie aanmoedigen of vereisen
o Harking moet een reden zijn om een artikel af te wijzen
o Een onderzoek moet openhartig kunnen identificeren als exploratory, zonder dat het automatisch wordt verwezen als publicatie.
o Hypothesen moeten openhartig kunnen identificeren als post hoc, zonder dat het daar acuut een stigma bij komt kijken.
