probleem 7: gevolgen van harking Flashcards
Harking kan leiden tot type 1 fouten in de theorie;
-> Type 1 fout: het verwerpen van H0, terwijl h0 waar is.
Wanneer een type 1 fout wordt gevolgd door harking, dan wordt de theorie geconstrueerd om te verklaren wat in feite een niet-bestaand effect is.
Hypotheses gebaseerd op harking voldoen niet aan Poppers criteria van falsificeerbaarheid;
-> Popper beargumenteerde dat elke nuttige wetenschappelijke theorie moet kunnen worden ontkracht. Een geharkte hypothese kan echter niet voldoen aan dit criterium, omdat deze hypothese altijd in overeenstemming is met de resultaten. Hierdoor is er niet direct een manier om de theorie te ontkrachten Dit kan wel d.m.v. een nieuw onderzoek.
Een replicatieonderzoek kan;
1) De kans verkleinen dat het oorspronkelijke onderzoek een type 1 fout bevat.
2) Voldoen aan Poppers criterium wanneer blijkt dat niet opnieuw dezelfde resultaten kunnen worden behaald.
3) Ten minste sommige bezwaren tegen het gebruik van post-hoc hypothesen worden opgelost door succesvolle replicatie (bv; de circulariteit van het bereiken van zowel ontdekking als bevestiging met dezelfde dataset).
Harking en de relatieve waarde van accommodatie tegenover voorspelling;
-> Vele mensen zijn ervan overtuigd dat een uitleg die post hoc aansluit, of accommodeert bij de resultaten, minder snel correct zal zijn dan een uitleg die succesvol dezelfde resultaten kan voorspellen. Kortom, mensen zijn ervan overtuigd dat de voorspelling superieur is boven accommodatie.
* Als deze overtuiging gegrond is, zou men kunnen stellen dat harking zorgt voor een verkeerde voorstelling; een minder wetenschappelijke bruikbare post hoc hypothese wordt vermomd als een meer wetenschappelijke bruikbare a priori hypothese.
o Bij accommodatie zijn er meer mogelijke verklaringen (hypotheses) voor een smalle set aan feiten. De kans dat een van deze verklaringen klopt, is kleiner.
o Bij voorspelling zijn er minder mogelijke verklaringen voor een bredere set aan feiten. De kans dat een van deze verklaringen klopt, is groter.
* Als deze overtuiging niet gegrond is, zou men kunnen stellen dat harking geen kwaad kan. Hier is weinig ondersteuning voor; voorspelling heeft over het algemeen de voorkeur boven accommodatie, omdat post hoc hypothesen alleen proberen om de huidige resultaten te verklaren (accommodatie), terwijl a priori hypothesen meestal streven naar het verklaren van een bredere reeks bevindingen (voorspellen).
Waardevolle informatie over iemands originele hypothese kan verloren gaan;
-> Een originele hypothese die niet succesvol is gebleken kan nog steeds waardevolle info bieden. Het kan bvb helpen om te zorgen dat andere niet dezelfde foute gedachtegang maken. Het is voor de lezer van belang om nadrukkelijk te vermelden waarom een hypothese niet aan bleek te sluiten bij de resultaten, we kunnen er niet vanuit gaan dat dit voor zich spreekt.
Harking kan statistisch misbruik promoten;
-> Statistische aanpassingen worden gerechtvaardigd door reeds bestaande en gevestigde theorieën (bv eenzijdig i.p.v. tweezijdig toetsen). Bij harking kan post hoc theorie dit soort aanpassingen echter niet rechtvaardigen en is er sprake van statistisch misbruik.
Harking presenteert inaccurate, vertekende wetenschappelijke modellen;
-> Harking is een slecht voorbeeldbeeld voor studenten. Ze kunnen de indruk krijgen dat wetenschappers complexe patronen van resultaten correct kunnen voorspellen, terwijl het zelden zo eenvoudig is. Het geeft ze dus een inaccuraat, vertekend beeld van de wetenschap.
Harking is onethisch;
-> Wat betreft ethische standaarden wordt nergens nadrukkelijk gesteld dat het gebruik van harking onethisch is. Echter, man kan beargumenteren dat harking een fundamenteel ethisch principe van wetenschap schendt; dat wetenschappers verplicht zijn om hun werk op een eerlijke en complete wijze te communiceren. Harking is daarom erg schadelijk voor het wederzijds vertrouwen onder wetenschappers.
Harking kweekt cynisme;
-> Het publicatiesysteem kan auteurs aanmoedigen om een ander verhaal te vertellen dan de werkelijkheid en harking is hier een voorbeeld van. Problemen kunnen ontstaan wanneer een groot gat ontstaat tussen wat het systeem aanmoedigt en wat we hebben geleerd over ideale wetenschappelijke praktijken.
Dit soort gaten kunnen cynisme creëren. Dit geldt vooral wanneer niet fatsoenlijk wordt toegelicht waarom er een gat is. Tijdschriftartikelen zijn bvb niet op exact dezelfde wijze geschreven als het oorspronkelijke onderzoek en een toelichting zoals ‘het werkt nou eenmaal zo’ kan in dit geval grote twijfels oproepen bij de lezers over de validiteit van de onderzoeksresultaten. Hetzelfde geldt wanneer geen toelichting wordt gegeven over het gebruik van post hoc hypotheses bij harking.
De oorzaken van harking kunnen wetenschappelijke ontdekking negatief beïnvloeden;
-> Post hoc hypotheses worden automatisch ondersteund door de resultaten. Dit kan echter leiden tot een tunnelvisie, omdat wetenschappers heel erg overtuigd kunnen raken van één verklaring. Hierbij negeren ze tegenstrijdige bevindingen en vervormen ze interpretaties zodat ze passen bij hun eigen verklaring voor observaties.
Harking stimuleert nieuwe theorieën die erg nauw zijn;
-> Een primair doel in wetenschap is om krachtige, algemene theorieën te creëren die in meerdere settings toepasbaar zijn. Harking zorgt er echter voor dat er een preoccupatie is voor het verklaren van een effect op zeer specifieke, nauwe wijze. Hierdoor is er een gebrek aan aandacht voor de bredere set aan mogelijk relevante bevindingen en contexten.
Harking stimuleert losse, non-bevestigbare oude theorieën;
-> Stel dat we een onvoorspelbaar effect vinden waar we geen goede verklaring op kunnen bedenken. Dit vormt een probleem voor harking, omdat onvoorspelbare effecten als oninteressant worden gezien. Een oplossing is om een theorie op te stellen waarmee vrijwel ieder patroon van resultaten in iedere mogelijke context kan worden verklaard. Deze theorie zal echter erg vage concepten hebben die meerdere processen omvat met vele assumpties die niet vaststaan. Kortom, harking promoot hierdoor een ingewikkelde, vage non-bevestigbare oude theorie.
Harking remt mogelijk de generatie van alternatieve hypothesen;
-> Door harking wordt de wetenschappelijke vooruitgang vertraagd, omdat plausibele alternatieve verklaringen niet grondig worden overwogen. Dit zorgt voor een inefficiënt onderzoeksdesign en preoccupatie met theorieën die ongeldig of van beperkt nut blijken te zijn.
