Replikasjonskrisen (artikkel) og artikkel statistisk svakhet Flashcards
Hva er en replikasjon?
En gjentagelse av et studier som har blitt gjort fra før
Hva er replikasjonskrisen i korte trekk?
Stuider som tidligere viste store sammenhenger og sterke resultater ikke lar seg replikkere når man prøver å gjenta forskningen.
Dette har skapt stor usikkerhet knyttet til hva som er reliabel forskning
Hva slags inntrykk sitter vi igjen med etter replikasjonskrisen`?
Inntrykket vi sitter igjen med etter replikasjonskrisen, er en mistanke om at mye av den publiserte forskningen ikke er reliabel, noe som tvinger oss til å være kritiske til en del av teoriene og praksisene som er utviklet på feltet. Vi kan ikke regne effekter som etablerte selv om de ser ut til å teste troverdige hypoteser, resultatene er kompatible med tidligere forskning, metoden virker solid, forskerne er kompetente, og artikkelen er fagfellevurdert i velrennomerte tidsskrift. Det er ikke noe spesielt som kjennetegner de studiene som ikke har latt seg replikere – faktisk ser det ut til at replikasjonsraten kan være lavere for hyppig siterte studier publisert i topp-tidsskrift
Hva er årsakene til replikasjonskrisen?
Årsakene til replikasjonskrisen kan føres tilbake til svakheter ved måten psykologisk forskning vanligvis gjøres på, og til mekanismer som påvirker hvordan forskerne jobber, og hva som publiseres. Vi har tre fremtreende årsaker
Forskningspraksiser som årsak
Publikasjonspraksis som årsak
Strukturelle årsaker
Fortell om forskningspraksisene som kan regnes som en årsak til replikasjonskrisen
Det meste av publisert psykologisk forskning baserer seg på «null-hypotese-signifikanstesting.» For å bli publisert med en slik tilnærming er det avgjørende at du kan vise en statistisk test med en signifikansverdi lavere enn et gitt kriterium (ofte satt til p = 0,05). Det fører til at forskeren er sterkt motivert til å finne signifikante resultater i analysene sine.
Har blitt vist at det er relativt utbredt med forskningspraksiser som ligger i gråsonen for det akseptable. Det å forsøke en rekke statistiske tilnærminger for å finne et signifikant resultat kalles noen ganger «p-hacking». Dette kan være ulike metodiske grep som ligger i spennet mellom «allmenn» og «uetisk» forskningspraksis, som å forsøke ut flere utfallsmål og interaksjoner, fjerne avvikende datapunkt, eller å samle mer data, til en finner en effekt som er statistisk signifikant.
En annen tilnærming er at hypotesene kan være temmelig vage og uspesifiserte i begynnelsen av studien, men at de justeres, tilpasses og konkretiseres etter at en har sett på dataene (såkalt HARKing – «hypothesizing after the results are known»).
Fortell om publikasjonspraksis som årsak til publikasjonskrisen
I tillegg til forskerens sterke motivasjon til å finne signifikante funn er det store mørketall for hvor mye av forskningen som ikke blir publisert. Forskere starter en rekke studier (eller analyser av innsamlede data), og dersom de ikke finner det forventede resultatet (eller finner uklare resultater), blir de ikke publisert.
Det kan være at forskere er motvillige til å publisere funn som ikke støtter den teorien de tidligere har jobbet innenfor, eller ikke støtter den terapiformen eller intervensjonen de bruker.
At mange studier aldri blir publisert, kalles ofte «skrivebordsskuff-effekten» eller «publikasjonsbias». Dette fører til at forskningslitteraturen bare består av en liten del av de studiene som faktisk er gjennomført, og at studier med uklare funn eller funn som strider mot det etablerte synet, er underrepresentert.
Fortell om strukturelle årsaker til replikasjonskrisen
Forskere er i kontinuerlig konkurranse for å få stillinger, forskningsmidler og status, og i denne konkurransen måles de på antall publikasjoner, hvor oppsiktsvekkende og betydningsfulle funnene er, hvem som er medforfattere, og status til tidsskriftet der forskningen er publisert. I de senere år har dette tilspisset seg på grunn av en økning i antall stipendiater (som alle forventes å publisere tidlig i karrieren) og internasjonal konkurranse om stillinger.
Akademiske institusjoner har ofte insentivmidler som belønner forskere som publiserer mye, mens det er få insentiver som oppfordrer forskere til å være nøkterne, møysommelige og gjennomsiktig i forskningen
Teknologisk utvikling har gjort det mye lettere å hurtig samle inn og analysere store datasett. Mens en tidligere følte seg forpliktet til å få publisert de dataene en hadde samlet inn, selv om resultatene var uklare eller svake, kan det i dag synes mer fristende å forkaste data og gjøre en ny datainnsamling.
Hvilke tiltak blir diskutert for å unngå en ny krise?
Preregistrering
Åpen forskning
Nye metoder
Nye publiseringsmåter
Forskningskulturen
Gå dypere inn på metodene pre registrering og åpen forskning
Med pre-registrering menes at vi på forhånd skriver ned hvilke hypoteser vi vil teste, hvordan vi skal samle inn data, og hvordan analysene skal gjøres. Denne planen offentliggjøres på nettsider som osf.io/ eller AsPredicted.org/ med et tidsstempel. Dette gjør det enklere for oss å holde orden på at alt er planlagt på forhånd, og at vi faktisk følger den planen. Leseren kan sjekke at vi faktisk har fulgt planen, og ikke har drevet med p-hacking eller HARKing. Pre-registrering lar oss også bruke mer sensitive statistiske tester enn vi ellers kunne gjort, og kan gjøre det lettere å få publisert studien også når resultatene er uklare eller viser null-funn.
Et annet tiltak mot replikasjonskrisen er en bevegelse mot mer åpen forskning. Det går blant annet ut på at vi gjør datasettene offentlig tilgjengelig, slik at andre forskere kan etterprøve den analysen vi har gjort, og se om de vil finne andre resultater dersom de bruker andre analyser. Dette kan også bidra til en effektivisering, ved at en større andel av datasettet blir utnyttet, og hever kvaliteten på metaanalysene. Vi kan også gjøre materialene som er utviklet for studien tilgjengelig, slik at de kan etterprøves eller brukes om igjen av andre. I noen tidsskrift blir det i dag forventet at data er åpne, og forskerne må ellers rettferdiggjøre hvorfor dette ikke er gjort.
Gå dypere inn på metodene nyere metoder og nye publiseringsmåter
Som nevnt bruker det meste av psykologisk forskning signifikanstesting, og overdreven tillit til denne tilnærmingen har fått deler av skylden for replikasjonskrisen. En mulig løsning kan derfor være å rapportere effektstørrelser eller bruke alternative statistiske tilnærminger. Tidsskriftene forventer i dag at artikkelen har en lengre metodedel som inneholder alle nødvendige detaljer som skal til for å replikere studien, og at vi i forkant har regnet ut at studien vil ha tilstrekkelig statistisk kraft til å avvise null-hypotesen.
Det er også en viss utvikling i måten forskning publiseres på. Det er utviklet retningslinjer for å fremme gjennomsiktighet og åpenhet. Vi ser også at tidsskrift i større grad åpner for å publisere mer nøkterne og realistiske versjoner av studien, selv om den kan ha mindre imponerende funn. Noen tidsskrift åpner også for «registrerte rapporter», noe som innebærer at de først vurderer en pre-registrering av forskningen, og forplikter seg til å publisere den ferdige artikkelen så lenge planen følges, uavhengig av hva resultatene viser.
Gå dypere inn på endring av forskningskulturen
Til slutt er det også økt oppmerksomhet om svakhetene i forskningspraksisen vår, og på behovet for å endre kulturen blant forskere. Det har blitt mer interesse og aksept for å gjøre replikasjoner. Der forskerne tidligere hegnet om egne studier og data, er det i dag et større innslag av delingskultur. Eksempler på dette er at flere laboratorier kan samarbeide om å analysere de samme dataene uavhengig av hverandre, eller at de gjør den samme datainnsamlingen parallelt, og så ser om de finner den samme effekten.
Hva er det grunnleggende utgangspunktet for debatten rundt replikasjonskrisen i psykologi?
Alle parter er enige om at faget skal være empirisk basert, og at hypoteser skal testes mot data, selv om dette har vist seg vanskeligere enn tidligere antatt.
Hva er den reelle uenigheten i replikasjonsdebatten?
Uenigheten handler om hvorvidt alle studier og forventede funn skal annonseres på forhånd, om data alltid skal være tilgjengelige for analyse, og hvor mye forskernes tid som bør brukes på replikasjoner versus original forskning.
Er det forskjell på “unge” forskere og “eldre” forskere på synet av replikasjonskrisen?
Unge forskere er veldig opptatt av den, mens eldre forskere stritter litt imot
Hvorfor forventes det ikke at replikasjonsraten er bedre for mer komplekse psykologiske fenomener?
Fordi slike studier ofte inkluderer mange variabler uten klare forhåndsdefinerte hypoteser, og kvalitative metoder er påvirkelige av forskernes tolkninger, noe som gjør replikasjon vanskeligere.
Hva er outcome-switching, og hvordan påvirker det kliniske studier?
Outcome-switching skjer når forskere utelater variabler som ikke viste positive resultater i en studie, noe som kan gi et misvisende bilde av terapiens effekt.
Hvorfor er det misvisende å tro at replikasjonskrisen er et større problem i psykologi enn i andre fag?
Fordi andre fagfelt, som biomedisin, kreftforskning og farmakologi, også har lave replikasjonsrater, men har hatt færre organiserte forsøk på replikasjon enn psykologi.
Hvorfor har replikasjonskrisen i psykologi fått særlig mye oppmerksomhet?
Fordi faget er av allmenn interesse, og fordi psykologer naturlig er opptatt av faktorer som påvirker menneskelig atferd, noe som gjør dem mer selvkritiske til egen forskning.
Hva ble avdekket av Cohen i 1962?
at mange studier i psykologisk forskning ble gjennomført med lav statistisk styrke. Dette er et problem fordi den statistiske styrken til en studie sier noe om sannsynligheten for at vi avdekker en effekt, dersom det finnes en effekt å avdekke.
Mindre kjent, eller i hvert fall inntil nylig mindre omtalt, er det faktumet at lav statistisk styrke også medfører at vi «finner» effekter eller fenomener som ikke er der
Hva er en type 2 feil?
Lav statistisk styrke gjør altså at vi løper en betydelig risiko for ikke å finne reelle og nyttige effekter i forskningsstudiene våre, til tross for at de kanskje egentlig finnes i de populasjonene vi studerer. Denne typen feil kalles gjerne for Type 2-feil.
Hva er en type 1 feil?
En type-I-feil eller forkastningsfeil er en statistisk feil som består i en feilaktig avvisning av nullhypotesen. Hvis man konkluderer at nullhypotesen er falsk, selv om den egentlig er sann, har man altså gjort en type-I-feil.
Hva er en spuriøs effekt og hva er en reell effekt
En spuriøs effekt refererer til en tilsynelatende sammenheng mellom to variabler som egentlig ikke har en kausal sammenheng, men hvor korrelasjonen skyldes påvirkning fra en eller flere tredjepartsvariabler (også kjent som konfunderende faktorer). Slike effekter kan oppstå på grunn av tilfeldigheter eller feilkilder i datainnsamling og analyse. For eksempel kan en analyse vise en sammenheng mellom iskremforbruk og drukningsulykker, men denne sammenhengen er spuriøs fordi begge variablene påvirkes av en tredje variabel, nemlig varmt vær.
En reell effekt, derimot, eksisterer når det er en ekte kausal sammenheng mellom to variabler. Dette betyr at en endring i den ene variabelen faktisk forårsaker en endring i den andre variabelen. Vitenskapelig design, som randomiserte kontrollerte studier, brukes ofte for å etablere kausalitet og skille mellom spuriøse og reelle effekter.
Hvordan bidrar publiseringsinsentiver til dårlig forskningspraksis?
Forskere belønnes for å publisere studier med iøynefallende og signifikante resultater, noe som kan føre til dårlige forskningspraksiser som p-hacking og selektiv rapportering. Dette forsterker problemene med lav statistisk styrke og øker sannsynligheten for falske funn
