H8 - Metaanalyser Flashcards
Hvad undersøger Mertens et al. (2021)? Og hvad viser undersøgelsen?
Undersøgelse af, om nudging virker
- Nuding - “choice architecture interventions” –> får folk til at gøre noget ønskværdigt uden at mindske deres frihed til at vælge
Undersøger effekten af nudging i et metastudie. Viser der er en ret stor effekt på tværs af forskellige typer af nudging, hvor effekten er mellem d= 0.28 til 0.54.
Dog!!!:
For bred søgestreng, Dette resulterer i en publikationsbias, hvor det kan ses på deres funnelplot samt eggers regression, at de har taget for mange studier med, der viser alt for høje effekter i forhold til, at disse generelt har et lavt N (da disse har høje standardfejl).
Også problem i forhold til søgestreng der hedder “Nudge OR Choice Architecture”, hvor choice architecture kan være andet end nudges
Hvad er en meta-analyse, og hvilke fire kriterier skal man overveje for at få en god meta-analyse?
Meta-analyse: en systematisk sammenstilling af ‘alle studier’ af et givent spørgsmål.
Fire kriterier man skal overveje for at få en god meta-analyse:
- Udvælge en god søgestreng
- Vurdere studiekvalitet
- Vurdere om studier er sammenlignelige
- Vurdere om der er publikationsbias
Hvad undersøger Dellavigna & Linos (2022)? Og hvad handler deres studie om?
De undersøger om nudging har en effekt? Deres studie er en metaanalyse af nudingstudier.
- Bruger resultater fra nudging-enheder i USA, som ikke på samme måde som litteraturen er påvirket af publikationsbias. Sammenholder resultaterne.
Deres resultater viser, at der er en markant forskel i metastudie-effekter, hvor akademiske tekster har meget stærkere effekter. De undersøger dette nærmere, og ser bla. at akademiske tekster er kendetegnet ved en MDE på 6.6 mens nudging-enheder kun har en på 0.8. De forklarer, at forskellen især skyldes publikationsbias samt stor forskel i statistisk power
Finder, at ⅔ af forskellen mellem nudge units og akademiske studiers effekt af nudgning, skyldes publikationsbias. En artikel har 10 gange mere sandsynlighed for at blive publiceret, hvis det viser en effekt.
Hvad betyder MDE overhovedet??
MINIMUM DETECABLE EFFECT!!! Dette begreb hænger sammen med statistisk power. Jo højere power man har, jo mindre mde behøver man for en statistisk signifikant effekt, hvorimod, hvis man har lavere power, så skal mde være højere før man har en statistisk signifikant effekt.
Hvad undersøger Bakdash & Marusich (2022)? Og hvad finder de?
Undersøger Mertens et al. (2021)s metastudie.
De finder blandt andet ud af, at de fleste nudging typer de har med er venstreskæve, det vil sige, at størstedelen af de medtagne studier de ligger under Cohens D-værdien, hvilket indikerer publikationsbias.
Helt generelt finder de at publikationsbias er langt større end Mertens et al. (2022) medgiver. De finder ligeledes en meget mere begrænset effekt og at undersøgelsen medtager artikler, som er lavet af en svindler.
Hvad er cohens D?
Basically bare et mål man har for metaanalyser til at vise, hvor stor en effekt der er
Dividerer ens gennemsnitlige effekt med standardafvigelsen for at få et standardiseret mål, som man kan sammenligne på tværs af studier.
Hvad er Eggers regression??
Eggers regression: En metode til at måle publikationsbias. Den kan vise mængden af effekter, der er under metaanalysens gennemsnit (cohens D). Hvis denne er høj indikerer det publikationsbias.
Hvad er forskellen på Fixed effects models og random effects model i en metaanalyse?
Ved en fixed effects model undersøger man populationer under antagelsen, at de er enslignende og er blevet treatet under samme forhold. Denne model tager ikke højde for heterogenitet, kan den overestimere effektstørrelsen, hvis studierne ikke tager udgangspunkt i samme population.
Random effect modellen tager højde i forhold til man har forskellige populationer. Den giver mindre vægt til store studier med mindre variation og der har derfor bredere konfidensintervaller end fixed-effects modellen.
Hvad er et funnelplot?
Bruges til at måles publikationsbias. Horisontalt har man cohens D, mens man vertikalt har standardfejl. Hvis vi ser, at der er en overvægt af studiet nederst i højre hjørne, så indkerer det publikationsbias.
Hvad er grå litteratur?
Grå litteratur er =forskning der ikke er publiceret eller abstrakter, rapporter fra konferencer eller bogkapitler
Man kan inkludere “grå-litteratur” for at øge sandsynligheden for, at man ikke har publikationsbias. Imidlertid risikerer man her at inkludere litteratur, der ikke er af høj kvalitet.
Hvad er en søgestreng?
Søgestreng: De søgeord man bruger, når man leder efter studier. Der er fordele og ulemper ved begge, men en tommerfingerregel er, at man hellere vil have en lidt bredere end en smallere for at være sikker på, at man får indsamlet alt det væsentlige litteratur. Dertil er det vigtigt, at man søger efter både positive såvel som negative resultater.
Skal man være ligeglad med studiers kvalitet i forhold til at inddrage dem i metaanalyser??
Nej?? Man skal også vurdere studiets kvalitet, men svært at sætte fingeren på hvilke værktøj man skal bruge, da der er mange til at vurdere det på. Nogle af dem er dog måling af variable, selektion af deltagere samt tilstrækkelig kontrol med konfunderende variable.
Kvaliteten af undersøgelsen → “risk of bias” kriterier man bør lave på forhånd: målingsvaliditet, identifikationsstrategi (at man har kausale studier), sample selection
Godt at være relativt restriktive, så man er sikker på at de studier man accepterer er af en tilstrækkelig god kvalitet.
Vigtigt fordi at studier af dårlig kvalitet kan forstyrre troværdigheden af resultatet.
Hvordan vurderer man studiers sammenlignlighed?
Har samme metode, samme forskningsspørgsmål, samme konceptualisering. Vigtigt fordi man kan komme til at misfortolke resultaterne.
Er det de samme populationer, vi undersøger?
Er det det samme X og samme Y, vi undersøger? Skal gerne undersøge de samme variable.
Hvorfor er publikationsbias et problem?
Fordi det kan skævvride resultatet, overestimation af effekter, hvis der ikke tages højde for publikationsbias. Der sker en tydelig selektion på p-værdier.
Hvad henviser heterogenitet i metaanalyser??
Referer til variabilliteten i metaanalyser. Er effekterne meget forskellige i alle de studier man har med? Kan signallere problemer –> Kan eksempelvis beskues via funnelplots.
