L5 Forskel i gennemsnit Flashcards
Hvad er forskellen på ‘forskel i gennemsnit’ og dikotom afhængig/LSM/logit?
LOL
Uafhængig=dikotom (forskel i gns)
Afhængig=dikotom (LSM/logit)
Hvad betyder det, når konfidensinterval krydser hinanden i CI plot?
INGENTING!
Der er ikke noget substantielt i at observere, at konfidensintervallerne krydser hinanden. Her har man jo lagt usikkerhed til begge punktestimater og ikke kun forskellen. Vigtigt!!
Hvad er en type l fejl?
Afvisning af nulhypotesen selvom den er sand (falsk positiv)
Sandsynligheden for en Type-I-fejl er signifikansniveauet
Hvad er en type ll fejl?
Undladelse af forkastning ag nylhypotesen, selvom den er falsk (falsk negativ)
Sandsynligheden for at undgå type-II-fejl er testens power. (desto større n, desto højere power)
Hvad er forskellen på type l og type ll fejl?
Den ene er falsk positiv og den anden er falsk negativ. (kind of omvendte). Der er trade-off mellem de to.
Hvilke antagelser gælder ved sammenligning af to gruppers gennemsnit?
Stor stikprøve, N > 30
Simpel tilfældig udvalgt stikprøve (i.d.d)
Hvis vi vil udtale os om kausal inferens: fravær af selektionsbias
Hvorfor bruger vi ‘unequal’ -kommandoen?
“Robuste standardfejl”. Tillader at variansen er forskellig for de to grupper, hvilket vi ofte vil forvente.
Hvorfor bruger vi ‘reverse’-kommandoen?
Vi får den ønsket retning på de to gennemsnit ift. subtraktion
Forklar hvad en to-sidet hypotesetest er
Man opstiller en nulhypotese og tester denne ved et givent signifikansniveau. Hvis ikke denne er signifikant, kan vi forkaste nulhypotesen og istedet acceptere alternativhypotesen = gennemsnittet/forskellen er forskellig fra 0.
Hvordan præsenterer vi konfidensintervaller i stata?
CI-plot
Hvordan bør man forholde sig til en forskel mellem to gennemsnit, der ikke er signifikant? - altså ved accept af nulhypotesen
Det er et udtryk for tilfældigheder at vi ser en forskel.
MEN insignifikans er ikke altid lig med at der ikke er en effekt –> måske mangler vi power
Hvorfor er substantiel signifikans vigtigt?
Fordi noget er statistisk signifikant er det ikke nødvendigvis substantielt signifikant! (vi skal ikke bare p-hacke)
Hvad er forskellen på substantiel signifikans og statistisk signifikans?
Statistisk signifikans: p-værdi, hypotesetest
Substantiel signifikans: relativ vurdering af effektstørrelse
Hvilke redskaber bruger man til at vurdere den substantielle signifikans?
Eksterne kilder:
- Hvad har man undersøgt i litteraturen tidligere
- Hvad ved vi om udsving i den afhængige variabel
- cost/effectiveness
Interne kilder:
- Hvor stor en del af skalaen for den afhængige variabel udgør effekten
- Hvor mange standardafvigelser udgør effekten (Cohens D= forskel/SD)
- Relative effekt, procentuelle stigning
- Typisk ændring? Interkvartil? Mere robuste bud på ændring?
- hvad svarer en typisk ændring i x til i effekt? x+SD hvad er effekten? Beta1*SD.
Hvordan analyserer man forskellen mellem to gruppers gennemsnit?
Hypotese test (ttest). Dikotom uafhængig.
Hvilken relevans har analyse af to gruppers gennemsnit for kausal inferens og for balancetests?
Ift. kausal inferens: er en forskel mellem to grupper signifikant (kan vi sige noget kausalt om populationen).
Ift. balancetest: er der signifikant forskel mellem kontrol- og treatmentgruppen på forskellige bagvedliggende parametre (er randomisering virket efter hensigten?).
Hvis alt andet end stikprøvestørrelsen holdes lige, hvad sker der så med p-værdien, når stikprøvestørrelsen vokser?
Ved en mindre stikprøve vil t-værdien også være lavere og det vil føre til at p-værdien falder - fordi stikprøvemålsfordelingen bliver smallere (fordi standardfejlen afhænger af n). Fordi standardfejlen står i nævneren for t-værdien, vil t-værdien alt andet blive mindre, når n vokser. Variansen bliver mindre.
P-værdien bliver mere præcis ved et større n
Tegn og forklar hvor et punktestimat vil ligge på stikprøvemålsfordeling, hvis p-værdien er hhv. over eller under 0,05 (givet H0 er sand)
På den ene eller anden side af halen ved 0,025.
Hvorfor er interkvartilafstanden en glimrende måde at lave substantiel fortolkning?
En typisk afvigelse, der er upåvirket af outliers
Hvad gør du, n<30 i grupperne?
Du kan lave en bi-test, hvor binomialfordelingen benyttes i stedet for t-fordeling.
