Regresjonsanalyse 4 Elise

Question 1

Hva er målet med regresjonsdiagnostikk?

Answer 1

Målet med regresjonsdiagnostikk er å undersøke om forutsetningene regresjonsmodellen bygger på «holder vann».

Question 2

Hva gjør man om noen av forutsetningene er brutt?
Hva er konsekvensen av mer/større brudd av forutsetningene på konklusjonen av analysen?

Answer 2

Hvis noen av forutsetningene er brutt så må man identifisere disse, samt størrelsen.

Mer/større brudd svekker tillitten til konklusjonen fra analysen, og den har dermed lavere overførbarhet.

Question 3

Hvilke tre hovedgrupper av forutsetninger har vi?

Answer 3

1. Forutsetninger tilknyttet modellen
2. Forutsetninger tilknyttet residualene
3. Forutsetninger tilknyttet generaliserbarhet/overførbarhet

Question 4

Hva er forutsetningene tilknyttet til modellen?

Answer 4

• Ingen/få spesifikasjonsfeil (er viktige variabler utelatt?)
• Akseptabel grad av målefeil (tilstrekkelig reliabilitet?)
• Akseptabel multi-kolinaritet (korrelerer prediktorene for mye?

Question 5

Hva er forutsetninger tilknyttet residualene?

Answer 5

• Linearitet (er en rett linje korrekt?)
• Normalitet (er residualene normalfordelte?)
• Homoskedastisitet (er feilvariansen jevnt fordelt?)
• Uavhengighet (foreligger null-korrelasjon)

Question 6

Hva er forutsetningene tilknyttet generaliserbarhet/overførbarhet?

Answer 6

• Uteliggere, influerer enkeltcaser sterkt?

Question 7

Hva handler spesifikasjonsfeil om? Hva kan konsekvensen være?

Answer 7

At modellen er korrekt spesifisert i henhold til teori eller hypoteser. Utelatelse av viktige variabler kan introdusere bias, for eksempel variabler som forårsaker suppresjon.

Question 8

Hva kan man si om målefeil i regresjon?

Answer 8

Målefeil er i praksis alltid tilstede. Reliabilitet (den systematiske målevariansen) bør utgjøre mer enn 70% av den totale variansen. For eksempel Cronbachs alfa eller McDonalds Omega på mer enn 0.70.

Question 9

Hva kan man si om multi-kolinaritet? Hva er konsekvensen av det?

Answer 9

Multikolinearitet oppstår når prediktorene i en regresjonsmodell er for høyt korrelert med hverandre, noe som svekker modellens stabilitet og gjør standardfeilene misvisende.
Hvis prediktorene er for lite uavhengige resulterer dette i en ustabil OLS-løsning med misvisende standardfeil.

Question 10

Hvordan lan man sjekke graden av multikolinearitet?

Answer 10

Ved å sjekke toleranse eller VIF.

Question 11

Hvordan beregner man toleranse, og hvilken minimum toleranseverdi er ønskelig?

Answer 11

• Toleranse: Beregnes som 1−r^2 . En toleranseverdi over 0,30 er ønskelig.

Question 12

Hvordan beregnes VIF? Hva slags verdi på VIF er ønskelig?

Answer 12

• VIF (Variance Inflation Factor): Beregnes som 1/Toleranse.

o VIF angir hvor mange prosent variansen i standardfeilen (SE) øker på grunn av multikolinearitet. En VIF-verdi på 2 betyr at variansen i SE øker med 100 %,

• Man ønsker generelt at VIF (Variance Inflation Factor) skal være lav, fordi høye VIF-verdier indikerer høy grad av multikolinearitet mellom prediktorene, noe som kan svekke stabiliteten og påliteligheten til regresjonsmodellen

Question 13

Hva er toleranse? Hva er rangen til toleranse?

Answer 13

Graden av varians i en prediktor som ikke forklares av de øvrige prediktorene. (1-R2). Denne får fra 0 til 1.

Question 14

Hva betyr en toleranse på 0?

Answer 14

En toleranse på 0 innebærer nulltoleranse, det vil si maks kolinaritet, altså at prediktorene er perfekt korrelerte. Dette er ikke ønskelig.

Question 15

Hva betyr en toleranse på 1?

Answer 15

En toleranse på 1 innebærer maks toleranse, det vil si nullkorrelasjon mellom prediktorene. Dette er ønskesituasjonen.

Question 16

Hvordan kan man sjekke toleranse uten regresjonsanalyse?

Answer 16

Man kan foreta en simpel sjekk uten regresjonsanalyse ved å ta ut hele korrelasjonstabellen og sjekke om koeffisientene mellom alle prediktorene er lave.

Question 17

Hva er konsekvensene av multi-kolinaritet, med tanke på SE, for betavektene og R2?

Answer 17

Multikolinearitet kan gjøre det vanskelig å påvise reelle effekter på grunn av høyere standardfeil, som gir et bredere konfidens-intervall for beta-vektene, som igjen reduserer den statistiske styrken, som igjen øker risikoen for type 2-feil.

Når multikolineariteten øker, øker den delte variansen mellom X1 og X2, og den unike variansen fra X1 og X2 synker. Dette betyr at det blir vanskeligere å skille effektene av X1 og X2 i modellen, fordi deres bidrag til forklaringen av variansen overlapper mer.

Selv om den totale forklarte variansen ikke endres så mye, kan multikolinearitet føre til ustabile og misvisende estimater av koeffisientene for X1 og X2.

Question 18

Hva er en løsning når to variable har svært høy korrelasjon (høy kolinaritet) og lik varians?

Answer 18

Slett en av variablene.

Question 19

Hva bør du gjøre hvis variansen mellom variablenes som har høy kolinaritet er svært ulik?

Answer 19

Konverter variablene til Z-skårer og kombiner dem.

Question 20

Hva kan du gjøre hvis man har høy kolinaritet og det eksisterer en måleteori, og hva hvis det ikke teori?

Answer 20

Kombiner skårer i henhold til teori, eller bruk faktoranalyse og komponent-skårer hvis det ikke finnes teori.

Question 21

Hva handler forutsetningen om linearitet om i en regresjonsanalyse?

Answer 21

Det handler m vi kan forklare data gjennom en rett linje

Question 22

Hva er to måter å håndtere non-linearitet i regresjonsmodeller på?

Answer 22

1) Transformere variablene for å linearisere relasjonen: Dette innebærer at du kan bruke matematiske transformasjoner (som logaritmer eller kvadratrot) på variablene for å gjøre forholdet mellom dem lineært, slik at en lineær regresjonsmodell kan brukes. Dette er en enkel måte å korrigere non-linearitet på når målet er å justere for kovariater uten å miste mye informasjon.

2) Tilpasse en regresjonsmodell som estimerer non-linearitet: Dette innebærer å bruke en modell som direkte fanger opp non-lineære relasjoner, for eksempel ved å inkludere kvadratiske (X^2) eller kubiske (X^3) termer i regresjonen. Dette er nyttig når non-lineariteten i relasjonen er av substansiell interesse, og du ønsker å modellere denne nøyaktig.

Question 23

Når er det greit å transformere variablene for å håndtere non-linearitet?

Answer 23

Det er greit å transformere variablene hvis formålet kun er kovariatjustering.

Question 24

Hvilke variabler vil vi helst transformere for å håndtere non-linearitet? Når må vi transformere Y?

Answer 24

Man vil fortrinnsvis transformere prediktorene (X). Dette medfører tolkningsproblem kun for aktuell prediktor. Vi må transformere Y hvis transformering av X ikke strekker til.

Question 25

Når må vi transformere Y? Hva er en ulempe ved å transformere Y i regresjonsanalyse?

Answer 25

Vi må transformere Y hvis transformering av X ikke strekker til.
Å transformere Y kan forverre tolkningsproblemer for relasjonene mellom Y og alle X-variablene.

Question 26

Hvordan kan du sjekke om transformeringen har fungert? 2 måter

Answer 26

Du kan sjekke om transformeringen har fungert ved å se på et scatterplott med regresjonslinjen over datapunktene, eller ved å teste om R-sq change øker signifikant.

Question 27

Hvilke transformeringer kan brukes for å håndtere non-lineære relasjoner i regresjonsanalyse? 4 stykker

Answer 27

Du kan bruke kvadratrot (sqrt), invers (1/X), logaritme (ln(X)) eller kvadratisk transformasjon (X²) for å gjøre non-lineære relasjoner lineære. Eksempel: En naturlig logaritme-transformasjon kan linearisere en kurve som opprinnelig er kvadratisk.

Question 28

Hvordan kan du sjekke om data er normalfordelte i regresjonsanalyse?

Answer 28

Du kan sjekke normalfordeling ved:
* Histogram: Enkleste subjektive sjekk.
* Statistikk: Skewness og Kurtosis.
* Visuelt: P-P-plot eller Q-Q-plot.

Question 29

Hvilke mål beskrives normalfordeling gjennom?

Answer 29

Normalfordeling beskrives gjennom gjennomsnitt (M) og standardavvik (SD).

Question 30

Hvordan beregnes standardisert skewness og kurtosis?

Answer 30

o Skewness beregnes med formelen Z-test_skew = skewness-verdi / SE skewness.
o Kurtosis beregnes med formelen Z-test_kurt = kurtosis-verdi / SE kurtosis.

Question 31

Hva er forholdet mellom skjevhet og kurtose? Hva viser denne formelen?

Answer 31

Forholdet mellom skewness og kurtosis er: kurtosis ≥ skewness² - 2.
Formelen kurtosis ≥ skewness² - 2 viser en sammenheng mellom skewness og kurtosis. Den sier at når skewness øker, enten positivt eller negativt, vil vi forvente at kurtosis også øker for å reflektere det økte antallet ekstreme verdier i fordelingen.

Question 32

Hva påvirker standardfeilen (SE) mest: skewness eller kurtosis?

Answer 32

Standardfeilen (SE) påvirkes mer av kurtosis enn av skewness.

Question 33

Hvordan påvirkes standardfeilen (SE) av positiv og negativ kurtosis?

Answer 33

SE underestimeres når kurtosis er positiv, og overestimeres når kurtosis er negativ.

Question 34

Hvorfor aksepteres høyere Z-test-verdier ved større utvalg?

Answer 34

Høyere Z-test-verdier aksepteres ved større utvalg fordi sensitiviteten for å avvise nullhypotesen (H₀) øker.

Question 35

Hvordan ser positiv skjevhet, negativ skjevhet, og ingen skjevhet (symmetrisk fordeling) ut i en fordeling?

Answer 35

• Positiv skjevhet: Halen er lengst på høyre side.
• Negativ skjevhet: Halen er lengst på venstre side.
• Ingen skjevhet (symmetrisk): Fordelingen er symmetrisk med ingen hale (normalfordeling).

Question 36

Hva er forskjellen mellom normal, lepto-kurtisk og platy-kurtisk fordeling?

Answer 36

• Normal fordeling: Har en moderat spisshet og haler.
• Lepto-kurtisk fordeling: Har en skarp topp med smalere fordeling og lengre haler, som indikerer mange ekstreme verdier. (leap in to the sky)
• Platy-kurtisk fordeling: Har en flatere topp med bredere fordeling og kortere haler, som indikerer færre ekstreme verdier. (platå)

Question 37

Hva er en P-P-plot?

Answer 37

P-P plot av residualene: En grafisk metode som viser om residualene følger en normalfordeling.

Question 38

Hva er en statistisk test man kan bruke for å normalitetssjekke residualene?

Answer 38

Kolmogorov-test: En statistisk test, men den er sensitiv for store utvalg (høy power) og kan bli for streng i praksis.

Question 39

Hvis en kombinasjon av to utvalg ikke har en normalfordeling av residualene, hvordan kan man løse dette?

Answer 39

Ved å inkludere en ny relevant prediktor i en regresjonsmodell kan residualskårene bli mer normalfordelte.

Question 40

Hva er heteroscedastisitet, hva kan det indikere, og hvilke konsekvenser har det i en regresjonsmodell?

Answer 40

Heteroscedastisitet refererer til at feilvariansen varierer over prediksjonsverdiene. Dette kan indikere non-normalitet eller en feilspesifisert modell. Konsekvensen er at variansen til koeffisientene øker, men OLS-estimeringen overser dette, noe som øker risikoen for type 1-feil (å feilaktig forkaste nullhypotesen).

Question 41

Hva er de tre forutsetningene for feiltermen e i en regresjonsmodell?

Answer 41

1. E(e) = 0: Gjennomsnittet av feiltermen er null.
2. Konstant varians: Variansen i feiltermen er konstant over alle nivåer av prediktorene (homoscedastisitet).
3. Ingen autokorrelasjon: Feiltermene e(i) og e(j) er ukorrelerte, noe som betyr at de er uavhengige av hverandre. E(i) og e(j) er bar efeiltermen for to ulike observasjoner

Question 42

Hvordan kan heteroskedastisitet se ut visuelt i et plot?

Answer 42

Heteroscedastisitet vises ofte som et traktmønster i et plot av residualer mot predikerte verdier. Dette betyr at spredningen (variansen) av residualene øker eller minker systematisk etter hvert som de predikerte verdiene øker. Traktformen antyder at feilen ikke er jevnt fordelt over prediksjonsverdiene, noe som bryter med antakelsen om homoskedastisitet, som krever konstant varians.

Question 43

Hva er forskjellen mellom uteliggere og innflytelsesrike observasjoner i en regresjonsmodell?

Answer 43

• Uteliggere er ekstremt avvikende observasjoner som avviker betydelig fra prediksjonslinjen. De kan oppdages ved å plotte residualene (y-akse) mot prediksjonene (x-akse).
• Innflytelsesrike observasjoner er observasjoner som ikke nødvendigvis er betydelige uteliggere, men som trekker prediksjonslinjen vesentlig i en annen retning.

Question 44

Hva er konsekvensen av uteliggere og innflytelsesrike observasjoner?

Answer 44

Begge typene observasjoner kan ha stor innvirkning på analysens pålitelighet, og det er viktig å identifisere og håndtere dem for å sikre robuste resultater i en regresjonsmodell. Det utfordrer også generaliserbarheten.

Question 45

Hva kan man bruke for å identifisere uteliggere og innflytelsesrike observasjoner?

Answer 45

Cook’s distanse og Mahalanobis distanse brukes for å identifisere uteliggere og innflytelsesrike observasjoner.

Question 46

Hva viser Cook’s distanse, og når bør den sjekkes?

Answer 46

• Cook’s distanse indikerer hvor mye prediksjonsfeilen endrer seg hvis en observasjon fjernes fra modellen. Den identifiserer både:
  1. Uteliggere i prediktorene.
  2. Uteliggere i utfallsmålet (Y).
• En Cook’s distanse (CD) skåre > 4/n eller 3 ganger gjennomsnittlig CD bør sjekkes, da dette kan indikere at observasjonen har stor innflytelse på regresjonsmodellen.