Regresjonsanalyse 1

Question 1

Hva kan man si om bruken av regresjon?

Answer 1

Regresjon er den mest brukte og eldste statistiske analyse, og benyttet innen nær sagt alle fagfelt.

Question 2

Hva har ANOVA og lineær regresjon til felles?

Answer 2

Begge er varianter av den generelle lineære modellen (GLM).

Question 3

Hvilke forutsetninger har regresjon til felles med ANOVA og hvilke er unike for regresjon?

Answer 3

Forutsetninger regresjon har til felles med ANOVA er uavhengighet, homoskedastisitet og normalitet.

I tillegg har regresjon en forutsetning om lineæritet og lav kolinaritet.

Question 4

Hva slags variabler er de uavhengige i regresjon?

Answer 4

De kan enten være kontinuerlige eller kategoriske.

Question 5

Hva er forskjellen på korrelasjonskoeffisienter og regresjonkoeffisienter?

Answer 5

Korrelasjonskoeffisienten beskriver styrken i relasjonen mellom to variabler.

Regresjonskoeffisienten beskriver også styrken, men den kan også predikere.

Question 6

Hva er hovedbruksområdene for multippel lineær regresjon?

Answer 6

Individuelle forskjeller: Man kan bruke MLR for å avgjøre hvilke variabler (slik som individuelle forskjeller, eks, personlighetstrekk, aktivitetsnivå og humør) som best forklarer et utfall/feonmen.

Statistisk kontroll:I MLR så er vi vanligvis i en eller noen få bestemte variabler, men så ønsker vi å vite hva effekten av disse blir om vi justerer for variablene vi vet også henger sammen med utfallet, og kanskje dels med prediktoren. Dette kalles for kovariat, og dette gir en justert beta-vekt.

Inkrementell validitet: Inkrementell validitet viser hvor mye en ny test eller målesinstrument forbedrer prediksjonen utover eksisterende tester.

Hierariske regresjonsanalyser: Vi kan teste hvilke grupper med prediktorer/UV som bidrar mest til å forstå utfallet, og også hvilke variabler innad i gruppen som bidrar mest.

Question 7

Hva beskriver regresjonsligningen?

Answer 7

Funksjonen beskriver relasjonen mellom Y (AV) og en eller flere prediktorvariabler (X). Linjen beskriver hvordan Y endrer seg når X endrer seg.

Question 8

Hva er formelen for Observert Y?

Answer 8

beta0 (intersept) + beta1X1 + beta2X2 + … + e (feil)

Question 9

Hva er formelen for predikert Y:

Answer 9

beta0 (intersept) + beta1X1 + beta2X2

Question 10

Hva representerer interseptet?

Answer 10

Interceptet er verdien av den avhengige variabelen når alle de uavhengige variablene er lik null. Dette er skjæringspunktet på Y-aksen.

Question 11

Hva er sentrering?

Answer 11

I regresjonsanalyse refererer sentrering til prosessen med å justere variabler ved å trekke fra gjennomsnittsverdien for hver observasjon i datasettet.

Dette betyr at hver verdi for den uavhengige variabelen justeres slik at den får et gjennomsnitt på null. Dette gjør interseptet mer meningsfullt.

Når vi har sentrert variablene blir interseptet lik verdien av gruppens gjennomsnitt.

Dersom en person skårer 110 og gjennomsnittet er 100, så vil denne personen få sentrert skåre 10, altså vedkommende skårer 10 poeng høyere enn gjennomsnittet. Poenget er at det skal sentreres slik at sentrert skåre er positiv for personer som skårer høyere enn snittet, og negativ i motsatt fall.

Question 12

Hva skiller en ustandardisert fra en standardisert beta-vekt?

Answer 12

Ustandardiserte beta-koeffisienter bruker variablenes opprinnelige enheter og min/max verdi er uendelig. Mens standardiserte beta-koeffisienter omregnes til en skala fra -1 til 1 i SD for å kunne sammenligne effekten av variabler som har ulike måleenheter.

Intercepten blir irrelevant i en standardisert regresjon fordi både den avhengige og den uavhengige variabelen er transformert til z-skårer (standardisert). Når variablene er standardisert, har de et gjennomsnitt på 0 og en standardavvik på 1. Interceptet representerer verdien av den avhengige variabelen når alle prediktorene er null, men når variablene er standardisert, er gjennomsnittet 0, og derfor er også interceptet 0, og gir ikke noe meningsfull informasjon.

Question 13

Hvordan tester vi signifikansen av beta-vekter i regresjon?

Answer 13

Beta-vektenes signifikans testes ved hjelp av t-tester, som måler om hver beta-vekt er lik null (nullhypotesen). Når beta-vektene er lik null så får vi en flat linje. H1 sier at beta-vektene er signifikant forskjellige fra 0 i populasjonen.

Question 14

Hva er R2 og hvordan regner man det ut?

Answer 14

R2 = SSM/SST.

SSM er summen av den kvaderte forskjellen mellom gjennomsnittet av Y og modellen.

SST er summen av de kvadrerte forskjellene mellom observert data og gjennomsnittsverdien av y.

R2 representerer mengden av varians i Y (utfallet) som kan predikeres av modellen.

Question 15

Hvilken metode brukes for å bestemme regresjonslinjen?

Answer 15

Ordinary least squares (OLS) er en metode for å finne den beste regresjonslinjen ved å minimere summen av de kvadrerte avstandene mellom observerte og predikerte verdier.

Question 16

Hvordan regner vi ut beta og standardisert beta?

Answer 16

Question 17

Hvordan regner vi ut interseptet?

Answer 17

Question 18

Hvordan tolker vi et konfidensintervall for en beta-koeffisient?

Answer 18

Konfidensintervallet angir det området hvor vi 95 av 100 ganger vil få verdien til en beta-koeffisient hvis henter data fra et nytt utvalg i populasjonen.

Question 19

Hva er prediksjonsintervallet i regresjonsanalyse?

Answer 19

Et intervall som angir hvor en ny fremtidig observasjon mest sannsynlig vil falle, gitt modellen.

Question 20

Hva er multikollinearitet, og hvorfor er det et problem i regresjon?

Answer 20

Multikollinearitet oppstår når to eller flere uavhengige variabler er sterkt korrelert, noe som kan gjøre det vanskelig å estimere deres individuelle effekter på den avhengige variabelen nøyaktig.

Question 21

Hva er type 1 og type 2 feil i regresjonsanalyse?

Answer 21

Type 1 feil: Hvis du konkluderer med at det er en signifikant sammenheng mellom uavhengige og avhengige variabler når det ikke faktisk er det. Dette kan skje hvis p-verdien er lavere enn signifikansnivået (for eksempel 0,05), selv om sammenhengen ikke eksisterer.

Type 2 feil: Hvis du konkluderer med at det ikke er en signifikant sammenheng mellom variablene når det faktisk er det. Dette skjer når p-verdien er høyere enn signifikansnivået, selv om det er en reell effekt eller sammenheng.

Hvis den totale p-verdien fra F-testen er lavere enn signifikansnivået, betyr det at minst én av de uavhengige variablene bidrar signifikant til å forutsi den avhengige variabelen.

Question 22

Hva betyr det at betavektene er partielle regresjonskoeffisienter?

Answer 22

Fordi de forteller hvor mye ny informasjon hver enkelt prediktor bidrar med i forklaringen av utfallet.

De kommer med noe ny informasjon, men også noe av det samme som de andre betavekter.

Question 23

Hva skjer når vi legger til en prediktor?

Answer 23

Når vi legger til en prediktor så vil både beta-koeffisientene og standardfeilen justeres.

Som regel går beta-koeffisientene ned og standardfeilen går opp.

Question 24

Hva er semi-partial korrelasjon?

Answer 24

Semi-partial korrelasjon er forholdet mellom to variabler justert for effekten av en tredje variabel på én av de opprinnelige variablene.

Dette brukes i MLR.

Question 25

Hvordan justerer man beta-vekter:

Answer 25

Vi kan justere for korrelasjonen mellom to variabler X1 og X2 slik at vi får justerte beta-vekter. Dette kan ses i sammenheng med semi-partiell korrelasjon tror vi.

Question 26

Hva gjør en moderator (M) i en MR-analyse?

Answer 26

En moderator endrer styrken på relasjonen Y-X, avhengig av størrelsen på M. M har også en direkte effekt på Y.

Question 27

Hva forklarer en mediator (M) i en MR-analyse?

Answer 27

En mediator forklarer hvordan effekten av X på Y virker gjennom M.

Question 28

Hva gjør en suppressor (S) i en MR-analyse?

Answer 28

En suppressor er en variabel som undertrykker Y-X relasjonen når S mangler i modellen.

Uten suppressorvariabelen kan det se ut som om den uavhengige variabelen har en svakere eller ikke-signifikant effekt på den avhengige variabelen. Når suppressorvariabelen inkluderes, kan den avsløre den reelle effekten.

Question 29

Hva er formelen for en F-test i regresjon og hva sjekker den?

Answer 29

Sjekker om modellen har forklaringskraft.

k = antall grupper

Question 30

Hva er forklart varians (R2)?

Answer 30

Det sier hvor mye av variansen i Y som kan bli predikert fra modellen. Dette handler om hvor godt modellen passer dataen (“goodness of fit”). Forklart varians vil alltid øke når der inkluderes en ny prediktor i modellen.

Question 31

Hva er justert R2? Når vil den øke?

Answer 31

R^2 vil alltid øke når det inkluderes en ny prediktor i modellen. Justert R² korrigerer for denne svakheten ved å justere R² i henhold til antallet prediktorer i modellen. Den belønner modeller som forklarer mye av variasjonen, men straffer for å inkludere variabler som ikke har noen reell forklaringskraft.

Justert R^2 vil bare øke dersom SSerror (feilvariansen) faller i et større tempo enn fallet i frihetsgradene. Vi skal altså vinne mer på økning i forklart varians, enn vi skal tape på å miste en frihetsgrad.

Question 32

Hvordan tester vi signifikansen for variabelene enkeltvis?

Answer 32

Vi må finne SE til variabelen.
Regne ut t-testen.

Question 33

Hva er toleranse? Si noe om lav og høy toleranse

Answer 33

Grad av varians i en prediktor som ikke kan forklares av alle de øvrige prediktorene (1-R^2).

Toleranse måler hvor mye av variansen i en bestemt uavhengig variabel som ikke kan forklares av de andre uavhengige variablene i modellen.

Hvis toleranse er nær 1, betyr det at den uavhengige variabelen ikke er sterkt korrelert med de andre uavhengige variablene, noe som tyder på lite multikollinearitet.

Hvis toleranse er lav (for eksempel under 0,1 eller 0,2), betyr det at variabelen er sterkt korrelert med de andre uavhengige variablene, noe som indikerer høy grad av multikollinearitet, og dette er ikke bra.

Question 34

Hva er begrensningene ved multippel regresjon?

Answer 34

1. Håndterer kun én avhengig variabel om gangen
2. Dårligere egnet ved høyt korrelerte prediktorer
3. Forutsetter akseptabel grad av målefeil”
4. Forutsetter normalfordelt + jevnt fordelt feilvarians
5. Forutsetter lav auto-korrelasjon mellom residualer

Question 35

Beskriv begrensningen “Håndterer kun én avhengig variabel om gangen”:

Answer 35

Multippel regresjon kan bare analysere én avhengig variabel (utfallsmål) per analyse. Hvis du har flere avhengige variabler som du ønsker å forklare samtidig, vil du måtte bruke andre metoder som MANOVA (Multivariate ANOVA).

Question 36

Beskriv begrensningen “Dårligere egnet ved høyt korrelerte prediktorer”:

Answer 36

Når prediktorene (uavhengige variabler) er høyt korrelert med hverandre, oppstår et problem kalt multikollinearitet. Dette kan føre til at det blir vanskelig å estimere de unike bidragene fra hver prediktor. Resultatet kan være ustabile koeffisienter og redusert statistisk styrke.

Question 37

Beskriv begrensningen “Forutsetter akseptabel grad av målefeil”:

Answer 37

Multippel regresjon krever at måleinstrumentene for de uavhengige variablene er tilstrekkelig pålitelige (har høy reliabilitet). Hvis det er for stor målefeil, kan det føre til skjevheter og redusert presisjon i resultatene.

Eksempel: Man kan bruke Cronbach’s alpha for å vurdere reliabilitet, som er et mål på hvor konsistent et instrument er.

Question 38

Beskriv begrensningen “Forutsetter normalfordelt + jevnt fordelt feilvarians”:

Answer 38

En grunnleggende forutsetning for multippel regresjon er at residualene er normalfordelte og at variansen er lik for alle verdier av de uavhengige variablene (homoskedastisitet). Hvis denne forutsetningen ikke er oppfylt, kan det påvirke validiteten til konklusjonene dine.

Question 39

Beskriv begrensningen “Forutsetter lav auto-korrelasjon mellom residualer”:

Answer 39

Auto-korrelasjon betyr at residualene er korrelert med hverandre. Dette er spesielt et problem i tidsseriedata, hvor en observasjonsfeil kan påvirke feilene til påfølgende observasjoner.

Når auto-korrelasjon er tilstede, kan du få misvisende resultater. For å løse dette må man enten transformere dataene, altså fikse det før analysen, eller bruke modeller som kan håndtere slik avhengighet.

Question 40

Hva avgjør hvor stort sample size burde være, og hvilke tommelfingerregler har vi?

Answer 40

For å avgjøre hvor stort utvalget bør være i en multippel regresjonsanalyse, må man vurdere ønsket styrke, antall prediktorer og effektstørrelse.

Generelt sett bør man ha flere observasjoner enn antall variabler; helst 5 personer per prediktor, men optimalt sett 10 personer per prediktor.

En tommelfingerregel er at utvalget bør være større enn N>50+8∗k, hvor k er antall prediktorer. Dette forutsetter en medium effektstørrelse, med en alfa- og betaverdi på henholdsvis 0,05 og 0,20.

For eksempel vil et design med 6 prediktorer kreve minst 98 observasjoner. Større utvalg er nødvendig hvis effektstørrelsen er lav, målefeil er høy, eller den avhengige variabelen er skjevt fordelt. Sistnevnte problem kan dog håndteres med transformasjoner.

Question 41

Hva må vi gjøre når vi bruker nominelle variabler i regresjonsanalyse?

Answer 41

Når vi bruker nominelle/kategoriske variabler i regresjonsmodeller må disse kodes numerisk for å analyseres. Dette gjøres enten ved indikatorkoding (dummykoding) eller effektkoding. Dummykoding er mest vanlig.

Question 42

Hva er forskjellen på dummykoding/indikatorkoding og effektkoding?

Answer 42

Ved dummykoding sammenlignes variablene med referansegruppen (mest vanlig), imens ved effektkoding sammenlignes gruppene mot gjennomsnittet (minst vanlig).

Question 43

Hva representerer interseptet i dummykoding?

Answer 43

Interseptet representerer gjennomsnittet i referansegruppa.

Question 44

Hva representerer interseptet i effektkoding?

Answer 44

Interseptet er nå “grand mean” for begge gruppene.

Question 45

Når skal man benytte seg av effektkoding?

Answer 45

Kort sagt anbefales effektkoding når du har interaksjoner i modellen, fordi effektkoding gir de virkelige hovedeffektene, mens dummykoding kun gir simple main effects. Men når vi kun har hovedeffekter er dummy-koding lettere å bruke og tolke.

Question 46

Hva er predikert skåre for kvinner (0 = kvinner, 1 = menn) som er 25 år når regresjonsligningen er: pred Y = 10 + 5 x kjønn + 1x alder

Answer 46

10 + 50 + 125 = 35
Svaret er 35 år.