Andy Field forelesninger i regresjon

Question 1

Hva er likningen i en lineær modell?

Answer 1

Question 2

Hva er b1?

Answer 2

Beta1 er verdien/parameteret til prediktorvariabel 1 (X1)

b1 representerer styrken og retningen av relasjonen mellom prediktor 1 og Y

Den bestemmer skråningen til regresjonslinjen ettersom den

Question 3

Hva er b0?

Answer 3

beta0 er verdien av utfallsvariabelen (Y) når X/prediktor er lik null

Den bestemmer hvor regresjonslinjen skal krysse Y-aksen (skjæringspunktet), og refereres til som interseptet.

Question 4

Hva har b0 og b1 til felles?

Answer 4

De er begge betaer, og er parametre som representerer ulike ting.

De er med på å forme regeresjonslinjen/modellen og definerer hvordan den ser ut

Parameterne (beta-ene) er med på å konstruere en modell som lar oss skape prediksjoner som går ut over vår data.

Question 5

Kan man ha flere prediktorer?

Answer 5

Vi kan ha flere enn en, men da kalles det for en multippel regresjons modell.

Question 6

Hva har b1, b2, b3 ovs. til felles?

Answer 6

De er estimater av populasjonsparameterne

Question 7

Hva må du se på når du tolker beta-er?

Answer 7

Konfidensintervaller

Signifikans-nivå

Dens verdi

Question 8

Hvorfor må du se på CI til en beta?

Answer 8

Dersom tallet 0 er en del av betaens CI er det en sannsynlighet for at det er slik i populasjons parameteret er 0 og at det ikke er noen effekt.

Question 9

Hvorfor må du se på signifikans-nivået til en beta og hvordan kan du gjøre dette?

Answer 9

Du kan sig-teste en beta gjennom en t-test.

T-testen sammenlikner verdien av betaen og null

Tallet null representerer på en måte null hypotesen ettersom denne verdien vi gi en horisontal regresjonslinje og da ingen effekt.

T-test verdien gir en p-verdi som sier sannsynligheten for at parameter verdien er større enn 0.

En signifikant p-verdi her betyr at prediktoren er signifikant forskjellig fra 0, og bidrar signifikant til modellen

Dersom vi får en ikke-signifikant p-verdi betyr det at parameteret er lik 0, noe som vil gi en flat regresjonslinje, og vil tyde på at det ikke er noen effekt av dette parameteret

Question 10

Hvorfor må du se på betaens verdi?

Answer 10

Beta-verdien er en effekt størrelse i seg selv som kvantifiserer relasjonen mellom b1 og Y

Question 11

Når er parameterne optimale?

Answer 11

Når residualene er normalfordelt og når vi har homoskedastisitet (lik varians).

Question 12

Hvilke assumptions være oppfylt for at vi skal kunne stole på betaens signifikans test og CI?

Answer 12

Utvalget må være normalfordelt

Homoskedastisitet

Uavhengige observasjoner

Question 13

Hva kan vi gjøre dersom vi har brutt noen av assumptionsene, og vi føler at vi ikke kan stole på CI eller t-testen?

Answer 13

Da kan vi gjøre noe som kalles for bootstrapping i SPSS

Dersom assumptions er brutt for parameterne skal du se på verdiene i output for “Bootstrap for coefficents” i stedet for vanlig “coefficents”

Question 14

Hva er bootstrapping?

Answer 14

Bootstrapping er en prosess der vi kan generere robuste estimater basert på utvalgets data.

Denne metoden er upåvirket av fordelingen av skårer og bryr seg ikke om assumptions er brutt.

Question 15

Hvordan er prosessen i bootstrapping?

Answer 15

Om vi er interessert i parameteret “gjennomsnitt” så må vi konstruere et bootstrap utvalg (SPSS gjør dette).

Dette gjøres ved at en data (tilfeldig i utvalgt av alle data) velges ut og memorieres av SPSS og settes tilbake med de andre. Denne utvalgsprosessen repeteres flere ganger. Dette kalles “re-sampling”. På denne måten kan de samme skårene bli tatt flere ganger.

De tilfeldig utvalgte data kalles da for bootstrap utvalg. Basert på dette utvalget regner SPSS ut et gjennomsnitts parameter.

Deretter repeteres HELE denne prosessen på nytt 1000 ganger - og du får 1000 gjennomsnitts parameter.

Om vi vil vite bootstrap/den robuste gjennomsnitt estimatet så tar vi bare gjennomsnittet av disse 1000.

Question 16

Hva er model Sum of Squares (SSm)?

Answer 16

Varians som modellen forklarer

Forskjellen mellom det gjennomsnittet predikerer (grand mean) og det som linjen/modellen predikerer.

Forskjellen mellom de to linjene.

Question 17

Hva er Total Sum of Squares (SSt)?

Answer 17

Den viser til den totale variansen

Forskjellen mellom det gjennomsnittet predikerer (grand mean) og den faktiske data

Question 18

Hva er Residual Sum of Squares (SSr) ?

Answer 18

Den viser til feilvarians og er forskjellen mellom regresjonslinjen (modellen) og de faktiske data.

Question 19

Dersom modellen resulterer i bedre prediksjoner enn å bruke gjennomsnittet (grand mean), hvordan bør forholdet mellom SSm og SSr være?

Answer 19

Da bør SSm være større enn SSr

Dette er fordi SSm viser til hvor mye forbedring det har skjedd på grunn av modellen, og SSr viser til feil i modellen

Question 20

Hva er formelen til f-verdien og hva sier den noe om?

Answer 20

Den sier hvor mye modellen er forbedret delt på hvor mye feil den har

Question 21

Hva er R^2, og hva er dens formel?

Answer 21

Den sier hvor stor andel av variansen som forklares av modellen

Den sier altså noe om hvor godt modellen passer data

R^2= 0.3, dette betyr at vår modell forklarer 30% av variansen

Den kan også regnes ut ved å ta korrelsasjonskoeffisenten mellom observert og predikert skår opphøyet i andre

Question 22

Hva er justert R^2?

Answer 22

Justert R2 er et estimat av hva R2 vil være i populasjonen, ofte er den derfor mindre.

Question 23

Hva tilsvarer beta verdien?

Answer 23

Beta verdien tilsvarer endringen i utfallsvariabelen når det skjer en enhets endring i prediktoren

Altså endringen i y når x øker med en enhet

Denne verdien uttrykkes da i enheter; Når “reklame” øker med 1 euro så øker album salg med 0.087 enheter (beta verdien til reklame prediktoren)

Question 24

Hva tilsvarer en standardisert beta verdi?

Answer 24

Den tilsvarer også endringen i y når x øker med en enhet, men denne endringen uttrykkes i standardavvik

“Når reklame øker med 1 standardavvik så øker album salg med 0.523 standardavvik (standardiserte beta-verdien til reklame).

Question 25

Hva er fordelen med å bruke standardiserte beta-verdier?

Answer 25

Den standardiserte løser problemet med enheter ettersom det uttrykkes som standard avvik.

Det gjør at vi kan sammenlikne verdien på tvers av variabler som har ulike enheter.

På denne måten kan vi statistisk vite hvilken prediktor som er den sterkeste (den med høyest verdi).

Question 26

Hva kan blant annet skape en bias i modellen og påvirke resultatene veldig?

Answer 26

Måten du velger ut og setter inn prediktorer

Question 27

Hvilke 3 måter kan du selektere prediktorer?

Answer 27

Hierarkisk

Forced Entry

Stepwise

Question 28

Hva er en hierarkisk selektering av predikotrer?

Answer 28

Dette går ut på å at eksperimentator selv bestemmer hvilken rekkefølge variablene skal settes inn i modellen

Dette er for eksempel ved å sette den du tror er den beste prediktoren først osv

Dette er den beste metoden når du har en teori, men også fordi du er et menneske og ikke data

I SPSS innebærer dette å sette de i blokker

Question 29

Hva er forced entry metoden når det kommer til å selektere prediktorer?

Answer 29

Dette går ut på at alle prediktorene settes inn samtidig og tilfeldig.

Dette er dumt fordi det er så tilfeldig

Question 30

Hva er stepwise metoden når det kommer til selektering av prediktorer?

Answer 30

Her blir prediktorene selektert ved å bruke deres semi partielle korrelasjon med utfallet av SPSS av SPSS

Dette kan produsere falske resultater og er dumt pga det gjøres av en data som kun er opptatt av statistikken

Brukes kun for utforskende analyser

Question 31

Når vi har laget en modell må vi se på dens nøyaktighet. Hvilke to måter er det for å finne ut hvor godt modellen passer utvalget?

Answer 31

Residuals og innflytelses rike caser

Question 32

Hvordan kan du se om en modell har en god tilpasning basert på residualene?

Answer 32

Du må se på de standardiserte residualene.

I et gjennomsnittlig utvalg vil 95% av de standardiserte residualene ligge mellom +- 2

99% vil ligge mellom +- 2.5

Om du har mer enn 1% som ligger utenfor +-2.5 har du for mange residualer som er for store - problem

Ethvert tilfelle der den absolutte verdien av det standardiserte residualet er 3 eller mer, er sannsynligvis en uteligger

Question 33

Hvorfor må vi se på innflytelses rike caser i tillegg til residualene?

Answer 33

Det er ikke nok å bare se på residualene

Det finnes noe som kalles for innflytelses rike caser, som ikke nødvendigvis registreres som uteliggere, men som alene påvirker modellen i stor grad.

Question 34

Hvordan kan vi undersøke innflytelsesrike caser?

Answer 34

Det du kan gjøre her er å lage to regresjons linjer, en med den og en uten den, og se på forskjellen mellom de to. Er den stor så er det et mål på påvirkning. Dette gjøres via DF beta i SPSS (ser på forskjeller i beta verdier)

Men det du også kan gjøre er å bruke Coocs distance, som måler påvirkningen av et enkelt tilfelle på modellen som en helhet. Verdier som her er større en 1 bør vekke bekymring.

Question 35

Hvilke flere assumptions er det?

Answer 35

Utfallsvariabelen må være kontinuerlig

Prediktor variablene kan være kontinuerlig eller dioktome

Prediktorene må ikke ha null varians

Errors bør være korrelert (uavhengige)

Prediktorene må ikke være høyt korrelert (multikolinaritet)

Question 36

Hvordan ser en normalfordelt modell ut (residualene)?

Answer 36

Question 37

Hvordan ser man at det er homoskedastisitet og uavhengige

Answer 37

Om punktene er veldig tilfeldig plassert viser det til at residualene er uavhengige. Om punktene er spredt jevnt ut over viser det til homoskedastisitet. Sammen viser de også linearitet slik som her

Question 38

Hvordan ser man Heteroskedastisitet?

Answer 38

Question 39

Hvordan ser man non-lineæritet?

Answer 39

Question 40

Hvordan ser man Heteroskedastisitet og non-lineæritet?

Answer 40

Trekanten viser heteroskedastisitet

Halen viser non linearitet

Question 41

Hva er multicollinearity?

Answer 41

Det er når prediktorer er høyt korrelert

Question 42

Hvordan kan du sjekke om du har multicollinearity?

Answer 42

Dette kan sjekkes ved å se på toleranse-verdien eller VIF-verdien

Når toleransen er mer enn 0.2 så viser den at vi ikke har noe multicollinearity - noe som er bra.

Om VIF verdien er mer enn 10 så tyder det på at vi har multicollinearity - noe som er et problem.

Question 43

Når du har laget en modell, må vi sjekke dens nøyaktighet. Hva må du se på for å avgjøre hvor godt modellen passer populasjonen (generalisering)?

Answer 43

Normalitet av residualene

Homoskedastisitet

Linearitet

Uavhengighet

Question 44

Hva er kontinuerlige variabler?

Answer 44

Kontinuerlige variabler er, for eksempel “penger” eller “alder”, som kan ha en uendelig rekke av verdier innenfor et viss område eller intervall.

Question 45

Hva er kategoriske variabler

Answer 45

Kategoriske variabler er variabler som representerer forskjellige kategorier eller grupper

Slik som “afrikansk elefanter” og “asiatiske elefanter”

Question 46

Kan man bruke kategoriske uavhengige variabler i en regresjonsanalyse?

Answer 46

Ja, men da må de kodes med tall som legges inn i SPSS ikke ord.

Dette kan for eksemel gjøres gjennom dummy koding

Question 47

Hva er dummy koding?

Answer 47

Dummy-koding er en teknikk som brukes for å omkode kategoriske variabler til numeriske verdier slik at de kan inkluderes i statistiske modeller.

Kategoriske variabler kan ikke brukes direkte i de fleste matematiske modeller, så dummy-koding gjør om kategoriene til en binær representasjon (0 eller 1) ved å opprette separate kolonner for hver kategori.

Question 48

Hvordan blir likningen i en regresjonsmodell med en kategorisk prediktorvariabel som har to grupper?

Answer 48

Her må dummy koding brukes: gruppen “Asia” = 0 og “Afrika” = 1

b0 representerer gruppegjennomsnittet til gruppe 0

Prediktoren “elefant type” står som b1, men den representerer forskjellen mellom de to gruppe gjennomsnittene (g1-g0)

I denne likningen vil dette se slik ut;
Goals = b0 + b1
Goals = 3.533 + 1.08

B0 (interseptet) får verdien 3.533 fordi at det er verdien til Y når prediktoren er 0 (GRUPPE 0).

1.08 er forskjellen mellom de to gruppe gjennomsnittene og da B1.

Question 49

Hva er forskjellen mellom å gjøre en t-test eller regresjonsanalyse med dummy koding når du har en kategorisk uavhengig variabel med to grupper?

Answer 49

Det er ingen forskjell på dette når det kommer til resultatene: t-verdi, p-verdi, gruppe gjennomsnitt forskjell / beta 1 og CI.

Question 50

Kan man bruke kategoriske UV når du har flere enn to grupper?

Answer 50

Ja, i dette tilfellet blir likningen slik
Y = b0 + b1 + b2

Her blir Human kodet som 0, og blir da representert av b0

Hver beta representerer forskjellen i gjennomsnittet mellom den kategorien og baseline (b0)

B1 representerer derfor Human vs Elephants

B2 representerer derfor Human vs. Lion

Question 51

Hva vil beta-prediktorene representere i en regresjon med en kategorisk prediktorvariabel med flere grupper, dersom du bruker dummy koding?

Answer 51

De vil representere forskjellene mellom gjennomsnitt

Question 52

Hva er en moderator og hva menes med moderasjon?

Answer 52

En moderator er en variabel som endrer størrelse og eller retningen av relasjonen mellom to andre variabler

Moderasjon skjer når relasjonen mellom to variabler endres som en funksjon av en tredje variabel

Question 53

Hvordan kan vi undersøke effekten av en moderator i en regresjonsanalyse

Answer 53

Vi har et utfall (aggresjon) som vi mener at predikeres av gaming, men også av en moderator kalt (callous). I tillegg legger vi inn interaksjonen mellom disse to variablene som en tredje prediktor

Det er denne tredje prediktoren vi ønsker å se nærmere på. Dersom interaksjonen mellom moderator og prediktor er signifikant, så har vi en signifikant moderator effekt.

Question 54

Hvordan kan vi følge opp en moderator effekt?

Answer 54

Etter å ha funnet en signifikant interaksjon, undersøker man forholdet mellom
X og Y på forskjellige nivåer av M

Dette gjøres i Simple slopes analyse

Det man ser på er de tre nivåene under “effect”, der det øverste tilsvarer det laveste nivået, og de tilsvarende p-verdiene

Her ser man at ved lav effekt av moderatoren så ser man en negativ ikke sig effekt mellom prediktor og Y.

Ved medium effekt er det en positiv signifikant effekt

Ved høy effekt er det en mer positiv og sig effekt.

Question 55

Hva er mediasjon?

Answer 55

Mediasjon handler om at relasjonen mellom prediktor og Y opererer via en tredje variabel.

Altså at det er en felles faktor mellom de to som forklarer deres relasjon.

Det mediasjon sier er at dersom du har en relasjon mellom b1 og Y så vil denne svekkes (ideelt sett bli 0) av å inkludere mediatoren.

Question 56

Kan du gi et eksempel på en mediasjon?

Answer 56

Så vi ønsker å se om bruk av pornografi (b1) er knyttet til utroskap (Y), men også om dette forholdet kan forklares gjennom en tredje variabel (moderator) kalt tilknytning til forholdet.

Resultatene viser;

Bruk av pornografi har en sig effekt på din tilknytning til forholdet (Mediator). Dess mer du ser dess mindre tilknyttet føler du deg.

Men tilknytning til forholdet (M) har også en påvirkning på hvorvidt du vil være utro (Y), altså en sig effekt mellom disse.

Question 57

Hvordan kan man undersøke mediatorens påvirkning?

Answer 57

Mediasjon vises ved en signifikant indirekte effekt. Dette finner man ved å multiplisere hver av effektene M har på Y og på b1 (kombinere linje a og b). Dersom denne verdien er sig (stor nok) så har vi en sig mediasjon.

Dette ser vi på bildet her;

Den indirekte effekten er 0.1273.

Det vi er ute etter å se er om Bootstrap CI inneholder 0 eller ikke. Konfidensintervallet gir oss en ide om hva populasjons verdien av den effekten er.

Dersom den ikke inneholder 0 så vil det si at vår effekt er signifikant på .05. I dette tilfellet har vi en sig verdi fordi CI ikke inneholder 0.