5. predavanje: Uvod u regresijsku analizu

Question 1

Navesti razliku između reziduala ei

i pogreške εi.

Answer 1

Rezidual je razlika između opažene vrijednosti yi i predviđene vrijednosti ŷi. Pogreška je razlika između opažene vrijednosti yi i stvarne (očekivane) vrijednosti µy|x.

Question 2

Za što je moguće koristiti regresiju?

Answer 2

• Predviđanje: procjena izlaza y za novi X
• Deskriptivna analiza podataka: usporedba
  srednjih vrijednosti kroz grupe podataka
• Modeliranje uzročnosti: razumijevanje kako
  se izlaz y mijenja, ako manipuliramo
  prediktorima X

Question 3

Interpretirati procijenjene parametre β za slučaj jednog binarnog prediktora Xi.

Answer 3

• β1: očekivana vrijednost za točke s Xi = 0
• β2: razlika u očekivanim vrijednostima
  između točaka s Xi = 1 i Xi = 0

Question 4

Interpretirati procijenjene parametre β za slučaj jednog kontinuiranog prediktora Xi.

Answer 4

• β1: očekivana vrijednost za točke s Xi = 0
• β2: razlika u očekivanim vrijednostima
  između točaka čija se vrijednost Xi razlikuje za 1

Question 5

Interpretirati procijenjene parametre β za slučaj jednog kontinuiranog i jednog binarnog prediktora Xi.

Answer 5

Subpopulacije imaju isti nagib (vrijednost parametra β uz kontinuirani prediktor), međutim razlikuju se u pomaku (ovisno o tome je li binarni prediktor uključen ili ne).

Question 6

Interpretirati procijenjene parametre β za slučaj interakcije jednog kontinuiranog i jednog binarnog prediktora Xi.

Answer 6

• β1: očekivana vrijednost za točke s Xi = 0, Xj =
  0
• β2 (binarni): razlika u očekivanim
  vrijednostima između točaka s Xi=0 i Xi=1,
  za Xj = 0
• β3 (kontinuirani): razlika u očekivanim
  vrijednostima između točaka čija se vrijednost
  Xi razlikuje za 1, za Xi = 0
• β4 (interakcija): razlika u nagibima

Question 7

Definirati p-vrijednost u kontekstu procjene parametara β.

Answer 7

Vjerojatnost procjene takvog koeficijenta ili ekstremnijeg ako je stvarni koeficijent nula (=H0 hipoteza).

Question 8

Definirati udio varijance objašnjene modelom, R^2.

Answer 8

R^2 = 1 - varijanca(rezidual)/varijanca(pogreška)

Question 9

Definirati SST, SSR i SSE i povezati ih jednakošću.

Answer 9

• SST = sum_i (yi - ȳ)^2
• SSE = sum_i (yi - ŷ)^2
• SSR = sum_i (ŷ - ȳ)^2
• SST = SSE + SSR

Question 10

Iskazati koeficijent determinacije, R^2 korištenjem SSR, SST i SSE.

Answer 10

• R^2 = SSR/SST

- R^2 = 1 - SSE/SST

Question 11

Navesti pretpostavke u regresijskom modelu.

Answer 11

1. valjanost
2. aditivnost i linearnost
3. nezavisnost pogrešaka: nema interakcije
   između ulaza
4. konstanta varijanca reziduala
5. normalnost reziduala

Question 12

Opisati pretpostavku valjanosti u regresijskom modelu.

Answer 12

a. izlazne vrijednosti trebaju točno odražavati
fenomen od interesa
b. model treba uključivati sve relevantne
prediktore
c. model treba generalizirti na slučajeve na
koje će se primjenjivati

Question 13

Opisati pretpostavku aditivnosti i lineranosti u regresijskom modelu.

Answer 13

Model je linearan u koefijentima (ne nužno u čistim varijablama); prediktori mogu biti arbitrarne funkcije čistih ulaznih vrijednosti.

Question 14

Navesti transformacije prediktora i izlaza.

Answer 14

a) prediktori centrirani oko srednjih vrijednosti:
Xik ← Xik − mean(X1k, …, Xnk), 𝛽k = srednja
vrijednost porasta izlaza y za svaku jedinicu
porasta Xik
b) standardizacija via z-scores:
Xik ← [Xik − mean(X1k, …, Xnk)] / sd(X1k, …,
Xnk), omogućava nam usporedbu
koeficijenata za prediktore sa prethodno
neusporedivim jedinicama mjere
c) logaritmi izlaznih vrijednosti: aditivni model
postaje multiplikativni