Metodi Statistici

Question 1

Il modello di regressione lineare

Answer 1

E’ un modello/regola statistica costruito e testato al fine di mettere in relazione due oggetti (variabili)

La regressione lineare è il modello più semplice da cui si parte; se questo non riesce a spiegare tutti i
regressori, si passa a un modello più complesso.

Question 2

A cosa servono i modelli di regressione?

Answer 2

Modelli di dipendenza per la rappresentazione di relazioni non simmetriche tra le variabili

Question 3

Qual è il 1° obiettivo della regressione lineare?

Answer 3

Uso esplicativo: stimare l’influenza dei regressori sulla variabile target, il contributo e la direzione (+ o -)

Question 4

Qual è il 2° obiettivo della regressione lineare?

Answer 4

Uso predittivo: stimare il valore non osservato della variabile target in corrispondenza di valori osservati dei regressori.

Question 5

Qual è il 3° obiettivo della regressione lineare?

Answer 5

Uso comparativo: confrontare la capacità di più regressori, o di più set di regressori, di influenzare il
target (= confronto tra modelli di regressione lineare diversi).

Question 6

Perchè è inserito un errore di default nel modello?

Answer 6

L’errore presente nel modello si ipotizza essere di natura casuale. Può essere determinato da:
- variabili non considerate
- problemi di misurazione
- modello inadeguato
- effetti puramente casuali

Question 7

A cosa serve il metodo dei minimi quadrati?

Answer 7

Serve per la stima della retta di regressione e dei coefficienti.
Significa, nell’ambito bivariato, trovare la rappresentazione funzionale migliore per rappresentare adeguatamente la relazione tra i due fenomeni

Question 8

Cos’è lo stimatore LS?

Answer 8

Il metodo dei minimi quadrati produce uno stimatore LS aventi le seguenti caratteristiche:

• è funzione di Y e X
• ha media
• ha varianza

Question 9

Quali sono le proprietà dello stimatore LS?

Answer 9

• non è distorto: mediamente la regola restituisce stime precise
• è consistente (se valgono certe hp su X’X): la precisione aumenta all’aumentare dell’ampiezza
  campionaria
• coincide con lo stimatore che otterrei con il metodo della massima verosimiglianza (sotto hp forti)

Question 10

A cosa serve il segno del coefficiente?

Answer 10

Il segno del coefficiente indica la direzione dell’impatto del regressore a cui è associato

Question 11

A cosa serve il valore del coefficiente?

Answer 11

Il valore del coefficiente indica l’incremento marginale di Y e dipende dall’unità di misura; per valutare l’impatto relativo dei singoli regressori è necessario considerare i coefficienti standardizzati

Question 12

A cosa servono gli indicatori sintetici della bontà del modello?

Answer 12

Per fare una prima valutazione per capire se il modello stimato è adeguato per spiegare il nostro problema.
sono:
- Test F
- R quadro
- R quadro adjusted

Question 13

Cos’è il test F?

Answer 13

Il Test F è un test d’ipotesi; viene usato per valutare la significatività congiunta dei coefficienti.

Question 14

Come si interpreta il Test F?

Answer 14

Se p-value è piccolo (rifiuto l’hp di coefficienti tutti nulli) il modello ha buona capacità esplicativa quindi:
- ipotesi nulla= I coefficienti angolari del piano di regressione sono tutti uguali tra loro e uguali a 0;
- ipotesi alternativa= nelle variabili esplicative ce ne è almeno una che ha un coefficiente statisticamente diverso da 0;
- statistica test

Question 15

Cos’è lo statistica test?

Answer 15

E’ un test di bontà generale perché l’obiettivo è verificare se l’ipotesi H0 la devo accettare o rifiutare;

Question 16

Come si interpreta lo statistica test?

Answer 16

• Se il p-value è < 0,05, l’ipotesi H0 la rifiutiamo, quindi si accetta H1 (cioè almeno uno dei regressori è
  diverso da 0 quindi spiega…).
• Se il p-value è > 0,05, l’ipotesi H0 non si può rifiutare, quindi l’insieme di variabili considerate come potenzialmente interessanti per spiegare il mio fenomeno non sono legate da un punto di vista lineare con l’oggetto dell’analisi.

Question 17

Qual è il livello di soglia empirico per L’R2?

Answer 17

circa 0,2/0,3. Tale soglia ci indica quanto sarà esplicativo il modello

Question 18

Cos’è il teorema di scomposizione della varianza?

Answer 18

è il teorema sul quale si basa l’indice R2.
ed è dato da: SST = SSE + SSM
[Total sum of squares=error sum of squares+model sum of squares]

Question 19

Total sum of squares (SST)

Answer 19

Riguarda la variabilità di Y

Question 20

Error sum of squares (SSE)

Answer 20

Riguarda gli errori

Question 21

Model sum of squares (SSM)

Answer 21

Riguarda la variabilità spiegata

Question 22

L’indice R2

Answer 22

Se rifiuto il test F, devo considerare l’R-quadro che è dato dal rapporto tra SSM e SST.
L’R-quadro misura la percentuale di variabilità di Y spiegata dal modello. In altre parole misura la variabilità delle osservazioni intorno alla ‘retta’ di regressione.

Question 23

Come si interpreta l’indice R2?

Answer 23

• R-quadro = 0 (SSM = 0) –>il modello non è esplicativo e c’è indipendenza lineare tra le variabili
• R-quadro = 1 (SSM = SST) –>OK, il modello spiega perfettamente
• R-quadro > 0,2/0,3  il modello ha capacità esplicativa

Question 24

L’indice R2 adjusted

Answer 24

Come R-quadro ma indipendente dal numero di regressori. combina adattabilità e parsimonia (è su esso
che dobbiamo concentrarci)
- Ha valori compresi tra 0 e 1
- Ok per valori >0.2 , 0.3

Question 25

Quali sono gli indicatori di bontà dei singoli regressori?

Answer 25

• ## Test T

Question 26

Il test T

Answer 26

Serve per calcolare la significatività dei singoli coefficienti. Il coefficiente è significativo (significativamente diverso da 0) se il corrispondente p-value è piccolo (ossia, rifiuto l’ipotesi di coefficiente nullo) e in tal caso significa che il regressore a cui il coefficiente è associato è rilevante per la spiegazione del fenomeno.
Il TEST T ci dice su quali variabili concentrarci (solo su quelle il cui p-value è < di 0,05)

Question 27

L’analisi della multicollinearità

Answer 27

La multicollinearità si presenta quando, data una matrice di dati in generale, le variabili (cioè i regressori)
non sono tra di loro indipendenti). C’è quindi una
forte correlazione tra i regressori (o alcuni di essi).
E questo rende difficile la stima del modello

Question 28

Rj2:

Answer 28

Indice per scovare la multicollinearità. misura la quota di varianza di Xj spiegata dai rimanenti p -1 regressori.
Se si hanno valori > 0.2/0.3 significa che c’è presenza di multicollinearità

Question 29

Variance Inflation index (VIFj):

Answer 29

Tale indicatore fa una regressione tra una variabile indipendente X1 e tutte le restanti variabili indipendenti.
Se si hanno valori > 1.2/1.3 significa che c’è presenza di multicollinearità

Question 30

Dopo aver diagnosticato una multicollinearità, qual è il metodo standard per risolverla?

Answer 30

1. scelti i regressori (le variabili indipendenti) stimo il modello con tutti i regressori,
2. valuto che il modello stia in piedi, facendo il TEST F e il TEST T
3. calcolo il VIF e se uno o più delle variabili di input ha un VIF sopra le soglie prefissate mi fermo,
4. diagnostico la multicollinearità,
5. risolvo la multicollinearità operando un’analisi fattoriale su tutte le variabili di input
   (indipendentemente dal fatto che siano significative o meno)

Question 31

La selezione del numero dei regressori

Answer 31

Un altro approccio per operare una valutazione del modello di regressione lineare è quello della selezione
dei regressori.
Un modello può essere scritto in maniera diversa a seconda della sua finalità: ad esempio se la costruzione del modello ha una funzione predittiva meglio scegliere per la soluzione con più fattori; al contrario, se la finalità è esplicativa, è meglio protendere per la soluzione con meno fattori

Question 32

Quali sono le 3 diverse procedure di calcolo automatico che selezionano il sottoinsieme di variabili ottimo tra quelli possibili?

Answer 32

• forward selection: inserisce nell’equazione una variabile per volta, basandosi sul contributo del
  regressore inserito alla spiegazione della variabilità di Y
• backward selection: rimuove dall’equazione una variabile per volta, basandosi sulla perdita di capacità esplicativa della variabilità di Y conseguente all’eliminazione del regressore
• stepwise selection (forward+backward selection): ogni variabile può entrare/uscire dal modello

Question 33

La regole della massima verosimiglianza a che serve?

Answer 33

Lo applico nel caso di regressione logistica, si basa sulla massimizzazione della probabilità di osservare l’insieme di dati campionari disponibili.
Mi dice quindi come mettere insieme le osservazioni del campionario per avere una stima dei coefficienti.
La regola della massima verosimiglianza è una buona regola quando il campione è numeroso.
tramite tale regole io trovo uno stimatore

Question 34

Quali sono le proprietà ottimale della quale gode la regole della massima verosimiglianza in presenza di campioni numericamente grandi?

Answer 34

• asintoticamente corretti (le stime sono non distorte, si avvicinano al valore vero)
• asintoticamente efficienti (gli standard error delle stime sono piccoli almeno come quelli di ogni altro metodo di stima)
• asintoticamente normali (è possibile usare la distribuzione normale o chi quadro per calcolare gli
  intervalli di confidenza)

Question 35

Quali sono gli indicatori di bontà del modello nella regressione logistica?

Answer 35

-Percentuale di concordant
-Altre misure di associazione tra valori predetti e valori osservati–>Tanto più questi indicatori sono elevati (si avvicinano a 1), tanto più il modello è “corretto”.

Question 36

In cosa consistono I test per valutare la significatività congiunta dei coefficienti (“Testing Global Null Hypotesis: β = 0”)?

RL

Answer 36

Queste statistiche hanno distribuzione Chi-quadro con n gradi di libertà dove n corrisponde al numero di
coefficienti stimati delle variabili indipendenti. Se il p-value è piccolo (rifiuto H0), il modello ha buona
capacità esplicativa.

N.B. Equivalente al Test F della regressione lineare

Question 37

Qual è il Test per valutare la significatività dei singoli coefficienti nella regressione logistica?

Answer 37

Wald Chi-Square

Question 38

Wald Chi-Square

Answer 38

È il quadrato del rapporto tra stima e standard error.
Il coefficiente è significativamente diverso da zero se il corrispondente p-value è piccolo (ossia, rifiuto
l’ipotesi di coefficiente nullo)–>il regressore a cui il coefficiente è associato è rilevante per la spiegazione
del fenomeno

N.B. Equivalente al Test t della regressione lineare

Question 39

La regressione logistica

Answer 39

E’ uno strumento in grado di dare un’interpretazione probabilistica di quanto la risposta sia più orientata allo 0 o all’1.
Consente di prevedere una variabile discreta, che può essere intesa come l’appartenenza a un gruppo, a
partire da un insieme di variabili (continue, discrete, dicotomiche).

[Il modello di regressione lineare è inadeguato quando la variabile risposta è dicotomica, poiché in non
garantisce il rispetto del campo di variazione [0,1]

Question 40

Cos’è una variabile dicotomica?

Answer 40

Si tratta di una variabile nominale con due sole modalità. Esempio di variabile dicotomica è il “sesso”, che può assumere due soli valori: maschio e femmina.

Question 41

La regressione logistica 2

Answer 41

vuole modellare la relazione tra una variabile dipendente dicotomica (0-1) e un insieme di regressoriche si ritiene influenzino la variabile dipendente•la variabile dicotomica rappresenta presenza/assenza di un fenomeno (es. abbandono cliente, acquisto prodotto…)

Question 42

Cos’è la percentuale di Concordant?

Answer 42

Valuta la capacità del modello di stimare la probabilità che il fenomeno si verifichi (quanto più la percentuale è alta tanto migliore è il modello)

Question 43

Per quanto riguarda la formula della regressione lineare multipla: cosa rappresenta β0?

Answer 43

rappresenta l’intercetta del modello, ossia il valore del modello nel caso in cui tutte le variabili esplicative X valgono 0

Question 44

Formula di regressione lineare: cosa rappresenta βJ?

Answer 44

rappresenta il coefficiente di regressione, e misura quanto varia Y (variabile target) al variare unitario di X al netto delle altre K-1 variabili esplicative

Question 45

Per che tipo di variabili si usa la regressione lineare?

Answer 45

solo per variabili continue

Question 46

Per che tipo di variabili di usa la regressione logistica?

Answer 46

variabili dicotomiche

Question 47

1. il modello logistico che proprietà ha?

Answer 47

Rispetta il vincolo che il valore stimato della probabilità
sia compreso nell’intervallo [0,1];

Question 48

A cosa serve la leverage H?

Answer 48

misura quanto un’osservazione è lontana dal
centro dei dati (ma tende a segnalare troppe oss influenti e tratta tutti i regressori nello stesso modo) oss influente se lev H>2*(p+1)/n

Question 49

A cosa serve la distanza di Cook?

Answer 49

misura la variazione simultanea dei coefficienti quando un’osservazione viene rimossa
( oss influente se D>1)

Question 50

Cosa fa la distanza di Cook?

Answer 50

è una funzione comunemente usata per stimare l’influenza di un singolo punto in un’analisi di regressione ai minimi quadrati.

Question 51

2. Il modello logistico che proprietà ha?

Answer 51

La forma ad «esse» della funzione logistica garantisce un avvicinamento graduale ai valori estremi 0 e 1;

Question 52

3. il modello logistico che proprietà ha?

Answer 52

La funzione logit è esprimibile come combinazione lineare delle variabili indipendenti X1,.., Xk:

Question 53

Cosa si intende per ODDS?

Answer 53

il rapporto tra il numero atteso di volte che un evento accada e il numero atteso di volte che un evento non accada

Question 54

Come si interpreta l’ODDS RATIO?

Answer 54

se>1= la % aumenta
se<1= la % diminuisce

ES: supponiamo di avere un odds ratio 1:11= significa che all’aumentare di 1 unità del mio regressore, la probabilità che il fenomeno si veririchi aumenta dell’11%

Question 55

Nel caso io avessi un regressore dicotomico. Come interpreto il modello logistico di conseguenza?

Answer 55

Il coefficiente esprime il cambiamento di logit in corrispondenza di un aumento unitario di X

Question 56

Nel caso io avessi un regressore continuo. Come interpreto il modello logistico di conseguenza?

Answer 56

Nel caso di variabili continue l’interpretazione del parametro è analoga al caso dicotomico.