Masurarea performantei

Question 1

Cum este definita performanta unui model?

Answer 1

Performanta unui model masoara capacitatea acestuia de a clasifica corect PD-ul pentru observatii noi

Question 2

Pentru ce folosim esantioanele de antrenare si testare?

Answer 2

Esantioanele de antrenare sunt folosite pentru a contrui modelul (pentru a obtine ecuatia de regresie)

Esantionul de test este folosit pentru a calcula performanta modelului

Question 3

De obei, dimensiunile esantioanelor de antrenament / testare sunt:

Answer 3

Doua treimi din observatii in esantionul de antrenare

O treime din observatii in esantionul de testare

Question 4

Ce presupune metoda cross validation?

Answer 4

Esantionul este:
* Impartit in K segmente,
* Antrenat pe K-1 segmente
* Testat pe segmentul ramas

Question 5

Care sunt elementele unui confusion matrix?

Answer 5

• True positive(TP): numarul de clienti buni clasificati corecti
• False positive(FP): numarul de clienti buni clasificati gresiti (sunt de fapt rai)
• True negative(TN): numarul de clienti rai clasificati corecti
• False negative(FN): numarul de clienti rai clasificati gresiti (sunt buni)

Question 6

In functie de elementele din confusion matrix, care sunt masurile performantei?

Answer 6

Acuratetea clasificatii: (TP+TN) / (TP+TN+FP+FN)

Rata de eroare

Sensitivitatea (masoara cati clienti buni sunt clasificati corecti) TP / (TP+FN)

Specificitatea(masoara cati clienti rai sunt clasificati corect)

Question 7

Ce reprezinta curba ROC?

Answer 7

Este o reprezentare grafica intre sensitivitate si 1-specificitate

Un model perfect are o sensitivitate de 1 si o specificitate de 1 (adica prezice perfect ambele cazuri)

Cu cat curba ROC este mai apropiata de coltul din stanga-sus, cu atat performanta modelului creste

Question 8

Cum interpretam AUC?

Area under curve

Answer 8

AUC este interpretata ca probabilitatea ca un client bun ales la alegere sa aibe un scor mai mare decat un client rau ales la alegere

In graficul curbei ROC, diagonala principala reprezinta clienti alesi la alegere

Question 9

Ce reprezinta curba CAP

Answer 9

Este o reprezentare grafica a proportiei cumulative de clasificari bad

Ne asteptat ca clientii rai sa aibe scoruri mici, deci curba CAP trebuie sa creasca abrupt la inceput, intr-un caz perfect

Question 10

Ce reprezinta distanta KS

Answer 10

Distanta KS calculeaza distanta dintre distributia cumulativa a scorurilor celor buni fata de cei rai

Poate fi masurata si pe curba ROC, fiind distanta dintre curba ROC si diagonala principala

Question 11

Ce este distanta mahalanobis?

Answer 11

Reprezinta diferenta dintre scorul mediu al clientilor buni si rai impartit la deviatia standard a populatiei

Un model bun are o distanta mare, adica distributiile scorurilor sunt bine separate

Question 12

Care sunt intervalele de clasificare pentru IV?

Answer 12

• < 10% (rosu)
• [10% - 30%] (galben)
• > 30% (verde)

Question 13

Care sunt intervalele de clasificare pentru coeficientul Gini (AR)

Answer 13

La nivel de variabila:

• < 0% (rosu)
• [0% - 10%] (galben)
• > 10% (verde)

La nivel de model:

• < 40% (rosu)
• [40% - 50%] (galben)
• > 50% (verde)

Question 14

Care sunt intervalele de clasificare pentu corelarile dintre variabile?

Answer 14

• > 70% (rosu)
• [50% - 70%] (galben)
• < 50% (verde)