Valutare un Modello di ML

Question 1

Accuracy:
- il rapporto tra cosa nella teoria?
- in termini di TN,TP,FN,FP?
- problema ed esempio

Answer 1

Rapporto tra predizioni corrette e predizioni totali.
(TP+TN)/(TP+TN+FN+FP)

Se il dataset è sbilanciato allora non è sufficiente come metrica: es. accuracy del 90% ma solo sulla classe A che rappresenta il 90% e classe B 10%.

Question 2

Precision:
- anche chiamata?
- oppure 1 - …
- in termini di TN,TP,FN,FP?
- in teoria cosa spiega

Answer 2

Precision:
- Specificità
- 1 - False positive rate
- TP / (TP+FP)
- quanto siamo corretti se una classe è classificata positiva

Question 3

Recall:
- anche chiamata?
- oppure in termini di rate…
- in termini di TN,TP,FN,FP?
- in teoria cosa spiega

Answer 3

Recall:
- sensibilità
- true positive rate
- TP / (TP+FN)
- di tutti i positive quanti ne becco

Question 4

Trade Off Precision/Recall:
- In genere cosa comporta aumentare la precision
(esempio di quando va preferito)
- In genere cosa comporta aumentare il recall (esempio di quando va preferito)

Answer 4

• Aumentare il “quanto siamo corretti quando diciamo che è positiva” comporta che non riconosciamo sempre una classe positiva ma quando lo si fa allora è corretto.
  ESEMPIO: meglio se detection di spam.
• Aumentare il numero di classi positive correttamente classificate (higher recall) determina un aumento di classi false positive (si include più rumore).
  ESEMPIO: meglio se radar antimina.

Question 5

F1 SCORE come si calcola

Answer 5

2* (Precision*Recall)/(Precision + Recall)

Question 6

Curva ROC e AUC cosa confronta e cosa determina un AUC più grande

Answer 6

Confronto dei True Positive rate (Recall) e False Positive Rate (1-Precision)

Più l’area è grande e più:
- al crescere di recall, precision diminuisce di poco.
- al crescere di precision, recall diminuisce di poco.