Validation

Question 1

Heteroscedasity

Residuals vs Fitted Plot

Answer 1

BAD !!!!!

Lorsque les résidus s’agrandit à mesure que la prédiction augmente ou diminue. On veut que ça soit centré à 0

Question 2

Residuals vs Fitted Plot à quoi ça sert ?

Answer 2

vérifier les hypothèses telles que la normalité des résidus (centrées autour de zéro et réparties symétriquement -> moyenne et variance des résidus = 0 ce qui confirme les hypothèses de normalité)

Question 3

Q‐Q plot : à quoi ça sert?

Answer 3

vérifie la normalité des résidus de déviance normalisés. Les points doivent être proches de la ligne. S’il n’est pas proche aux extrêmes, une distribution plus grasse de la queue doit être utilisée.

Question 4

Confusion matrix

Answer 4

montrer dans quelle mesure les prédictions s’alignent avec les observations réelles. 2 matrices sont construites, 1 pour la formation et 1 pour les ensembles d’essai.
Les matrices de confusion sont créées en fonction d’un cutoff (#’s 0 à 1).
Valeurs plus proches de 1 pour accuracy, la sensibilité et la spécificité, plus le classificateur est attrayant
Au lieu d’avoir à choisir manuellement une coupure particulière, la courbe de caractéristique d’exploitation du récepteur (ROC)

Question 5

Sensitivity/Recall

True positive rate (TPR)

Answer 5

TP / (TP + FN) = TP/(POSITIVE RÉEL)

- fréquence de prédire correctement un événement lorsqu’il se produit

Question 6

Specificity

True negative rate (TNR)

Answer 6

TN/(Négatif réel)

fréquence de prédire correctement un non-événement lorsqu’il n’y a pas d’événement

Question 7

Precision

Answer 7

TP / (TP+ FP) = TP/(Positif prévu)

Proportion de résultats positifs qui ont été correctement classés.

Question 8

Accuracy

Answer 8

(TP + TN)/N

Question 9

Error rate

Answer 9

(FP + FN)/N

Question 10

False positive rate

Answer 10

1-Spécificité = FP /(FP +TN)

Proportion de 0 réclamation qui ont été mal classés

Question 11

ROC Curve definition

Answer 11

Graphique de Sentivity cs. 1 – Spécificité pour diverses valeurs de cutoff.
Le vrai taux positif (sensibilité) est tracé en fonction du taux de faux positifs (Spécificité).

Question 12

AUC Definition

Answer 12

Probabilité qu’une prédiction de modèle pour une police qui a effectivement rempli une réclamation soit supérieure à la prédiction du modèle pour une police qui n’a pas déposé de réclamation
Il montre que le compromis pour un taux de faux positifs plus élevé est un taux positif réel plus élevé. Une plus grande zone sous la courbe (AUC) est optimale.
Comparez l’AUC à partir du test set lorsque vous devez décider quel modèle est le meilleur

Question 13

Overfitting (Classif)

Answer 13

L’erreur de train est bien meilleure que l’erreur de test
- Être trop sensible au bruit dans les données de training.
(Trop de variables ou de modèle trop flexible)
Le modèle ne sera pas performant sur les nouvelles données

● Train AUC > Test AUC
● Accuracy du train > Accuracy du test
● Sensibilité du train et sensibilité > test
● Spécificité du train > de test

-Variance Élevé
-Biais faible
Voir Variance Bias compromis

Question 14

No overfitting / Underfitting

Answer 14

• L’erreur de test est bien meilleure que l’erreur de train.
• Ne pas être suffisamment sensible aux données de training et manque d’ informations importantes. Le modèle sera aussi performant sur les nouvelles données (test) que sur les données de training.

● Train AUC < Test AUC
● Précision du train < précision du test
● Sensibilité du train < sensibilité au test
● Spécificité du train < de test

-Variance Faible
Biais élevé
-Voir Variance Bias compromis

Question 15

Accuracy/Complexity tradeoff

Answer 15

Plusil y’a de paramètres, plus on sera en mesure de représenter avec accuracy des signaux complexes.
Toutefois, moins interprétable, susceptible d’être trop adapté/overfit (fitting au bruit), la complexité computationnelle

Question 16

***** Bias variance tradeoff

Answer 16

Perte espérée = Variance du model + Biais^2 + Erreur irréductible
Le compromis biais-variance cherche à minimiser la perte attendue en trouvant un équilibre entre le biais et la variance.
Le compromis biais/variance peut être optimisé à l’aide d’AIC ou de la régularisation -> méthode de pénalité loglikelihood

(à l’examen expliquer les 3 parties)

Question 17

Biais définition

Answer 17

1. différence entre la prédiction moyenne et la valeur correcte que nous essayons de prédire.
2. Représente le expected loss d’un modèle qui n’est pas assez complexe/flexible pour capturer le signal dans le training set (High Bias)

• High Bias = Train et test set peu performant
• Solution : change your model

Question 18

Variance définition

Answer 18

quantité par laquelle la prédiction changera si différentes données training sont utilisées.

Expected loss lorsqu’un modèle est trop complexe/flexible.
Si la variance est élevée, le modèle est trop adapté aux données training et ne généralise pas bien les données unseen (test)

• High variance = modèle performe mieux sur training set que test set.
• Solution : + de données

Question 19

Residual error

Answer 19

Bruit aléatoire dans les données qui ne peuvent jamais être compris.
Peut être réduit par le nettoyage des données, la transformation des variables et l’ingénierie des fonctionnalités supplémentaires

Question 20

Cross Validation

Answer 20

Cross validation divise les données en k folds. Il train le modèle sur tous les folds sauf un qui sera utilisé pour tester la performance du modèle. Le processus est répété k fois afin de développer la distribution des valeurs de performance pour un paramètre donné.

Question 21

Deviance

Answer 21

Plus la déviance est faible, plus la GLM est proche du modèle avec fit parfait; la déviance diminue lorsque vous ajoutez des prédicteurs
● Environ normalement distribué (à l’exclusion des distributions binomiales)
● Variation approximativement constante lors de la normalisation (standardization)