Validation Flashcards
Heteroscedasity
Residuals vs Fitted Plot
BAD !!!!!
Lorsque les résidus s’agrandit à mesure que la prédiction augmente ou diminue. On veut que ça soit centré à 0
Residuals vs Fitted Plot à quoi ça sert ?
vérifier les hypothèses telles que la normalité des résidus (centrées autour de zéro et réparties symétriquement -> moyenne et variance des résidus = 0 ce qui confirme les hypothèses de normalité)
Q‐Q plot : à quoi ça sert?
vérifie la normalité des résidus de déviance normalisés. Les points doivent être proches de la ligne. S’il n’est pas proche aux extrêmes, une distribution plus grasse de la queue doit être utilisée.
Confusion matrix
montrer dans quelle mesure les prédictions s’alignent avec les observations réelles. 2 matrices sont construites, 1 pour la formation et 1 pour les ensembles d’essai.
Les matrices de confusion sont créées en fonction d’un cutoff (#’s 0 à 1).
Valeurs plus proches de 1 pour accuracy, la sensibilité et la spécificité, plus le classificateur est attrayant
Au lieu d’avoir à choisir manuellement une coupure particulière, la courbe de caractéristique d’exploitation du récepteur (ROC)
Sensitivity/Recall
True positive rate (TPR)
TP / (TP + FN) = TP/(POSITIVE RÉEL)
- fréquence de prédire correctement un événement lorsqu’il se produit
Specificity
True negative rate (TNR)
TN/(Négatif réel)
fréquence de prédire correctement un non-événement lorsqu’il n’y a pas d’événement
Precision
TP / (TP+ FP) = TP/(Positif prévu)
Proportion de résultats positifs qui ont été correctement classés.
Accuracy
(TP + TN)/N
Error rate
(FP + FN)/N
False positive rate
1-Spécificité = FP /(FP +TN)
Proportion de 0 réclamation qui ont été mal classés
ROC Curve definition
Graphique de Sentivity cs. 1 – Spécificité pour diverses valeurs de cutoff.
Le vrai taux positif (sensibilité) est tracé en fonction du taux de faux positifs (Spécificité).
AUC Definition
Probabilité qu’une prédiction de modèle pour une police qui a effectivement rempli une réclamation soit supérieure à la prédiction du modèle pour une police qui n’a pas déposé de réclamation
Il montre que le compromis pour un taux de faux positifs plus élevé est un taux positif réel plus élevé. Une plus grande zone sous la courbe (AUC) est optimale.
Comparez l’AUC à partir du test set lorsque vous devez décider quel modèle est le meilleur
Overfitting (Classif)
L’erreur de train est bien meilleure que l’erreur de test
- Être trop sensible au bruit dans les données de training.
(Trop de variables ou de modèle trop flexible)
Le modèle ne sera pas performant sur les nouvelles données
● Train AUC > Test AUC
● Accuracy du train > Accuracy du test
● Sensibilité du train et sensibilité > test
● Spécificité du train > de test
-Variance Élevé
-Biais faible
Voir Variance Bias compromis
No overfitting / Underfitting
- L’erreur de test est bien meilleure que l’erreur de train.
- Ne pas être suffisamment sensible aux données de training et manque d’ informations importantes. Le modèle sera aussi performant sur les nouvelles données (test) que sur les données de training.
● Train AUC < Test AUC
● Précision du train < précision du test
● Sensibilité du train < sensibilité au test
● Spécificité du train < de test
-Variance Faible
Biais élevé
-Voir Variance Bias compromis
Accuracy/Complexity tradeoff
Plusil y’a de paramètres, plus on sera en mesure de représenter avec accuracy des signaux complexes.
Toutefois, moins interprétable, susceptible d’être trop adapté/overfit (fitting au bruit), la complexité computationnelle
***** Bias variance tradeoff
Perte espérée = Variance du model + Biais^2 + Erreur irréductible
Le compromis biais-variance cherche à minimiser la perte attendue en trouvant un équilibre entre le biais et la variance.
Le compromis biais/variance peut être optimisé à l’aide d’AIC ou de la régularisation -> méthode de pénalité loglikelihood
(à l’examen expliquer les 3 parties)
Biais définition
- différence entre la prédiction moyenne et la valeur correcte que nous essayons de prédire.
- Représente le expected loss d’un modèle qui n’est pas assez complexe/flexible pour capturer le signal dans le training set (High Bias)
- High Bias = Train et test set peu performant
- Solution : change your model
Variance définition
quantité par laquelle la prédiction changera si différentes données training sont utilisées.
Expected loss lorsqu’un modèle est trop complexe/flexible.
Si la variance est élevée, le modèle est trop adapté aux données training et ne généralise pas bien les données unseen (test)
- High variance = modèle performe mieux sur training set que test set.
- Solution : + de données
Residual error
Bruit aléatoire dans les données qui ne peuvent jamais être compris.
Peut être réduit par le nettoyage des données, la transformation des variables et l’ingénierie des fonctionnalités supplémentaires
Cross Validation
Cross validation divise les données en k folds. Il train le modèle sur tous les folds sauf un qui sera utilisé pour tester la performance du modèle. Le processus est répété k fois afin de développer la distribution des valeurs de performance pour un paramètre donné.
Deviance
Plus la déviance est faible, plus la GLM est proche du modèle avec fit parfait; la déviance diminue lorsque vous ajoutez des prédicteurs
● Environ normalement distribué (à l’exclusion des distributions binomiales)
● Variation approximativement constante lors de la normalisation (standardization)
