Decision tree

Question 1

Pruning (cost complexity pruning)

Answer 1

réduit la taille de l’arbre décisionnel en enlevant les sections d’arbres qui fournissent peu de puissance prédictive. Ce processus réduit le overfitting, ce qui peut conduire à de meilleures prédictions et se traduit par un arbre plus simple et plus interprétable

Question 2

Complexity parameter (CP)

Answer 2

Représente le minimum d’amélioration requis (ou minimum d’impurité) pour effectuer un split. Il permet de trouver l’arbre optimal et réduit overfitting.

• Le CP optimal est celui qui minimise l’erreur de validation croisée (colonne xerror) pour claissification
• miminise le Squared error pour Regression

Question 3

maxdepth

Answer 3

paramètre qui set le nombre minimum de levels pour le split.

Question 4

minbucket

Answer 4

paramètre qui set le nombre minimal d’observations dans chaque feuille dans l’arbre.

Question 5

mtry

Answer 5

Random forest 
# des variables que l’algorithme sélectionne parmi les variables prédictrices disponibles lors de la formation de chaque fractionnement dans un arbre. Un ensemble aléatoire différent de variables est sélectionné à chaque fractionnement

Question 6

minsplit

Answer 6

minimum # d’observations qui doivent exister dans un nœud afin de diviser
- Tout le reste égal, plus le minsplit est bas, plus l’arbre résultant est grand et complexe

Question 7

Decision tree

Answer 7

structure basée sur un ensemble d’instructions if/then qui divisent les données et identifient les facteurs clés et les interactions. ( ils prédisent la variable cible en divisant l’ensemble de données en sous-ensembles basés sur les différenciateurs les plus significatifs dans les variables prédictrices)

Question 8

6 avantages Decision Tree

Answer 8

1. • Interprétable et intuitif. Plus facile à interpréter et à expliquer à un public non technique qu’un GLM (selon la fonction de lien utilisée).
2. • Les interactions sont automatiquement reconnues.
3. • Il n’est pas nécessaire de binarize données. Les variables catégoriques sont traitées automatiquement.
4. S’adapte aux discontinuités
5. • Bon à gérer les relations non linéaires (corrélées aussi) et ne nécessitent pas de transformation variable
6. Les variables sont automatiquement sélectionnées - les variables les plus importantes sont au sommet de l’arbre et d’autres
   variables qui n’apparaissent pas sont filtrées

Question 9

7. Disadvantages of decision trees

Answer 9

1. Les nœuds terminaux contiennent souvent un petit nombre d’observations, qui sont vulnérables au bruit
2. • Lorsque les données sous-jacentes changent, peuvent être instables et changer considérablement, la location à faible confiance.
3. *variance élevée (peut être fortement dépendre de training set) -> sujettes à la overfitting (peut être réduit en utilisant pruning) et ont tendance à produire des prédictions instables avec une variance élevée
4. • Lors du fitting d’un seul arbre, l’algorithme localement gourmand est peu susceptible de trouver un arbre optimal à l’échelle globale - > utiliser des forêts aléatoires
5. Il y a un manque d’outils de diagnostic modèles pour les arbres de décision
6. S’ils ne sont pas binariés, les arbres de décision ont tendance à favoriser les caractéristiques catégoriques avec de nombreux niveaux de facteur.
7. S’il est binariized, il y a une augmentation de la charge de calcul, surtout lorsqu’il y a un grand nombre de Facteurs

Question 10

Random forest Definition

Answer 10

Chaque arbre est généré à partir d’un échantillon bootstrap à partir des données, où les splits sont considérés comme
sous-ensemble sélectionné aléatoirement de variables.
* Les prédictions de chaque arbre ne sont pas corrélées parce qu’elles utilisent différents sous-ensembles des variables prédictives (contrôlées par mtry)

Question 11

Partial dependence plots

Answer 11

Méthode de visualisation de la structure de dépendances dans le modèle entre une feature ou une paire de features. Démontre quel feature contribue le plus. Permet de comprendre les relations entre les features et la target. Calcule la prédiction moyenne de la Target variable en changeant la valeur d’un ou plusieurs inputs features.

?pdp
Partial dependence plots (PDPs) help visualize the relationship between a subset of the features (typically 1-3) and the response while accounting for the average effect of the other predictors in the model. They are particularly effective with black box models like random forests and support vector machines.
Note: for classification problems, predictions are on a logit scale (log(p/(1-p))) so 0 implies 50% yes/50% no

Question 12

6 Advantages of Random Forests

Answer 12

1. Réduction du overfitting et de la variance (en faisant la moyenne des arbres)
2. Mesure l’importance des variables
3. Puissance prédictive et robustesse supplémentaires
4. Utilise la validation croisée pour définir le paramètre de réglage plutôt que proxy tel que AIC ou test hypo
5. Puissant pour détecter les interactions non linéaires (corrélation)
6. Gère les valeurs manquantes

Question 13

6 Disadvantages of Random Forests

Answer 13

1. Difficile à interpréter car le résultat dépend de nombreux arbres différents
2. Nécessite souvent un oversampling ou un undersampling lorsque la cible est une classe déséquilibrée
3. Plus long à exécuter et à analyser
4. Difficile à mettre en œuvre
5. Ont tendance à avoir une puissance prédictive inférieure à celle des arbres stimulés (Boosted)
6. Impossible de prévoir au-delà des données de formation pour la régression

Question 14

Comment utiliser over et under sampling dans R ?

Answer 14

trainControl( sampling = “Down” ou “Up”)

Question 15

Boosted Trees (Gradient Boosted trees GBM) -Sequence method

Answer 15

Chaque arbre est construit séquentiellement à l’aide des résidus d’arbres cultivés précédemment et en utilisant la version modifiée de l’ensemble de données d’origine (au lieu d’échantillons). Modèle additif
● Boosting permet aux variables qui seraient normalement éclipsées par d’autres variables d’être adaptées aux erreurs
fait en utilisant les autres variables

Question 16

5 Advantage of GBM

Answer 16

1. Outil puissant pour détecter les interactions non linéaires
2. Corrige les valeurs manquantes
   4 . Par rapport aux forêts aléatoires et aux arbres de base, les arbres stimulés obtiennent de meilleurs résultats en termes de précision des prédictions
3. Réduit Variance et Biais

Question 17

4 Disadvantages of GBM

Answer 17

1. Plus sujet au overfitting que les forêts aléatoires
2. Plus sensible aux input d’hyperparamètres
3. Les arbres les mieux stimulés apprennent lentement (utilisent beaucoup d’arbres) et peuvent donc prendre plus de temps qu’une forêt aléatoire pour Train.
4. Plus long à exécuter
5. Nécessite une plus grande taille d’échantillon que GLM

Question 18

Bagging vs boosting both used to reduce variance

Answer 18

• ** Bagging : Formation de plusieurs modèles (M) indépendamment en parallèle sur des sous-ensembles aléatoires (échantillons de l’ensemble de données de training unique) et ensuite en prenant le résultat final en moyenne des output . Aide à éviter de trop overfit.
• ** Boosting: Utilisation d’informations provenant de modèles précédemment adaptés. Utilisation de la version modifiée de l’ensemble de données d’origine (au lieu d’échantillons). Adapte l’arbre de décision aux résidus du modèle, puis met à jour les résidus. Réduit les biais, mais le risque d’overfitting.

Question 19

Mesure d’impureté : Entropy

Answer 19

1. Mesure l’impureté dans chaque noeud

2. Mesure l’amélioration dans le gain d’information pour des splits possibles

Question 20

Mesure d’impureté : Gini

Answer 20

Mesure de la fréquence à laquelle l’élément aléatoire serait incorrectement classifié
Gini = 0 : Meilleur split -> plus grande pureté ->Tous les éléments sont correctement classés
Gini = 1 : Pire fractionnement -> pureté la plus basse -> éléments sont répartis au hasard entre les classes

Question 21

Classification Error via (Complexity parameter CP)

Answer 21

Proportion d’observations dans l’ensemble des tests qui sont incorrectement classifiées
- (FP + FN)/ Toutes les données

Question 22

ntree

Answer 22

Hyperparamètre de Random Forest qui set le nombre d’arbre à faire grandir. + d’arbre = + de réduction de variance

Question 23

Eta

Answer 23

Boosted tree : Taux d’apprentissage entre 0 et 1. (Recommandé de choisir une petite valeur)

Question 24

Nrounds

Answer 24

Nombre maximum d'itérations de boosting. 
# large = Bon, mais attention car + c'est large plus il y'a overfitting. Lower eta = larger nrounds

Question 25

Cutoff

Answer 25

Probabilité minimale pour être classé 1. Plus le coutoff est bas =, plus il y’,a de chances d’être classé 1

Question 26

Oversampling

Answer 26

Take duplicata des observations positives

: oversampling(dupliquer) la classe positive.
Important : doit être effectué sur les données de formation. Cela empêche de réduire aritifically erreur de prédiction.

Question 27

Undersampling

Answer 27

au lieu d’utiliser l’ensemble de données complet, undersampling la classe négative pour avoir plus positif.
# Prenez un échantillon des observations négatives qui ont la même taille que le nombre d’observations positives

Question 28

One standard error rule

Answer 28

Plus petit arbre avec un cross validation error de + ou - un écart type du plus petit cross validation error