6 - Régression logistique multiple 2

Question 1

Pourquoi et comment faire la sélection des variables ?

Answer 1

Pourquoi : faciliter l’interprétation, faciliter le déploiement et augmenter la robustesse (reproductibilité)
Comment : méthode statistique

Question 2

Qu’arrive-t-il lorsqu’il y a trop ou pas assez de variables dans le modèle ?

Answer 2

Trop : perte de puissance et sur-ajustement
Pas assez : confusion résiduelle et mauvaise adéquation du modèle

Question 3

Quelles sont les 3 méthodes statistiques pour la sélection de variables ?

Answer 3

1. Forward selection : la variable la plus significative (valeur p la plus faible) est ajoutée au modèle à chaque étape sauf si valeur p > seuil
2. Backward selection : la valeur la moins significative (valeur p la plus élevée) est retirée du modèle à chaque étape sauf si valeur p < seuil
3. Stepwise selection : forward + backward

Question 4

Pourquoi la méthode progressive / stepwise selection est-elle importante ?

Answer 4

Car des variables introduites peuvent devenir non significatives après l’introduction de nouvelles variables et ce dû à l’estimation des paramètres par la méthode du maximum de vraisemblance

Question 5

Comment tester l’effet d’un groupe de variables ?

Answer 5

Test de rapport de vraisemblance pour tester la contribution d’un groupe de variables vs individuelle
1. H₀ : β₁, β₂, …, βᵢ = 0
2. Statistique de LRT = 2log(L₂) - 2log(L₁)
3. Rejeter H₀ si λ > χ²(1 - ⍺)(k - p)
4. Distribution suit une loi χ² avec (k - p) degré de liberté

Question 6

Quel est l’inconvénient avec le test LRT et quelles sont les solutions ?

Answer 6

Inconvénient : permet de sélectionner seulement un modèle parmi 2 modèles emboités (complet et réduit)
Solutions : utiliser des critères de choix de modèles pour comparer des modèles qui ne sont pas forcément emboîtés les uns dans les autres = AIC ou BIC

Question 7

Qu’est-ce que le critère d’information d’Akaike (AIC) ?

Answer 7

1. AIC = - 2 log (L) + 2k où k est le nombre de variables dans le modèle
2. Le meilleur modèle correspond à celui avec la plus petite valeur d’AIC
3. AIC représente un compromis entre le biais et la parcimonie = bonne description des données avec le moins de paramètres possibles
4. AIC ne peut pas être utiliser pour un petit n (n/k < 40) = BIC

Question 8

Qu’est-ce que le critère d’information bayésien (BIC) ?

Answer 8

1. BIC = - 2 log (L) + k log (n)
2. Le meilleur modèle correspond à celui avec la plus petite valeur BIC

Question 9

Quelle est la différence entre statistiquement et cliniquement significatif ?

Answer 9

Statistiquement : valeur p du odds ratio < 0.05
Cliniquement : IC du odds ratio n’inclut pas 1