ANOVA Et Comparaisons Ou Tests Multiples (1) Flashcards
À quoi sert l’ANOVA?
Comparaison de plusieurs groupes pour savoir s’ils diffèrent
Quelle est la logique de l’ANOVA?
Comparaison de la variance inter-groupes et la variance intra-groupes
Quelles sont les conditions d’application de l’ANOVA?
- Homogénéité des variances (test de Levene ou d’O’Brien)
- Normalité (les données sont distribuées normalement pour chaque groupe). On appelle souvent cette condition normalité de l’erreur
3.Indépendances des observations (les scores ne s’influencent pas l’un l’autre)
Qu’est-ce que la variance inter-groupe?
Selon le théorème central limite, il existe un rapport entre la variance de la population et la variance d’une distribution d’échantillonnage de la moyenne :
S2x=oe2/n (soit, variance de l’échantillon = variance de la population estimée / nb d’observations)
Avec les groupes qu’on compare, on dispose d’une distribution d’échantillonnage de la moyenne. SI tous ces groupes proviennent de la même population alors la variance estimée de la population obtenue à l’aide des échantillons devrait être bonne.
Qu’est-ce que la variance intra-groupe?
La variance de chaque échantillon peut être utilisée comme estimation de la variance de la population. Si les variances intra-groupes sont homogènes, alors la variance estimée de la population(moyenne de la variance de chaque groupe) devrait être bonne.
V/F Lorsque les contions d’application de l’ANOVA et que toutes les observations proviennent de la même population, les variances intra et inter groupes ont similaires
VRAI, on vérifie cela en faisant un rapport F entre la variance inter et intra et on observe les probabilité s’avoir un tel rapport sous H0
Quelle équation permet de décrire un score selon la logique de l’ANOVA?
Xij = μ + tj + Eij
X: score
i: une certaine valeur
j: un certain groupe
μ: moyenne population
Tj: contribution groupe appartenance
Eij: contribution personnelle
Décris la logique de l’ANOVA selon l’équation de description du score
- Calcul de la variance qui tient compte de la variabilité individuelle ET de la contribution du groupe , donc (E + t)
- Calcul de la variance qui tient compte de la variabilité individuelle seulement (E)
- Comparaison des deux à l’aide d’un rapport F = (T+E)/E
Si les groupes sont égaux, alors T = 0
Quel sont les synonymes de Scinter et de Sc intra?
- Inter: traitement
- Intra: erreur
En quoi se divise le Sctotal?
Scinter et SC erreur
Comment trouve-t-on le nb de dl (1) total, (2) inter et (3) intra?
Total: dl=N-1
Inter: dl= K-1
Intra: dl = K (n-1)
Comment calcule t’on les SC?
Total: Sommation du (score total - moyenne) de chaque individu
Inter: nb d’observations multiplié par sommation (moyenne du groupe-moyenne totale) de chaque groupe
Intra: Sctotal-scinter
V/F Les calculs de l’ANOVA sont très sensibles aux erreurs d’arrondissement
VRAI
Comment sont calculés les CM inter et intra?
CM inter = Scinter/dlinter
CM intra= Scintra/dlintra
Comment calcul-t-on le F
F = CMinter/CMintra
Lorsque le F calculé est…. que le F critique, les groupes diffèrent
PLUS GRAND
Quand le p associé au F calculé est…. que le seuil alpha, il y a une différence significative entre les groupes
Plus petit
Quelle taille d’effet est utilisée pour l’ANOVA? Que signifie-t-elle et comment la calcule-t-on?
L’état carré (n^2). Elle représente la proposition de la variabilité expliquée par l’appartenance au groupe
n^2=Sc inter/SCtotal
V/F L’ANOVA est un procédé robuste.
Qu’est-ce que cela signifie?
Vrai, c’est à dire qu’elle n’est pas trop sensible aux écarts à ses conditions d’utilisation, surtout pour Normalité et homogénéité des variances (on peut aller jusqu’à la plus grande variance 4X plus élevée que celle la plus petite)
CEPENDANT, si les n des échantillons diffèrent, l’anova est - robuste (si on pense que variance seront non homogène, s’arranger pour avoir échantillons tailles égales)
À quoi servent les test de comparaisons multiples?
L’ANOVA permet de dire s’il y a au moins une différence entre les groupes, mais ne permet pas de dire où se situe cette différence. C’est pour ça qu’on fait des tests de comp. multiples.
Quel est le défi principal des comparaisons multiples?
Plus on fait de test stats, plus on augmente la probabilité de faire une erreur de type 1 sous H0 (soit trouver un effet lorsqu’il n’y en a pas).
Comment calcule-t-on la probabilité de faire une erreur de type 1 selon le nb de tests effectués?
p(au moins une erreur type 1)=1-p(aucun test significatif)
OU
p(au moins une erreur type 1)=1- (1-a)^k
Ici, a est le niveau alpha et K le nb de tests effectués
Comment fait-on pour diminuer les probabilités de faire une erreur de Type-1 lors des tests de comparaison multiple?
Utilisation de procédures de contrôle du taux d’erreur (multiplicity control)
Dans quels contextes fait-on des comparaisons multiples (6)? Lequel s’applique à l’ANOVA?
- Vérification du niveau de base (tester que deux groupes sont égaux sur plusieurs caractéristiques avant de commencer une étude)
*2. Multiples groupes ou multiples mesures (vérifier s’il existe des différences entre plusieurs groupes sur un certain nb de mesures) (POUR ANOVA)
3.Certaines procédures statistiques ( les régressions multiples et ANOVAS factorielles produisent plusieurs p)
4.Data peeking (mauvaise pratique): faire analyse pour voir si on doit recruter plus de participants pour avoir résultats significatifs (bonne pratique = calculer taille effet pour bonne puissance avant étude) - Analyses intérimaires (analyses sont planifiées avant la fin d’étude pour voir si on termine + tôt)
- Expéditions de pêche🎣: recherches non planifiées de différences entre groupes ou analyses de sous-groupes non planifiées
Quels sont les types de stratégies de contrôle du taux d’erreur ?
- Par comparaison
-Faire ANOVA et arrêter. Limite du taux erreur au seuil alpha choisi - Par famille
-Faire comparaisons entre toutes les moyennes pour trouver où se trouvent les différences. Utilisation d’une procédure statistique pour s’assurer que le taux d’erreurs de tous les tests combinés n’est pas trop élevé. - Par expérience
-Faire un autre test stat sur une autre variable de l’étude. Calcul de probabilités de faire erreur dans l’expérience. Procédure stat pour s’assurer que taux erreur de toute l’étude n’est pas trop élevé.
Quel est le problème avec le contrôle de taux d’erreur de l’ensemble? Et de par famille?
Ensemble: une étude complexe peut inclure plusieurs ensembles de tests + parfois synonyme de famille et expérience
Famille: terme qui englobe parfois aussi le taux d’erreur par expérience
Que signifie le terme: taux d’erreur de l’ensemble (EE)
Quand on souhaite contrôler le taux d’erreur de type I qu’on risque de faire si on comparer plusieurs moyennes à la suite d’une ANOVA significative
Nomme les différentes stratégies de contrôle du taux d’erreur
- Test-t multiple
2.Bonferroni (méthode de Dunn) - Sidak-Bonferonni
4.Holm-Bonferoni (ou seulement Holm)
5.Benjamini-Hochnerg
Qu’est-ce que le type de contrôle du taux de fausse découverte? Taux d’erreur de contrôle?
Fausses découvertes
Vise à controler C/C+D (parmi toutes les situations ou une analyse se significative, minimiser erreur type 1)
C= Fausse découverte (erreur type 1)
Taux d’erreur de contrôle (parmi situations ou H0 est vraie, minimiser erreur de type 1)
Vise à contrôler C/A+C
A: vrai négatif
C: Fausse découverte (Type 1)
D: Vraie découverte
Qu’est-ce que la stratégie de contrôle d’erreur 1. Test-t multiple?
Méthode
- Série de test t pour cadrer les moyennes par paires
-Aucune correction du seuil alpha (justifié par le petit nb de comparaisons choisies à priori OU justifié théoriquement)
Type de contrôle: Par comparaison
Qu’est-ce que la stratégie de contrôle d’erreur 2. Bonferroni (méthode de Dunn)?
Méthode
- Série de test stat (ex: test t)
-Utiliser un seuil alpha plus petit pour chacun des test (seuil = taux EE max (a)/nb de test faits)
Type de contrôle du taux d’erreur: de l’ensemble
Inconvénients
-peut produire seuil alpha très petit si bcp de test (très conservateur)
-Encore plus conservateur si les mesures sont corrélées les unes avec les autres
Qu’est-ce que la stratégie de contrôle d’erreur 4.Holm-Bonferonni?
Méthode
-Série de test stat (ex: test t)
-Utilisation d’un seuil variable pour chacun des tests
-Seuil obtenu ainsi: on classe les valeurs de p en ordre croissant, on compare la plus petite valeur p à a/k, si significatif: on compare la seconde plus petite à a(k-1) et on continue comme ça jusqu’à ce que les résultats ne soient plus significatif avec des valeurs de plus en plus petite (k-2, k-3…)
Type de contrôle du taux d’erreur: taux de fasses découvertes
Qu’est-ce que la stratégie de contrôle d’erreur 3.Sidak-Bonferonni?
Méthode
Modification de Bonferroni pour: a=1-(1-aee)^1/k
Type de contrôle du taux d’erreur: de l’ensemble
Inconvénients
-À peine - conservateur que Bonferonni
Qu’est-ce que la stratégie de contrôle d’erreur 5.Benjamini-Hochberg?
Méthode
-Série de test stat (ex: test t)
-Utilisation d’un seuil variable pour chacun des tests
-Seuil obtenu ainsi: on classe les valeurs de p en ordre DÉcroissant, on compare la plus GRANDE valeur p à a, si significatif: on ARRÊTE. Si non sig, on compare la seconde plus petite à a/2 et on continue comme ça jusqu’à ce que les résultats soient significatif avec des valeurs de plus en plus petite (a/2, a/3…)
Type de contrôle du taux d’erreur: taux de fasses découvertes
Quels sont les arguments, avec auteurs, en faveur ET en défaveur du contrôle de taux d’erreur?
Faveur
- Moyé: plus de test = plus erreur type 1
-Cormier et Pagano: plus on fait de test, plus on doit être conservateurs pour conserver un seul a de 0.05
-Blakesley et al.: faire fausses inférences peut ralentir le progrès scientifique
Défaveur
- Rothman: obtenir des résultats qui semblent extrèmes n’est pas surprenant, vu l’existence de nombreux phénonmènes interreliés dans l’univers: + contrôle d’erreur type 1 fait augmenter erreur type 2
-Schulz et Grimes: Si on obtient 2 résultats sig. À p.0.04 et que ces deux résultas sont corrélés, le fait que les deux résultats vont dans le même sens semble supporter l’idée qu’il ya un effet réel MAIS si correction Bonferonni = les résultats ne seront plus significatifs après la correction…
V/F La décision d’utiliser ou non une stratégie de contrôle du taux d’erreur est fondamentalement philosophique.
VRAI, il est impossible de prouver qu’une manière est meilleure que l’autre (à moins que le chercheur décide de ex. Minimiser erreur type 1)
V/F Faire des tests multiples pour voir si la randomisation a bien fonctionné au début d’une étude randomisée est très utile si la randomisation a bien été faite.
FAUX: n’est PAS utilise (H0 et H1 pareils)
On choisit un nb limité de variables d’intérêt pour une étude et ces variables sont corrélées et déterminées d’avance. Devrait-on avoir recours à une stratégie de contrôle du taux d’erreur?
Non, à éviter
On fait des tests multiples à postériori (non-planifiés). Devrait-on avoir recours àune stratégie du contrôle du taux d’erreur?
Oui, on devrait rapporter les p originaux et corrigés ET les découvertes devraient être vues comme provisoire et utiles pour GÉNÉRER des hypothèses (et non pour les tester)
Quelle technique du taux de contrôle de fausse découverte semble préférable?
Bonferonni
