Attrition Flashcards
¿Qué es el attrition? ¿Por qué puede ser una amenaza? ¿Cómo puedo intentar justificar que no es una amenaza?
Es un problema que ocurre cuando perdés individuos de tu muestra durante el experimento. Es un porcentaje: si tenías 100 individuos y terminaste con 90, tu attrition es del 10%.
Puede ser una amenaza porque puede introducir sesgo de selección, lo que elimina todas las características deseables de una selección aleatoria pre-tratamiento que validan la causalidad. Como los individuos son los que deciden si seguir participando o no del experimento, esa elección puede interferir con el proceso experimental e invalidarlo por la introducción de selection bias. Sin embargo, si el attrition es random, no resulta ser un problema más que por la pérdida de power en la inferencia.
Entonces, si el experimento sufre attrition (que siempre ocurre), lo que queda es intentar demostrar que es random para justificar que no tenés un problema de consistencia, sino solo de poder estadístico.
Para intentar mostrar que “looks random”, lo que se hace es verificar 2 cosas:
→ La cantidad de attritors para el grupo control y el tratamiento son iguales.
→ Las características observables pre-tratamiento del grupo attritor con respecto a los no attritors deberían estar balanceadas. De las no observables nunca estás seguro, solo podés suponer a partir de las observables.
Si se pueden probar estas dos características estamos descartando condiciones necesarias pero no son suficientes para afirmar que no tenemos sesgo por el attrition.
¿Qué pasa si el attrition es random y qué pasa cuando no parece aleatorio?
Al demostrar que el attrition es random, estás solamente con un second order problem (eficiencia) porque perdés statistical power; pero safás de tener un first order problem de sesgo.
Si el attrition no es random, invalida completamente el experimento porque lo sesga. Chequear las condiciones para que el attrition sea random es lo primero a hacer antes de avanzar con el experimento (sabiendo, igualmente, que nunca estás seguro de que sea random realmente).
Si el attrition no es random, tenés dos caminos. Por un lado, dejar de lado el experimento. Por el otro, podés seguir adelante pero planteando supuestos (lógica del matching), cosa que no es favorable para tu trabajo.
