Lectura complementaria 1: Prácticas cuestionables de investigación Flashcards
Las prácticas de investigación cuestionables (QRP) en el
análisis estadístico de datos y en la presentación de los
resultados en artículos de investigación incluyen:
- HARKINGGG
- Cherry-Picking
- P-HAKING
- Fishing y minería de datos
Dime la definición de HARKing, P-hacking, cherry-picking, fishing expedition
Y SUS CARACTERÍSTICAS
- HARKing (Hypothesizing After the Results are
Known) es la presentación de una hipótesis post hoc como una hipótesis a priori.
- “Hacer hipótesis después de conocer los resultados”
- No está mal pero, Lo importante, por lo tanto, es que cuando
se formulan hipótesis después de haber examinado los resultados, se
debe reconocer que el análisis fue exploratorio o generador de hipótesis,
y que la hipótesis post hoc debe ser confirmada en investigaciones
futuras. - Cherrypicking es la presentación de
pruebas favorables con el ocultamiento de pruebas
desfavorables. - P-Hacking es el análisis incesante de datos con la
intención de obtener un resultado estadísticamente
significativo, generalmente para respaldar la hipótesis del
investigador - Una expedición de pesca es la prueba
indiscriminada de asociaciones entre diferentes
combinaciones de variables, no con hipótesis específicas en
mente, sino con la esperanza de encontrar algo que sea
estadísticamente significativo en los datos - Data dredging o dragado y la data mining o minería de datos describen la prueba exhaustiva de las
relaciones entre una gran cantidad de variables para las
cuales hay datos disponibles, generalmente en una base de
datos
¿Cuá es el problema del HARKing?
¿Dame un ejemplo?
¿Porqué estaría mal el HARking?
- Si analizamos datos sin hipótesis
preestablecidas ydespuésencuentra algo inusual o inesperado, ese hallazgo podría
ser un hallazgo casual. - Ejemplo:
- Comparamos pacientes que
respondieron y no respondieron al tratamiento antidepresivo. Descubrimos que los
que respondieron y los que no respondieron no difieren en edad, sexo, educación,
nivel socioeconómico, gravedad inicial de la depresión, presencia de melancolía y
un conjunto de otras variables. Sin embargo, encontramos que el valor de una
variable, el índice de masa corporal (IMC), es mayor en los que no responden.
Ahora nos sentamos y elaboramos una explicación elaborada de cómo la
microbiota intestinal, la inflamación, la señalización de la insulina y otros
mecanismos relacionados con el sobrepeso y la obesidad pueden influir en el
funcionamiento neuronal y reducir la probabilidad de respuesta al tratamiento
antidepresivo. Todo en nuestro artículo que informa los hallazgos, desde el título y
la introducción hasta la discusión y la conclusión, se centra en esta hipótesis que se
construyó después de que se conocieran los resultados. - Porque si nosotros comparamos un muchas variables entre grupos, almenos una o más variables van a salir estadísticamente signfiicativas.
- Esto sería un falso positivo o Error tipo 1
- El mayor peligro de HARKing es que puede provocar que
los errores de tipo I ganen una presencia duradera en la
literatura científica convencional
es que este último reconocerá que
los análisis fueron exploratorios y que la hipótesis post hoc,
presentada brevemente en la discusión, requiere un examen
formal en futuras investigaciones
La diferencia entre HARKing
y el informe responsable
Dame el ejemplo de cherrypicking
Por ejemplo, un investigador puede
descubrir que, en un ensayo de antidepresivos, el fármaco del estudio
fue superior al placebo en una escala de calificación de depresión,
pero no en otra, y en cuanto a mejora global, pero no mejora en la
calidad de vida. El investigador selecciona sólo los resultados
significativos para el artículo que presenta los hallazgos; los resultados
no significativos se omiten como si esos resultados no se hubieran
estudiado. O, al discutir los hallazgos de su estudio, los autores
pueden seleccionar para su consideración investigaciones que
favorezcan su punto de vista y pueden criticar o incluso dejar de citar
estudios que no respaldan sus argumentos. Cherrypicking es un QRP
porque se engaña al lector haciéndole ver una imagen que es más
favorable de lo que realmente es.
¿Qué es el p-hacking?
El p-hacking es el que un investigador analiza
persistentemente los datos, de diferentes maneras, hasta que se
obtiene un resultado estadísticamente significativo; el propósito
no es probar una hipótesis sino obtener un resultado significativo.
¿Qué es fishing expedition?
Se utiliza para describir lo que
hacen los investigadores cuando examinan indiscriminadamente
asociaciones entre diferentes combinaciones de variables, no con
la intención de probar hipótesis a priori sino con la esperanza de
encontrar algo que sea estadísticamente significativo en los datos.
Por ejemplo, un investigador puede probar todas las variables
sociodemográficas, clínicas, radiológicas y bioquímicas posibles
con todas las variables de resultado disponibles para identificar
posibles predictores de la respuesta antidepresiva. Es muy obvio
que, debido al gran número de pruebas estadísticas involucradas,
tal ejercicio estaría asociado con un alto riesgo de resultados falsos
positivos. Las expediciones de pesca podrán ser seguidas por
HARKing.
Podrían ser seguidas por HARKing
Fishing expedition
son expediciones de pesca que
se llevan al extremo
Mining data o data dredging
¿Cuál es la diferencia entre p-hacking y data dredging?
La diferencia entrePAG-Hacking y
dragado de datos es que mientrasPAG-El hackeo generalmente se
refiere a extraer significancia estadística de datos relacionados con
una o más hipótesis de interés, el dragado de datos es la búsqueda
exhaustiva de relaciones significativas en un conjunto de datos sin
tener necesariamente hipótesis específicas en mente.
la
probabilidad de resultados falsos positivos es muy alta debido al
gran número de pruebas estadísticas realizadas
Al igual que
con las expediciones de pesca, con el dragado de datos
es lo más parecido a
hacer trampa deliberada porque los investigadores están forzando
los datos a llegar a una conclusión que ya han extraído
P-hacking
