Tema 3 - Validez de las conclusiones en la investigación.

Question 1

¿ Qué es el análisis de la validez de las conclusiones de una investigación?

Answer 1

Un juicio sobre el grado de seguridad con el que una inferencia se puede considerar cierta por estar basada en evidencias relevantes.

Question 2

¿ Qué son las amenazas a la validez de la investigación?

Answer 2

Problemas que pueden poner en cuestión la veracidad de sus conclusiones.

Question 3

¿ Que doble función tiene el análisis conceptual de la validez y de sus posibles amenazas?

Answer 3

1. Ayudar al investigador a resolver problemas que pueden limitar la validez de sus conclusiones = el investigador puede anticipar las amenazas y manejar las condiciones del estudio para evitarlas
2. Desarrollar nuestra capacidad crítica, tanto para extraer conclusiones correctas, como para valorar la adecuación y el alcance de las conclusiones de los informes que leamos

Question 4

¿Cuáles son los 4 componentes de la validez a partir de la sistematización original de Cook y Campbell organizados en un orden próximo a los procesos de decisión del investigador en un estudio?

Answer 4

• Validez de Constructo
• Validez interna
• Validez de conclusión estadística
• Validez externa

Question 5

¿Sobre el grado de seguridad de QUÉ elementos se plantea el análisis de la validez de una investigación y cómo se relaciona cada uno con los cuatro componentes de la validez?

Answer 5

• La relación entre las variables estudiadas = validez de conclusión estadística
• La naturaleza causal de dicha relación = validez interna
• Su utilidad para el conocimiento sobre los constructos teóricos = validez de constructo
• Sus posibilidades de generalización a otras poblaciones o situaciones = validez externa

Question 6

Validez de Constructo.

Definición

Answer 6

Relacionada con la adecuada delimitación conceptual de los constructos y con su operacionalización.
La validez de constructo se basa en el grado de correspondencia entre las variables observadas y el constructo teórico que se quiere medir.

Question 7

¿ De qué depende la adecuada delimitación conceptual de un constructo?

Answer 7

• Del acierto del investigador en su análisis y sus decisiones
• Del grado de avance de la propia teoría
• De la acumulación de evidencias científicas sobre el concepto hasta el momento

Question 8

Pilares básicos de la validez de constructo

Answer 8

• una buena comprensión y explicación de los constructos implicados.
• la adecuación de su forma de evaluación.

Question 9

Amenazas a la validez de constructo

3 amenazas

Answer 9

1. Inadecuada comprensión y definición de los constructos
2. Inadecuación de su evaluación
3. Reactividad

Question 10

En qué consiste la “inadecuada comprensión y definición de los constructos”

Answer 10

No se ha entendido bien el significado del constructo y se confunde con otro, o
Se dejan de medir aspectos (dimensiones) relevantes o se miden aspectos (dimensiones) que son irrelevantes.

Question 11

En qué consiste la “inadecuación de su evaluación”

Answer 11

Incorrecta elección de las variables observables que se van a emplear como indicadores de la presencia del constructo.

Question 12

En qué consiste la “reactividad de los participantes”

Answer 12

• El mero hecho de saberse observado puede hacer que el participante se comporte de forma poco natural.
• Pueden producirse efectos como la adivinación de hipótesis.
• Los participantes pueden ocultar sus verdaderas ideas o inhibir su comportamiento espontáneo para tratar de ajustarse a lo que consideran que sería socialmente más adecuado = comportamiento denominado deseabilidad social.

Question 13

Medidas para evitar la reactividad

Answer 13

• Planificar todas las formas de contacto con el participante.
• Minimizar las interacciones entre investigador y participante
• evitar evaluaciones pretratamiento (pre test) innecesarias que puedan dar pistas a los participantes
• Utilizar grupo de control con placebo (si es posible)
• Utilizar los procedimientos ciego o doble ciego.

Question 13

Medidas para evitar la reactividad

Answer 13

• Planificar todas las formas de contacto con el participante.
• Minimizar las interacciones entre investigador y participante
• evitar evaluaciones pretratamiento (pre test) innecesarias que puedan dar pistas a los participantes
• Utilizar grupo de control con placebo (si es posible)
• Utilizar los procedimientos ciego o doble ciego.

Question 14

Valoración de la validez interna

Answer 14

Ligada a la idea de causalidad.
Se basa en el grado de seguridad que proporciona el estudio para poder concluir que la relación detectada entre las variables refleja una relación de causalidad

Question 15

¿Qué método es el que más garantías ofrece para poner a prueba hipótesis causales?

Answer 15

El método experimental

Question 16

¿En qué tipo de métodos tiene la validez interna verdadero sentido?

Answer 16

En los experimentos y cuasiexperimentos

Question 17

Amenazas a la validez interna

8 amenazas

Answer 17

1. Ambigüedad de la contingencia antecedente-consecuente
2. Selección diferencial de grupos
3. Pérdida de participantes
4. Fenómeno de regresión a la media
5. Instrumentación
6. Historia
7. Maduración
8. Repetición de pruebas

Question 18

Ambigüedad de la contingencia antecedente-consecuente

Explicación y ejemplo

Answer 18

No se sabe con certeza cuál es la secuencia temporal entre VI y VD
Un ejemplo ilustrativo de esta dificultad podría ser el estudio de la relación entre la autoestima y el rendimiento académico

Question 19

Selección diferencial de grupos

Answer 19

Ausencia de equivalencia inicial entre los grupos experimentales = existen diferencias sistemáticas, antes de la aplicación del tratamiento (VI) que **podrían explicar las diferencias posteriores **encontradas y confundirse con el efecto del tratamiento.

Question 20

Pérdida de participantes

Answer 20

El riesgo que plantea la pérdida de participantes no está en el simple hecho de que disminuya la muestra, si no que está perdida afecte de manera selectiva a algunas de las condiciones experimentales.
Si esta perdida no es aleatoria y afecta de forma diferente a los distintos grupos, la equivalencia inicial que habíamos logrado puede resultar dañada y las diferencias en la VD ya no podrán ser atribuidas con seguridad a la influencia de la VI.

Question 21

Fenómeno de regresión a la media

Answer 21

En el caso de individuos seleccionados por presentar valores extremos, es muy probable que en siguientes evaluaciones se acerquen más a la media y que este cambio a valores más centrales (menos extremos) se pueda confundir con el efecto del tratamiento.

Question 22

¿ Cómo se puede evitar la amenaza capaz del fenómeno de regresión a la media?

Answer 22

Conviene asegurarse de que los participantes son realmente sujetos extremos - por ejemplo, tomando varias medidas previas de la variable que actúa como criterio de selección.

Question 23

Instrumentación

Answer 23

Fallos en la precisión de las medidas, sea por mala calidad métrica de los instrumentos o por fallos en el procedimiento de aplicación,

Question 24

¿Qué tipo de problema surgirá si los fallos de medidas afectan a todos los participantes o se producen de forma aleatoria?

Answer 24

Serán una fuente de error aleatorio que dificultará la posibilidad de obtener resultados seguros sobre la existencia o no de covariación entre las variables. Esto lo identificaremos como errores de medida y afectarían a la validez de conclusión estadística del estudio.

Question 25

¿Qué tipo de problema surgirá si los fallos de medidas afectan de forma diferente a las distintas condiciones experimentales del estudio?

Answer 25

Su efecto se confundirá con los efectos del tratamiento y puede llevar a extraer conclusiones erróneas sobre la relación entre la VI y la VD.

Question 26

¿ Cómo se puede evitar la instrumentación?

Answer 26

Es perfectamente evitable si aseguramos que la medición de la VD se realiza de forma sistemática y precisa en todos los momentos de la investigación y para todos los participantes

Question 27

Efecto historia

Answer 27

Se refiere al hecho de que ciertos eventos que ocurren a la vez que el tratamiento, y que pueden influir en la variable dependiente, se convierten en variables extrañas cuyo efecto puede contaminar los datos = pueden confundirse con el efecto de la VI sobre la VD.

Question 28

Efecto Historia Local

Answer 28

(o selección por historia)
Especialmente dañino para la validez interna.
= acontecimientos externos que pueden influir sobre la VD de forma diferencial en los distintos grupos experimentales.

Question 29

¿ En qué tipo de experimento merece especial atención el efecto historia?

Answer 29

Estudios de carácter cuasiexperimental

Question 30

Maduración

Answer 30

Cambios en la VD debidos exclusivamente a la **evolución vital **de los participantes.
Obviamente, la amenaza por maduración es mayor en estudios de larga duración o en aquellos estudios que incluyen participantes en momentos vitales de grandes cambios (p.e. adolescentes)

Question 31

¿Cómo se puede controlar de manera efectiva la amenaza de maduración?

Answer 31

Con la inclusión de grupos de control en el estudio = si se producen cambios naturales por maduración, esto se manifestarán también en el grupo de control.

Question 32

Repetición de pruebas

Answer 32

Si aplicamos** varias veces una misma prueba**, se produce un **efecto de aprendizaje **por el que es más fácil hacerlo mejor en las sucesivas aplicaciones, y este efecto podría confundirse con el efecto del tratamiento.

Question 33

¿Qué significa que el impacto de estas amenazas puede ser aditivo?

Answer 33

Que el efecto derivado del impacto de dos o mas amenazas puede producir un efecto distinto de la simple suma.

Question 34

¿Qué significa que el impacto de estas amenazas puede ser de interacción?

Answer 34

Que su efecto de confusión con la VI puede variar según su combinación.

Question 35

Validez de conclusión estadística

Answer 35

Se refiere a la seguridad de las inferencias (conclusiones) estadísticas sobre la relación entre las variables. Es decir, sobre si las variables del estudio covarían y sobre la fuerza de covariación.

Question 36

¿Dé que vas a depender la seguridad de los resultados a través del análisis estadístico de los datos?

Answer 36

De la calidad de las medidas que tengamos
De la adecuación y potencia de las técnicas estadísticas utilizadas.

Question 37

¿Qué dos tipos de error se pueden dar relacionados con la validez de conclusión estadística?

Answer 37

Error de tipo I
Error de tipo II

Question 38

Error de tipo I

Answer 38

Afirmar que las variables covarían cuando en realidad NO lo hacen

Question 39

Error de tipo II

Answer 39

Afirmar que las variables no covarían cuando, en realidad, sí lo hacen.

Question 40

Amenazas a la validez de conclusión estadística

4 amenazas

Answer 40

1. Errores de medida
2. Restricción del rango de variabilidad
3. Inadecuación de las pruebas estadísticas
4. Baja potencia estadística

4 amenazas

Question 41

Errores de medida

Answer 41

Fallos en la precisión de las medidas bien por su falta de fiabilidad o por errores en la aplicación.
Aunque estos errores se repartan de forma aleatoria y no afecten de forma diferente a unas u otras condiciones, introducirán ruido en los datos, que dificultará la obtención de resultados significativos.

Question 42

Restricción del rango de variabilidad

Answer 42

Si no hay variabilidad en la VD es difícil extraer conclusiones estadísticas válidas.
Si no hay varianza no hay nada que explicar = efecto suelo y efecto techo

Question 43

¿Que es el efecto techo?

Answer 43

Cuando todos los participantes puntúan en torno a los valores máximos.

Question 44

¿Que es el efecto suelo?

Ejemplo

Answer 44

Cuando todos los participantes del estudio presentan en sus puntuaciones los valores más bajos de la variable dependiente o muy cercanos a ellos.

Por ejemplo, difícilmente podremos obtener resultados estadísticos que demuestran la relación entre el número de horas de estudio (VI) y el rendimiento académico en una asignatura (VD) si el examen resulta tan difícil que todos los estudiantes sacan notas entre 0 y 2 = efecto suelo.

Question 45

Inadecuación de las pruebas estadísticas

Answer 45

Las herramientas estadísticas aplicadas deben ser las adecuadas a la naturaleza de los datos obtenidos, es decir, coherentes con los objetivos del estudio, el diseño del procedimiento y la escala de medida de las variables implicadas.
Ejemplo - en una estrategia intergrupo, habrá que recurrir a pruebas para medidas independientes, mientras que en una intra grupo, las pruebas para medidas repetidas o relacionadas son las más adecuadas

Question 46

Baja potencia estadística

Answer 46

La potencia estadística es la probabilidad de rechazar una hipótesis nula que es falsa o, en términos de la investigación, que ésta sea capaz de detectar una relación que sí existe.
Si la potencia es baja, podríamos erróneamente decir que no existe relación entre las variables cuando sí la hay.

Question 47

¿ De qué factores depende la potencia estadística?

Answer 47

• del tamaño de la muestra
• de la variabilidad de las medidas
• de la elección de la prueba adecuada
• del tamaño del efecto y el nivel de significación estadística asumida de las pruebas

Question 48

Validez externa

A qué pregunta responde

Answer 48

¿En qué medida se puede generalizar a otras situaciones, individuos o ámbitos la relación detectada entre las variables?
Un estudio tendrá más validez externa en la medida en que la muestra de participantes represente adecuadamente a la población y la situación planteada sea también una buena representación de las situaciones reales en las que se produce el fenómeno de estudio.

Question 49

Amenazas a la validez externa

2 amenazas

Answer 49

1. Interacción del tratamiento con la composición de la muestra
2. Interacción del tratamiento con la situación de estudio

Question 50

Interacción del tratamiento con la composición de la muestra

Answer 50

= interacción de selección por tratamiento.
Se considera que las conclusiones de una investigación tienen baja validez externa poblacional cuando falla la representatividad de la muestra respecto a la población y, especialmente, cuando dichas conclusiones reflejan una realidad particular propia de la muestra pero no necesariamente previsible si hubiéramos utilizado una muestra diferente.

Question 51

¿Qué problema podemos encontrar relacionado con la validez externa cuando la muestra está formada por voluntarios?.

Answer 51

Presentarse como voluntario a una investigación puede suponer no solo una disposición positiva, sino también un alto grado de motivación en el momento de realizar las pruebas.

Question 52

Interacción del tratamiento con la situación de estudio

Answer 52

La artificialidad derivada de las situaciones de laboratorio puede ayudar a generar datos seguros en cuanto a la relación entre las variables, pero singulares de esa situación, limitados a ese contexto en el que se han medido y con difícil generalización a los contextos reales.

Question 53

Relación entre validez y método

Answer 53

La validez no es una cuestión de todo o nada, sino más bien cuestión de grado.
Se puede puntuar alto en varias de las cuatro dimensiones de validez analizadas, pero es muy difícil puntuar alto en todas ellas, porque existen trade-offs. Los diferentes métodos presentan, por su propia naturaleza, buenas valoraciones en algunos tipos de validez pero no tan buenos en otras.

Question 54

Los diseños experimentales, por sus características ¿cómo puntuan en los distintos tipos de validez?

Answer 54

Buena validez interna pero baja validez externa ecológica.

Question 55

Los diseños cuasiexperimentales, por sus características ¿cómo puntuan en los distintos tipos de validez?

Answer 55

Pierden algo de validez interna en favor de incrementar la validez externa ecológica.

Question 56

Los diseños de encuesta, por sus características ¿cómo puntuan en los distintos tipos de validez?

Answer 56

Baja validez interna pero muy buena validez externa poblacional.