Educación Basada en Evidencia y Medición

Question 1

¿Qué 3 condiciones deben darse para que las reformas basadas en la evidencia prevalezcan?

Answer 1

1. Muchos programas con pruebas sólidas.
2. Revisiones fiables y fáciles de usar de la investigación
3. Más políticas educativas que incentiven el uso de programas probados.

Question 2

¿Cuáles son los tipos de evidencia de eficacia/efectividad? (3 niveles)

Answer 2

1. Evidencia fuerte: Evidencia de al menos un estudio experimental bien diseñado y bien implementado.
2. Evidencia moderada: Evidencia de al menos un estudio cuasi-experimental bien diseñado y bien implementado.
3. Evidencia prometedora: Evidencia de al menos un estudio correlacional bien diseñado y bien implementado con controles para el sesgo de selección.

Question 3

¿Qué es un estudio experimental?

Answer 3

Es un estudio que se caracteriza por la manipulación de la variable independiente. El investigador “mete mano”, modifica algo dentro de lo que está observando.

Question 4

¿Qué es un estudio correlacional?

Answer 4

Es el que mide cómo se relacionan 2 variables entre sí. No se interviene, sólo se observa y se mide.

Question 5

¿Qué es un estudio cuasi-experimental?

Answer 5

Es un tipo de estudio donde se tiene un grupo de control y un grupo experimental. Es un estudio donde se manipula la variable, pero NO se hace asignación aleatoria.

Question 6

¿Cómo se sabe que un estudio es “experimental verdadero”?

Answer 6

Se utiliza la asignación aleatoria del grupo de control y existe otro grupo experimental.

Question 7

¿A qué corresponde la siguiente descripción?: “Ocurre cuando un mecanismo, por la forma en que la gente termina en un grupo o en otro, hace que los grupos sean distintos en algo que es relevante para nosotros para evaluar. No se sabe en qué se produjo la diferencia.”

Answer 7

Sesgo de Selección

Question 8

¿Cuál es la única manera para que no ocurra un sesgo de selección?

Answer 8

La única manera en que no ocurra sesgo de selección, es que la selección se realice de manera aleatoria.
- Ej. Lotería

Question 9

¿Cuál es el problema con el manejo del sesgo de selección?

Answer 9

No se pueden controlar variables que no se te ocurren que pueden estar influyendo, a las que no se les está prestando atención.

Question 10

¿Cómo se puede manejar el sesgo de selección? (2)

Answer 10

• Se pueden realizar placebos: consienten participar del experimento, se les debe decir que puede que les pueda tocar una intervención o control.
• Se puede controlar estadísticamente las variables

Question 11

¿Cuáles son los estándares para pruebas educativas y psicológicas (3)?

Answer 11

• AERA: American Educational Research Association
• APA: American Psychological Association (APA)
• NCME: National Council on Measurement in Education

Question 12

¿A qué corresponde la siguiente descripción?: “Es la validación de una prueba para un contexto específico.”

Answer 12

Estandarización

Question 13

¿A qué corresponde la siguiente descripción?: “Es el foco de la evaluación de validez; se puede medir a través de la evaluación de evidencia que respalde cada interpretación.”

Answer 13

Interpretación de Puntajes

Question 14

En relación con el concepto de validez, se señala que una prueba es o no valida cuando se aplica (V o F)

Answer 14

Falso - No se dice que la prueba es válida, sino que el foco de la evaluación de validez es la interpretación de cada resultado
- “validez de la interpretación de la prueba” o del “uso de la prueba”

Question 15

¿A qué corresponde la siguiente descripción?: “Es cuando examinandos con iguales capacidades difieren en sus probabilidades de responder a un ítem de la prueba correctamente como una función de pertenencia a un grupo”

Answer 15

Funcionamiento diferencial de los ítems

Question 16

¿Cuáles son los 4 estándares de calidad que deben estar presentes para poder diseñar una evaluación de calidad? (Stufflebeam, 2000)

Answer 16

1. Utilidad: garantizar que una evaluación sirva a las necesidades de información de los usuarios previstos.
2. Viabilidad: Garantizar que una evaluación sea realista, prudente, diplomática y fructífera. Viable de realizar en el tiempo y con los recursos disponibles
   - En general se recomienda que la evaluación debiera ocupar del 5% al 10% del presupuesto del programa.
3. Con propiedad: Asegurar que una evaluación se llevará a cabo legalmente, éticamente y con el debido respeto por el bienestar de aquellos involucrados en la evaluación, así como de aquellos afectados por sus resultados.
4. Precisión: Garantizar que una evaluación revele y transmita información técnicamente adecuada sobre las características que determinan el mérito del programa que se evalúa.
   - Debe estar bien hecha, con procedimientos adecuados, de modo de proveer información válida y confiable.

Question 17

¿Cuáles son los principios (5) para los evaluadores? (AEA, 2004)

Answer 17

1. Investigación sistemática: los evaluadores realizan investigaciones sistemáticas basadas en datos sobre lo que se está evaluando.
2. Competencia: los evaluadores brindan un desempeño competente a las partes interesadas (saber que cosas no soy tan bueno y tengo que aprender y poder decirlo, invitar un colega, o decir que necesita más tiempo para estudiarlo).
3. Integridad/honestidad: los evaluadores garantizan la honestidad e integridad de todo el proceso de evaluación.
4. Respeto por las personas: los evaluadores respetan la seguridad, la dignidad y la autoestima de los encuestados, los participantes del programa, los clientes y otras partes interesadas con las que interactúan.
   - Confidencialidad de los datos.
5. Responsabilidad por el bienestar general y público: los evaluadores articulan y toman en cuenta la diversidad de intereses y valores que pueden estar relacionados con el bienestar general y público.

Question 18

¿Cuáles son algunas de las sugerencias comunes que se les hacen a los evaluadores? (13) Debe decir al menos 5

Answer 18

1. Evitar ser utilizado como el “experto” que viene a confirmar que ellos tienen la razón.
2. Recordar que al obtener más información, el evaluador pasa a ser alguien con poder, y las relaciones con los demás irán cambiando.
3. Mantener la independencia de las autoridades, pues al ser quienes “abren la puerta a las instancias de la comunidad”, ponen sus reglas.
4. Diseñar los momentos y modos en que se dará a conocer la información, para evitar que algunos la soliciten permanentemente.
5. No dañar la espontaneidad y confianza inicial de los actores, al registrar permanentemente la información.
6. No caer en creer solo una parte de la información ya que puede estar sesgada.
7. Reunirse frecuentemente con el equipo de evaluación para contrastar miradas.
8. Disculparse por los errores cometidos, mantiene la confianza y buenas relaciones.
9. Mantener SIEMPRE la confidencialidad.
10. Evitar ser un estorbo para el funcionamiento cotidiano de la comunidad o institución.
11. Utilizar tiempo adecuado, de modo que permita recolectar datos, pero sin hacer que la comunidad pierda el interés en lo que motivó la evaluación. La entrega del informe no puede tardar excesivamente.
12. Ser transparente en lo que se está haciendo.
13. Trabajar con actitud humana, cálida, cordial y discreta, además de técnica.

Question 19

¿Cuáles pueden ser los propósitos para llevar a cabo una evaluación? (5)

Answer 19

1. Mejoramiento del programa (formativo)
2. Decisiones de continuación o terminación de programas (sumativo)
3. Rendición de cuentas (responsabilización)
4. Generación de conocimiento (investigación aplicada)
5. EVALUACIÓN SIMBÓLICA o PSEUDOEVALUACIÓN: Mostrar que se hace evaluación, sin la intención de usarla o hacerlo para legitimar una decisión ya tomada (sólo se una la evaluación si se confirma la decisión).