Diseño y Evaluación Flashcards

1
Q

La evaluación es permanente a lo largo del ciclo de intervención. (V o F)

A

Verdadero

How well did you know this?
1
Not at all
2
3
4
5
Perfectly
2
Q

¿Cuáles son los 3 niveles de Intervención Educacional?

A
  1. Políticas: Estrategias de solución para abordar problemáticas sociales a nivel macro.
  2. Programas: es una transformación intencional de recursos específicos (insumos) en ciertas actividades (procesos) para producir resultados deseados dentro de un contexto específico. Está compuesta de actividades evaluables, sobre contenidos seleccionados y presentados sobre un soporte material.
  3. Proyectos: unidad menor respecto de complejidad y cantidad de componentes, con una duración limitada, que atiende una demanda o una necesidad social puntual, y pueden ser componentes de un programa más amplio.
How well did you know this?
1
Not at all
2
3
4
5
Perfectly
3
Q

¿A qué corresponde esta definición?: “Es el proceso de análisis, medición e interpretación que ayuda a identificar situaciones problemas, los factores causales implicados, la población objetivo y su contexto. Para ello, requiere conocer la realidad en forma exhaustiva, de manera que sea el punto de partida para planificar la intervención.”

A

Etapa de Diagnóstico

How well did you know this?
1
Not at all
2
3
4
5
Perfectly
4
Q

¿Cuáles son las 3 cosas que se deben considerar en un diagnóstico?

A

Problema, contexto y necesidades

How well did you know this?
1
Not at all
2
3
4
5
Perfectly
5
Q

¿Cuáles son las 3 funciones de un diagnóstico?

A
  1. Descriptiva: caracterizar la situación que se pretende modificar. Caracterizar el problema central y permite identificar alternativas de solución.
  2. Explicativa: Probables relaciones causales existentes entre las variables que determinan la situación actual. Permite generar un modelo causal explicativo. → árbol de los problemas.
  3. Predictivo: Se trata de pronosticar la situación sin la intervención, de acuerdo a la dinámica de los hechos que se han observado en el pasado y que se observan ahora → Esa predictibilidad nos ayuda a definir muchas veces cuál es el problema que se tiene que atacar primero. Y ayuda a justificar la importancia de efectuar la intervención.
How well did you know this?
1
Not at all
2
3
4
5
Perfectly
6
Q

Dentro de la función predictiva de los diagnósticos se utiliza el término contrafáctico o contrafactual ¿A qué se refiere este concepto?

A

Se denomina contrafactural o contrafáctico a todo acontecimiento o a toda situación que no ha sucedido en el universo actualmente observable, pero que podrían haber sucedido.

How well did you know this?
1
Not at all
2
3
4
5
Perfectly
7
Q

¿A qué corresponde esta definición?: “Todos los individuos o grupos indispensables para llevar a cabo la tarea de evaluación. Pueden ser: Beneficiarios o clientes; Los implementadores (los que llevan a cabo el plan o política); Planificadores (evaluadores); El príncipe (quien contrata a los planeadores). Newcomer (2015)

A

Stakeholder

How well did you know this?
1
Not at all
2
3
4
5
Perfectly
8
Q

¿Bajo qué criterios se ordenan o se eligen los Actores Claves en una problemática y/o evaluación?

A
  1. Interés específico de cada actor en cambiar el problema. → Nuestro trabajo es explicitar ese interés.
  2. Importancia: Valor de cada actor para enfrentar el problema. Hay gente que necesitamos y otros que no tanto para cambiar el problema. → Lo esencial que es ese actor, para involucrarse en ese cambio que queremos.
  3. Poder: El poder que cada actor tiene para enfrentar el problema. Las personas con poder pero con poco interés → sería importante aumentar su interés. Tal vez pueden plantear barreras para la evaluación.
How well did you know this?
1
Not at all
2
3
4
5
Perfectly
9
Q

Respecto a los Actores Clave ¿Por qué es importante incorporarlos en el proceso de diseño y evaluación de programas e intervenciones educativas? (2)

A

Ética: Investigación sistemática, la presentación de un rendimiento competente a las partes interesadas, la integridad y la honestidad, el respeto a las personas y la responsabilidad por bienestar general y público.

Eficiencia:La atención y la participación de las principales partes interesadas mejoran el diseño y la ejecución de las evaluaciones y el uso de los resultados de la evaluación e la toma de decisiones.

How well did you know this?
1
Not at all
2
3
4
5
Perfectly
10
Q

¿A qué responde la intervención?

A

Realizar una intervención responde al reconocimiento de un problema y de necesidades.
- Existencia de una brecha.

How well did you know this?
1
Not at all
2
3
4
5
Perfectly
11
Q

El análisis de los problemas y de las necesidades requieren de una evaluación inicial de necesidades (V o F)

A

Verdadero - Se requiere comprensión, conocimiento y negociación.

How well did you know this?
1
Not at all
2
3
4
5
Perfectly
12
Q

¿Qué determina que algo sea un problema?

A

Un problema implica una discrepancia entre lo normativo (deber ser) y lo que realmente está sucediendo (es).
- Debemos ser capaces de operacionalizar: analizar recursos, capacidades, personas aliadas y posibilidades de solución

How well did you know this?
1
Not at all
2
3
4
5
Perfectly
13
Q

¿En que consiste la definición de un problema?

A

Usualmente el problema que plantean las personas no es tan claro ni consensuado. Por ello, definir bien el problema, toma tiempo y mucho trabajo.

How well did you know this?
1
Not at all
2
3
4
5
Perfectly
14
Q

¿Cómo se puede definir un buen problema?

A

Árbol de Problemas. Sirve para:
- Identificar los principales problemas de la situación a analizar
- Identificar, selecciona y formula el problema central.
- Identificar y anotar todas las causas de ese problema central
- Identificar y anotar todos los efectos de ese problema central.
- Elaborar un esquema que muestre esas relaciones de causa y efecto en forma de un árbol de problemas.

How well did you know this?
1
Not at all
2
3
4
5
Perfectly
15
Q

El problema identificado debe ser una afirmación (V o F)

A

Verdadero - ¡El problema No es la ausencia de una solución!

How well did you know this?
1
Not at all
2
3
4
5
Perfectly
16
Q

Un problema está bien planteado si es que…(5)

A
  1. Es un PROBLEMA REAL; existentes, no potencial, posible o futuro.
  2. Está basado en la evidencia, se caracteriza el problema a partir de sus efectos visibles.
  3. Se identifica UN PROBLEMA. Hay un foco específico, posible de ser atendido por un proyecto.
  4. El problema está formulado como un ESTADO NEGATIVO, falencia o carencia. (NO es la falta de solución).
    - Su formulación debe permitir una amplia gama de posibilidades de solución.
  5. La REDACCIÓN ES CONCISA, no incluye información accesoria. Definir límites de la situación.
How well did you know this?
1
Not at all
2
3
4
5
Perfectly
17
Q

¿Qué es una necesidad?

A

Es el resultado de la existencia de un déficit + la motivación para cubrir ese déficit.

How well did you know this?
1
Not at all
2
3
4
5
Perfectly
18
Q

Las expectativas son lo mismo que las necesidades (V o F)

A

Falso - El análisis de las necesidades no es lo mismo que la recolección de las expectativas.

How well did you know this?
1
Not at all
2
3
4
5
Perfectly
19
Q

El problema planteado inicialmente es diferente al problema real (V o F)

A

Verdadero - Más allá de los requerimientos expresados por las personas, la definición de la necesidad es el fruto de una reflexión. La necesidad NO es lo que se siente inmediatamente sino el resultado de un análisis de la situación.

How well did you know this?
1
Not at all
2
3
4
5
Perfectly
20
Q

¿Qué es lo que permite la fundamentación?

A

Permite cuestionar prejuicios y trabajar sobre datos certeros para así definir las mejores estrategias para la intervención.

21
Q

¿Cuáles son los 4 tipos de necesidades y cómo se definen?

A
  1. Normativa: la necesidad se define como algo que está por debajo de un estándar o criterio establecido por costumbre, autoridad o consenso general.
  2. Percibida: necesidad definida en términos de lo que las personas piensan o sienten que son sus necesidades.
  3. Expresada: necesidad definida en términos del número de personas que realmente han buscado ayuda/servicio (lista de espera). Basada en la demanda.
  4. Relativa: la necesidad se mide por la brecha entre el nivel de servicios existentes en una comunidad y los existentes en comunidades similares.
22
Q

Con respecto al tipo de necesidad Normativa ¿cuáles son sus ventajas, su problema al utilizarse y la recolección de datos que utiliza?

A

Instrumentos de recolección de datos: estudios ya existentes; mapas de recursos.
Ventajas: objetividad; consenso fácil; expectativas motivantes; fácil monitoreo/medición.
Problemas: falta de contextualización; diferentes definiciones; no hay términos comunes; rigidez, expectativas muy altas.

23
Q

Con respecto al tipo de necesidad Percibida ¿cuáles son sus ventajas, su problema al utilizarse y la recolección de datos que utiliza?

A

Instrumentos de recolección de datos: encuestas; grupos focales.
Ventajas: el involucramiento de los actores genera compromiso para la solución.
Problemas: tiempo y recursos; representatividad; subjetividad; difícil consenso; difícil medición confiable.

24
Q

Con respecto al tipo de necesidad Expresada ¿cuáles son sus ventajas, su problema al utilizarse y la recolección de datos que utiliza?

A

Instrumentos de recolección de datos: estadísticas; datos administrativos.
Ventajas: fácil medición; más orientado hacia la solución.
Problemas: no hay información de las necesidades no atendidas; desgaste; no implica conocimiento de todas las opciones.

25
Q

Con respecto al tipo de necesidad Relativa ¿cuáles son sus ventajas, su problema al utilizarse y la recolección de datos que utiliza?

A

Instrumentos de recolección de datos: estudios, estadísticas.
Ventajas: comparación permite prestar soluciones; información respecto de lo alcanzable; competencia motivante.
Problemas: ¿Se puede comparar?; Competencia negativa.

26
Q

¿Cuáles son los niveles de necesidades? (Altschuld & Kumar, 2010)

A
  • Terciario: Recursos y estructuras necesarias para el funcionamiento secundario (salas).
  • Secundario: Se refiere a las necesidades de los que entregan los servicios (docentes)
  • Primario: Se refiere a las necesidades de los que reciben los servicios (alumnos).
27
Q

Se debe realizar siempre un proceso de priorización (V o F)

A

Falso - A veces no es necesario, dado que las prioridades parecen obvias, todos los grupos concuerdan, los métodos muestran datos consistentes y hay muy pocos recursos. Sin embargo, en otras ocasiones hay disenso y conflicto entre grupos y la priorización se tiene que objetivar/formalizar.
- Los procesos y criterios de priorización se tienen que transparentar.

28
Q

¿Cuáles son algunos criterios para priorizar? (9)

A
  • Importancia estratégica de abordar esa necesidad
  • Tamaño del grupo afectado
  • Riesgo que implica no resolverlo
  • Factibilidad de resolución: control sobre la causa
  • Factibilidad: recursos disponibles
  • Consenso de fuentes de datos (triangulación)
  • Compromiso de profesionales para resolverlo
  • Reacciones políticas al resolverlo o no resolverlo
  • Implicancias a largo o corto plazo.
29
Q

¿Cuáles son los 3 métodos de priorización?

A
  1. Discusión grupal del NAC (cualitativo, ventajas vs desventajas)
    - Propuestas de los consultores.
  2. Miembros del NAC evalúan cada una de las necesidades según los criterios previamente acordados usando si/no o escalas de Likert
    - Generan un promedio.
  3. Miembros del NAC tienen un puntaje total que pueden asignar a la totalidad de necesidades (se pueden usar colores para ver las discrepancias según grupo).
30
Q

¿Cuáles son las 3 etapas de la Evaluación de Necesidades?

A
  1. Pre-evaluación de necesidades: ACTORES + MÚLTIPLES FUENTES DE INFO + IDENTIFICAR NECESIDADES.
  2. Evaluación propiamente tal: SÍNTESIS + ANÁLISIS + CLASIFICAR NECESIDADES.
    - Es necesario apoyarse de información teórica y empírica para comprender el problema, confirmarlo y tomar decisiones sobre cómo abordarlo.
    - La fundamentación permite cuestionar prejuicios y trabajar sobre datos más certeros, y definir las mejores estrategias de intervención.
  3. Post-evaluación: PRIORIZACIÓN + TOMA DE DECISIÓN.
31
Q

Dentro de la Evaluación de Necesidades se encuentra la Post-Evaluación ¿Cuáles son los pasos que la componen? (4)

A

PASO 1. ¿Es necesaria una priorización?
PASO 2. Determinar los criterios para priorizar
PASO 3. Elegir un método para priorizar
PASO 4. Priorizar

32
Q

¿A qué corresponde esta definición?: “Es una herramienta de evaluación que facilita la planificación, implementación y evaluación efectiva de programas. Es una forma sistemática y visual de presentar y compartir la comprensión de las relaciones entre los recursos, las actividades, y los resultados que se espera obtener.”

A

Modelo Lógico

33
Q

¿Que es lo más importante al priorizar una necesidad?

A

Ser lo más SIMPLE posible, a menos que parezca que hacerlo podría no funcionar. La sofisticación podría ser necesaria solo para algunos criterios y dejar otros en un nivel de respuesta dicotómico simple.

34
Q

¿Cuáles son los 3 pasos primordiales del Modelo Lógico?

A
  1. Teoría del cambio: Planificación del programa.
  2. Diseño de la Intervención: Planilla de Implementación del programa
  3. Diseño de la evaluación del programa.
35
Q

En relación a la Teoría del Cambio ¿qué es el supuesto?

A

Es el corazón de la Teoría del cambio. Abordan cómo y porqué las estrategias deben funcionar en el contexto del programa.
- Se sustentan en la teoría: qué evidencia bibliográfica apoya que eso que queremos hacer es así.

36
Q

En relación a la Teoría del Cambio ¿qué son las estrategias?

A

Es más concreto que el supuesto.
- Las Estrategias toman en cuenta factores influyentes.

37
Q

¿Qué revisa la Teoría del Cambio?

A
  • Problema claramente planteado
  • Conexión clara entre necesidades y problema
  • Resultados y cambios deseados son específicos
  • Factores influyentes, estrategias y supuestos, reflejan la literatura y el conocimiento de expertos y profesionales familiarizados con el contexto.
38
Q

¿Cuál es el uso que se le da la plantilla de implementación (plantilla 2)?

A

Planilla de implementación: tiene un flujo, y tiene que ser super específico/concreto → Dar toda la información necesaria para que alguien lo lea y lo pueda implementar. (internet, etc)

39
Q

En relación a la Plantilla de Implementación ¿qué son los Recursos o Insumos?

A

Recursos o insumos: para realizar nuestro conjunto de actividades, necesitaremos lo siguiente..
- Son ciertos recursos que son necesarios para operar

40
Q

En relación a la Plantilla de Implementación ¿qué son los Resultados?

A

Resultados: cambios o beneficios para las personas u organizaciones que se esperan resulten de participar de las actividades. Pueden ser de corto o largo plazo.

41
Q

En relación a la Plantilla de Implementación ¿qué son las Actividades?

A

Actividades: pasos de acción esenciales necesarios para producir resultados del programa.

42
Q

En relación a la Plantilla de Implementación ¿qué son los Productos?

A

Productos: productos, bienes y servicios proporcionados a los clientes o participantes directos del programa. Esperamos que una vez terminadas o en ejecución, estas actividades produzcan la siguiente evidencia de prestación de servicios
- Ej. tickets de salida de un taller.

43
Q

¿Cuál es la vinculación entre Plantillas 1 (Teoría de Cambio) y 2 (Diseño de Intervención)?

A
  • Los resultados “deseados” de la plantilla 1, se consideran como punto de partida para formular “Resultados” en la plantilla 2.
  • “Estrategias” de la plantilla 1 se consideran como punto de partida para formular “Actividades” en la plantilla 2.
44
Q

Respecto al Desarrollo de la Plantilla 2 ¿Qué resultados se esperan a corto plazo?

A

Los resultados a corto plazo son los cambios en Conocimientos, Actitudes, Capacidades y Comportamientos que resultan de la entrega del programa.

45
Q

¿Qué se debe hacer en el desarrollo de la Plantilla 2?

A
  • Especificar resultados de corto y largo plazo (impacto)
  • Especificar las actividades que se realizarán y qué productos se espera obtener a través de la implementación de las actividades.
  • Listar los recursos disponibles para respaldar las actividades que se planifican realizar.
46
Q

En base al Diseño de la evaluación del programa ¿Qué elemento se deben tener en cuenta?

A

Área foco de evaluación: Liste aquellos componentes de su teoría y/o modelo lógico que usted cree constituyen los aspectos más importantes de su programa. Estas áreas se convertirán en el foco de su evaluación.

Público: ¿Qué audiencia público clave tendrá preguntas sobre sus áreas foco? Para cada área foco identificada, liste los públicos que probablemente estarán más interesados en esa área

Uso: si responde una pregunta dada, ¿para qué se usará esa información? Para cada público y pregunta identificada, liste las maneras y medida en la que planea hacer uso de la información de evaluación

47
Q

Para responder a las preguntas en el diseño de la evaluación del programa es importante crear un consenso general entre sus públicos respecto de cómo se percibirá el éxito. ¿Por qué?

A

Los indicadores son las mediciones que usted selecciona como marcadores de su éxito.

48
Q

¿Cuáles son los Tipos de Indicadores?

A
  1. Indicadores de insumos: miden la cantidad de recursos necesarios para realizar las actividades
  2. Indicadores de proceso (o actividades): miden el desempeño en la ejecución de las actividades y procesos.
  3. Indicadores de producto: miden el volumen y la calidad de los bienes y servicios generados directamente por la organización.
    - Ej. Porcentaje de familias que reciben orientación socio jurídica sobre el total de familias catastradas, entre enero y diciembre del 2022.
  4. Indicadores de resultado: reflejan los cambios en actitudes, conocimientos, capacidades y comportamientos de los participantes después de la intervención.
    - Ej. Porcentaje de personas del equipo que aprueban la capacitación en la temática de formación, sobre el total de personas del equipo que participaron, al término de la formación.
  5. Indicadores de impacto: miden los cambios o modificaciones positivas o negativas que se han producido en el entorno o sobre una población objetivo como consecuencia de la intervención
49
Q

Resultados e indicadores deben ser redactados bajo una metodología SMART (specific, measurable, action orientated, realistic, time consideration) ¿Qué significa esto?

A
  • Específico: es claro lo que hay que hacer y está conectado con los resultados.
  • Medible: es cuanti y cualificable.
  • Orientado a la Acción: está orientado a producir cambios en conocimiento, conductas, habilidades.
  • Realista: Es plausible y factible.
  • Considera el tiempo: hay una duración explícita que ilustra la secuencia para llegar al resultado.