Evaluaci

1
Evaluación, Monitoreo y Supervisión en procesos
de capacitación

• Dr. Anibal Velásquez
• epiweb_at_hotmail.com

2
Plan de Clase 1

• Duración 4 horas
• Objetivos
• Identificar las etapas de la evaluación de
  programas de capacitación.
• Elegir el modelo más apropiado para cada
  intervención.
• Identificar e interpretar una evaluación de
  impacto.
• Identificar las diferencias entre monitoreo y
  supervisión.
• Interpretar los resultados de la evaluación para
  la toma de decisiones y la implementación de
  programas de capacitación.

3
Plan de Clase 2

• Contenidos
• Conceptos básicos de evaluación.
• Modelos de evaluación.
• Evaluación, monitoreo y supervisión de programas
  de capacitación.

4
Actividades de enseñanza-aprendizaje

• Sesión expositiva-participativa
• Taller
• Debate grupal
• Estudio de un caso
• Material
• Guía del taller
• Resúmen ejecutivo de la Experiencia del PCMI
• Informe final de la evaluación del Proyecto 2000

5
Conceptos básicos de evaluación

• Dr. Anibal Velásquez
• epiweb_at_hotmail.com

6
Pregunta

• Cuál es el resultado esperado de un programa de
  capacitación?
• Cuándo se podría decir que un gerente de un
  Programa de Capacitación ha tenido éxito?
• Cuál debe ser el principal objetivo de un
  programa de capacitación?

7
De esto depende la evaluación

• Si su objetivo comienza con verbos que no
  representen un cambio, entonces... Solo está
  interesado en monitorizar.
• Si su respuesta comienza con verbos que indican
  cambio (reducir, ampliar, incrementar), Ud. Está
  interesado en conocer la efectividad del programa.

8
Esto quiere decir...

• Que la evaluación depende de los objetivos del
  Programa.
• Y muchas veces estos objetivos no son correctos.
• Y lo que se encuentra con más frecuencia son
  actividades.

9
OBJETIVOS DE ESTA PRESENTACION

• Comprender, valorar y aplicar los conceptos
  fundamentales asociados a la evaluación de
  programas de capacitación.
• Crear un marco de referencia (lenguaje común) en
  los participantes, para el uso e interpretación
  de los enfoques, métodos y técnicas que serán
  revisados en el taller.

10
QUÉ ES EVALUACIÓN?

• Un juicio sobre valor o mérito
• El uso de procedimientos científicos para
  investigar sistemáticamente la efectividad de
  programas de intervención (Rossi et al, Bertrand)

11
UN POCO DE HISTORIA

• La evaluación, en su concepción moderna, es un
  producto del siglo XX
• El surgimiento de las Ciencias Sociales en las
  universidades y el creciente apoyo a la
  investigación social le dieron un empuje decisivo
  a las actividades de investigación evaluativa
• El mayor auge vino después de la Segunda Guerra
  Mundial (incluyendo la creación de programas
  internacionales para planificación familiar,
  salud y nutrición)
• La Evaluación nace como disciplina a finales del
  los 60 y principios de los 70 (libro de Weiss)

12
QUÉ EVALUAMOS?

• Programas (eficiencia, efectividad)
• Personas (aprendizajes, desempeño)
• Instituciones
• Las anteriores constituyen tres grandes áreas de
  especialización en el campo de la evaluación

13
EVALUACION NO ES...

• (solamente) medición
• (solamente) investigación
• (solamente) establecer logro de objetivos
• auditoría
• una actividad que se realiza cuando las cosas van
  mal
• una forma de castigo

14

• Programa
• Esfuerzos organizados para responder a un
  problema social
• Proyecto
• Un conjunto de actividades específicas, con
  objetivos específicos, que contribuyen al
  objetivo del programa o de una institución
• Todos los programas o proyectos tienen (implícita
  o explícitamente)
• Objetivos y resultados esperados
• Población objetivo
• Mecanismo o sistema para entregar servicios (la
  intervención)
• Un marco conceptual que brinda justificación al
  programa (también llamado la hipótesis de
  desarrollo)

15
Componentes de un Programa de Capacitación en
salud
A Nivel de Población
A Nivel de Programa
Procesos
Productos
Resultados
Insumos
Competencias -Cognitivas -Actitudinales -Conductua
les Mejor calidad Mayor eficiencia
Mejor salud Mayor equidad

• Recursos
• - Personal
• Métodos
• Equipo
• Asistencia técnica
• Instrumentos

• Actividades
• - Talleres
• Pasantías
• Análisis crítico de la práctica
• Plan de mejora
• Supervisión

16

Evaluación de Programas

• Conjunto de procedimientos y herramientas
  analíticas para examinar el desempeño de
  programas, y determinar si obtuvieron el efecto
  (impacto) para el que fueron diseñados
• Importancia
• Identificar si algún componente del programa
  necesita mejora
• Contribuye a una eficiente asignación y
  administración de recursos
• Determinar si los objetivos del programa se han
  alcanzado o no

17
Evaluación Situacional Basal
Al inicio de la gestión
Necesidades de información para tomar
decisiones
Evaluación de Procesos
Durante la gestión
Evaluación de Resultados
Al finalizar la gestión
18
Evaluación Situacional Basal
Análisis situacional E. Factibilidad Línea de
base
Al inicio de la gestión
Evaluación de Procesos
Monitoreo
Durante la gestión
Evaluación de Resultados
Evaluación de Impacto
Al finalizar la gestión
19
Tipos de evaluación

• I. Monitoreo o seguimiento
• II. Evaluación de impacto

20
I. Monitoreo o Seguimiento

• Objetivos
• - Brindar información acerca del funcionamiento
  del programa a) Está progresando de acuerdo al
  plan?
• b) Identificar problemas para su correción
• - Documentar cambios de elementos claves del
  programa en el tiempo
• Características
• - Enfasis en los insumos, actividades y
  productos del programa
• - Principalmente estima indicadores, pero puede
  incluir métodos cualitativos
• - No examina cuál es la causa del cambio en los
  indicadores (es decir, no examina el impacto del
  programa)

21
II. Evaluación de Impacto

• Objetivos
• - Determinar el impacto neto del programa en el
  resultado a nivel de población (o en productos a
  nivel de programa)
• - Cuánto del cambio observado en el resultado
  es debido, o puede ser atribuido, al programa y
  no a otros factores?
• Características
• - Enfasis en productos y resultados
• - Examina atribución

22
Evaluación de impacto
23
Preguntas que se hace un político, una agencia
donante, o un gerente sobre Programas Sociales

• Hemos invertido millones de dólares en
  capacitación, cuál ha sido el impacto de las
  intervenciones?
• Cuáles han sido los cambios en la sociedad?
• En cuánto se ha contribuido a reducir los daños?
• En cuánto se ha mejorado la salud o el bienestar
  de las comunidades atendidas?
• Cuáles son las estrategias más efectivas y
  eficientes?

24
Preguntas que se hace un gerente, sobre los
Programas de Capacitación en Salud

• El programa de apacitación que se brinda
  satisface la demanda?
• Cuál es la efectividad de los programas de
  capacitación?
• Cuál es la eficiencia de los programas de
  capacitación?
• Cuál es el impacto de la capacitación en los
  servicios de salud?
• Cuál es el impacto de la capacitación en la salud
  de la población?
• Cuáles son las estrategias o intervenciones más
  efectivas y eficientes?

25
Toma de decisiones

• Las respuestas están asociadas a la toma de
  decisiones.
• Los que toman decisiones requieren juicios de
  valor con base en información válida, confiable y
  oportuna.

26
Evaluando el Impacto del Programa
Resultado
La pregunta de evaluación Cuánto de este
cambio es atribuible al programa?
Punto medio o final del programa
Inicio del programa
Tiempo
27
Evaluando el Impacto del Programa
Resultado
Con programa
Impacto neto del programa
Sin programa
Punto medio o final del programa
Inicio del programa
Tiempo
28
Resultado que se hubiese obtenido si el programa
no se hubiese establecido
Resultado con el programa
-
Impacto del programa

• El problema de evaluación
• El segundo término, el contrafáctico, no es
  conocido pues no podemos observar al mismo
  individuo expuesto y no expuesto al programa al
  mismo tiempo
• Sin embargo, el segundo término puede ser
  estimado. Existen diferentes diseños de
  evaluación disponibles para evaluar el impacto
  del programa

29
Diseños de investigación para evaluar el impacto

• Diseño Experimental
• Diseño Observacional

30
Esquema básico para evaluar el impacto de
programas
PROGRAMA
Grupo 1 (Tratamiento)
Grupo 1 (Tratamiento)
Población
Grupo 2 (Control)
Grupo 2 (Control)
Si Asignación Aleatoria
Grupo 1 ? Grupo 2 Diferencia debida al programa
Grupo 1 Grupo 2
Si Asignación no aleatoria (datos de encuestas)
Group 1 ? Group 2 Diferencia debida
al programa y a diferencias pre-existentes
(observadas y no observadas)
Grupo 1 ? Grupo 2
31
Diseño Experimental

• Individuos son asignados aleatoriamente a un
  grupo de Tratamiento y a uno de Control antes
  del programa. Si es bien implementado
• Impacto Promedio(Tratamiento) -
  Promedio(Control)
• Pocas condiciones son necesarias
• La asignación es aleatoria
• La intensidad del programa es homogénea
• Los individuos en el grupo de Tratamiento no
  cambian su comportamiento por participar en un
  experimento (no hay efecto Hawthorne)
• Los factores externos influyen ambos grupos
  por igual
• Los individuos permanecen en los grupos
  durante la duración del experimento (no hay
  atrición o ésta no es selectiva)

32

• Diseño Experimental (Cont.1)
• El diseño experimental clásico es el Gold
  Standard
• Ventajas Simple
• Si bien implementado y el tamaño de la muestra
  es suficientemente grande, la asignación
  aleatoria causa que los grupos sean equivalentes
  en cuanto a características observadas y no
  observadas. Es decir, en ausencia del programa,
  no habría diferencias en los resultados de los
  dos grupos.

33

• Diseño Experimental (Cont.2)
• Desventajas
• Difícil de implementar (factores prácticos,
  políticos y éticos)
• Contaminación es posible
• Efecto Hawthorne es posible
• Deserción o atrición selectiva es posible
• Programas son intervenciones complejas con
  muchos componentes
• Generalización es dudosa (criterio de validez
  externa)

34

• Diseño Observacional
• No hay asignación aleatoria de los individuos a
  grupos de tratamiento y control. Los propios
  individuos deciden si participan en el programa o
  no. Por tanto, diversos factores influyen el
  resultado obsevrado y no hay garantía que esos
  otros factores relevantes sean equivalentes entre
  el grupo expuesto y el grupo no expuesto al
  programa
• Es necesario usar técnicas estadísticas para
  estimar el efecto del programa controlando por el
  efecto de los otros factores. Una técnica para
  ello es el Análisis de Regresión

35

• Diseño Observacional (Cont 1)
• El análisis de regresión examina la relación
  entre varias variables explicativas y la variable
  dependiente. Permite cuantificar la contribución
  de cada factor a la variable dependiente
• Importante Se necesita definir cuales son los
  factores relevantes que influyen el resultado de
  interés y se necesitan datos sobre ellos

36

• Con los estudios observacionales se estima el
  contrafáctico (qué hubiese ocurrido si no se
  realiza el programa) mediante modelos y técnicas
  de análisis de datos y se hace mediante el
  control estadístico de las otras variables
  relevantes que pueden afectar el resultado de
  interés

37

• Los enfoques más comunes se basan en modelos de
  regresión

38
En condiciones naturales, por ejemplo, por
medio de una encuesta, podemos observar una
variable de respuesta cuyo nivel puede ser el
resultado de la influencia simultánea de muchos
factores
X1
Y, variable dependiente
Estas son las variables independientes, factores
relevantes (incluyendo el programa) que pueden
influenciar la variable de interés
X5
X2
X4
X3
El programa
39
EN UN MODELO DE REGRESION

• Y f(X1,X2,,Xn)
• Y, la variable de respuesta o variable
  dependiente, es una función de las variables
  independientes
• Una vez que el modelo es ajustado se puede
  juzgar la importancia relativa de cada variable
  independiente
• Nuestro foco de interés, se refiere por supuesto
  a la(s) variable(s) independiente(s) que
  identifican al programa

40

• Si medimos los otros factores relevantes es
  posible aislar el efecto del programa entre los
  efectos de las otras variables independientes

41
VARIABLES CONFUSORAS

• En el contexto de una evaluación de impacto
  hablamos de variables confusoras cuando nos
  referimos a todos los otros factores relevantes,
  además del programa, que pueden influenciar el
  resultado de interés
• Dejan de ser confusoras cuando se miden e
  incorporan en el modelo de regresión

42
ES POR ESTO QUE...

• Un marco conceptual comprensivo (que incluya el
  programa y los potenciales factores confusores)
  es especialmente importante para la aplicación de
  los métodos de regresión en evaluación de impacto

43
Qué es el marco conceptual de un programa?
44
EL MARCO CONCEPTUAL

• El marco conceptual o de investigacion es un
  diagrama que identifica e ilustra las relaciones
  entre factores sistémicos, organizacionales,
  individuales y otros elementos relevantes que
  pueden influenciar la operación de un programa o
  proyecto y el logro exitoso de sus metas y
  objetivos

45
El marco conceptual tiene base en...

• La Teoría del Programa.
• Es el conjunto de supuestos sobre la forma en
  que el programa (o proyecto) provoca los
  beneficios que se espera que produzca, incluyendo
  las estrategias y tácticas que ha adoptado para
  lograr sus metas y objetivos.

46
LA TEORÍA DEL PROGRAMA ...

• A veces no es explícita, no ha sido formalmente
  articulada o establecida.
• Evaluación de caja negra cuando se realiza la
  evaluación sin haber articulado formalmente la
  teoría del programa
• Nuestra recomendación no hacer evaluación de
  caja negra

47
EN LA TEORÍA DEL PROGRAMA DEFINIMOS...

• Hipótesis de acción son las que ligan o conectan
  causalmente la teoría del proceso (están bajo el
  control directo del programa)
• Hipótesis conceptuales son las que ligan o
  conectan causalmente la teoría del impacto (no
  están bajo el control del programa)

48
Vinculando el Programa de capacitación a
Resultados de Salud .
Características del Individuo y del Hogar
Práctica de salud
Resultado de Salud
Características de comunidad
Uso de Servicios
oferta de servicios de salud
Programa de capacitación
Gobierno, ONGs, otros donantes, privado Otras
capacitaciones
49
Vinculando Insumos del Programa a Resultados de
Salud (fuentes de datos)
Características del Individuo y del Hogar
Práctica de salud
Healthy Outcome
Características de comunidad
Uso de Servicios
oferta de servicios de salud
Gobierno, ONGs, otros donantes, privado
Programa capacitación
50
Niveles de Factores que influyen Comportamientos
y Resultados de Salud
51
Fuentes de Datos
Importante Las encuestas deben estar
vinculadas
52
BIBLIOGRAFIA

• Bertrand, J.T. et al. (1996). Evaluación de
  Programas de Planificación Familiar. The
  Evaluation Project, USAID
• Mohr, L. (1995). Impact Analysis for Program
  Evaluation. Sage Publications
• Rossi, P.H. Freeman, H.E. Lipsey, M.W. (1999).
  Evaluation A Systematic Approach. Sage
  Publications