Evaluaciones y Resultados en el FMAM Consulta Subregional 2006

1
Evaluaciones y Resultados en el FMAMConsulta
Sub-regional 2006
2

• Temas críticos actuales / paradojas en el FMAM
• Transparencia
• Demostración de resultados
• El ME desempeña un papel central en la
  orientación de esos temas

3
Estructura del FMAM a nivel Internacional
AIs/AEs
PNUD
Oficina de Evaluación
Grupo de Reposición de Donaciones
PNUMA
EACT
CDB
BM
MNUCC
Asamblea
BAD
ONGs
COPs
BafD
Consejo
CCD
BERD
CEO/Director
Secretaría del FMAM
Fondo Multilateral del Protocolo de Montreal
FAO (ONUAA)
BID
FIDA
Aguas Internacionales
ONUDI
4
País Receptor
Key Government Department Political Focal
Point Operational Focal Point
Other Government Departments (Global
conventions)
Implementing Agencies Executing Agencies
Stakeholders - NGOs - Private Sector -
Civil Society - Other Institutions
5
Estructura de Informe
6
Orientando los temas el papel central del ME

• Responsabilidad / Informe
• Transparencia
• Demostración de resultados
• Aprendizaje

7
Facilitador ambiental
Supervisión
EACT Asesor
CONSEJO

Estudio del Rendimiento Total
Oficina FMAM de Evaluación Socios de Evaluación
Política de ME
Evaluaciones Temáticas y transversales
Valoración de impactos,
SEC FMAM AIs Aes
Revisiones del portafolio del país
IAR
revisión de Programas y Portafolio
Indicadores del Área Focal
PIR Anual, sistemas del proyecto en riesgo,
Socios Países ONGs Sector Privado
Supervisión
Indicadores del Proyecto
Monitoreo
Evaluaciones a Mediano Plazo
8
Discutiremos..

• Medición de Resultados de los Recursos FMAM en el
  País
• Contexto
• La Política FMAM de Evaluación y Monitoreo
• Funciones y Responsabilidades
• Monitoreo y Evaluación a Nivel de Proyecto
• Manejo óptimo de resultados en el FMAM
• Evaluación del MAR
• Oficina FMAM de Evaluación

9

• La Política FMAM de Monitoreo y Evaluación
• Funciones y Responsabilidades

10
Política de Monitoreo y Evaluación

• Propósito del ME en el FMAM
• Promover la responsabilidad resultados,
  eficacia, procesos y rendimiento
• Promover el aprendizaje, compartir opiniones y
  conocimiento como base para tomar decisiones en
  todos los niveles
• La Política se basa en las normas y prácticas
  existentes para el ME. Asegura que el ME en el
  FMAM tienda a obtener los mayores estándares
  internacionales

11
Funciones y Responsabilidades Clave
12
Participación del Nivel Nacional en el ME

• Las Agencias del Gobierno trabajan en unos
  sistemas de monitoreo, evaluación y valoración
  ambiental (monitoreo MDG, estadísticas..)
• Instituciones de cooperación nacional,
  departamentos técnicos y agencias ejecutoras de
  proyecto
• Instituciones académicas o compañías del sector
  privado
• ONG, comunidad, sociedad civil- perspectiva local
• Consultores nacionales sobre ME
• Beneficiarios.
• emprender actividades de ME Y proporcionar
  opiniones

13
Función General de los Puntos Focales

• Asegurar que las propuestas y actividades FMAM
  del país sean coherentes con las prioridades del
  país y con los compromisos establecidos en las
  convenciones globales
• Identificar ideas de proyecto que permitan reunir
  las prioridades del país
• Endosar las propuestas de proyecto
• Facilitar consultas amplias en el país sobre
  temas operativos del FMAM
• Opinar sobre las actividades FMAM, incluyendo la
  implementación de proyectos
• (Consejo 1996)

14
Participación de los Puntos Focales hasta el
momento

• El Estudio de Rendimiento Total Reuniones
  regionales
• Reunión con todas las misiones de la Oficina FMAM
  de Evaluación
• Opiniones sobre la cooperación del FMAM
• Opiniones sobre el rendimiento del proyecto
• Arreglo de las consultas/reuniones nacionales
  para las misiones de evaluación
• Algunos países realizan sus propias
  evaluaciones/revisiones
• Participación en estudios tasa mixta de
  respuesta
• Participación en el ME de los proyectos
  globales/regionales Desconocida

15
La nueva política fomenta un nuevo rol del Punto
Focal del FMAM en el ME

• Con frecuencia, la participación depende del país
  y las circunstancias
• Implementación de las actividades de monitoreo
  del proyecto
• Participa en los Informes de implementación del
  proyecto (PIRs)
• Durante las evaluaciones del FMAM, apoyar a su
  Oficina de Evaluación identificando los actores
  pertinentes, coordinando las reuniones y
  colaborando en el desarrollo de las agendas
• Realizar sus propias evaluaciones con respecto a
  las actividades del FMAM
• Comentar sobre las Revisiones de los Términos de
  Referencia y coordinar, cuando sea pertinente,
  las respuestas del país
• Con responsabilidad particular en el uso de las
  recomendaciones de la evaluación e integrar las
  lecciones en las propuestas de proyecto
• Un rol clave, en conservar los actores que han
  sido consultados y que han participado en los
  planes la implementación y los resultados de las
  actividades FMAM del país en ME

16

• ME a Nivel de Proyecto

17
Requerimientos mínimos para el ME

• 1. Diseño del Proyecto Todos los proyectos
  incluirán un plan de ME concreto y muy bien
  presupuestado
• 2. Aplicación del ME del Proyecto El Plan de
  ME se implementará, monitoreará y supervisará
• 3. Evaluación del Proyecto Cada uno de los
  Proyectos de Gran Tamaño se evaluarán al final de
  la implementación (también para el Proyecto de
  Tamaño Mediano Por ahora)

18
Nivel de Proyecto (paso 1)

• La AI ó AE supervisan los proyectos
• Los proyectos pueden desarrollarse por las
  agencias ejecutoras del Gobierno, ONGs, sector
  privado, Agencias de Naciones Unidas
• El monitoreo es una responsabilidad conjunta
• El ME se adapta a las necesidades del proyecto
• Las herramientas de Monitoreo se usan de
  diferentes formas
• Muchos enfoques para las evaluaciones de proyecto

19
Diseño del Proyecto y Aplicación del ME

• Requerimiento 1
• El plan de ME, el cual es concreto y muy bien
  presupuestado, contendrá como mínimo
• Indicadores EMART (Específico, Medible,
  Alcanzable, Real, con límite de tiempo) para la
  implementación del proyecto
• Indicadores EMART para los resultados
• Análisis y datos de línea base
• Identificación de reuniones y evaluaciones
• procesos organizativos establecidos y
  presupuestos para el ME
• Requerimiento 2
• El Plan de ME será operativizado durante la
  implementación del proyecto

20
Supervisión y opinión sobre el rendimiento por
medio del Informe Anual de Rendimiento (IAR)

• Valorar los resultados reportados en las
  evaluaciones finales
• Valorar los procesos que afectan los resultados
• Valorar el ME del proyecto (calidad del diseño,
  monitoreo, evaluaciones finales y sistemas que
  están en riesgo dentro del proyecto).
• En el 2005 se estableció una línea base para
  evaluar el progreso de la política de ME en la
  implementación del proyecto
• Proveer opiniones precisas sobre las fortalezas y
  debilidades
• Alimentar la matriz de rendimiento de la agencia
• Aún no se ha articulado con el MAR

21
Diseño del ME del Proyecto

• Ejemplos de proyectos con un buen tratamiento del
  ME en su diseño (ver base de datos FMAM para
  ProDoc) son
• Programa de Escala Renovable de China (GEF ID
  943), CC, Banco Mundial
• Conservación y Uso Sostenible de la Biodiversidad
  en Moyen-Chari, Chad (FMAM ID 1125), BD, PNUD
• Protección Ambiental y Control de la
  Contaminación por Transporte Marítimo en el Golfo
  de Honduras, Regional (FMAM ID 963), AI, IADB

22
Calidad de las prácticas de monitoreo del
proyecto en el FMAM

• El Informe Anual de Rendimiento presenta
  conclusiones con respecto al ME del proyecto
  durante FA 2005
• 58 de los proyectos aprobados por el CEO reúnen
  los requerimientos mínimos del ME
• Calidad de monitoreo durante la implementación de
  proyectos es ligeramente satisfactoria o mayor
• FA 2004 39
• FA 2005 52

23
Evaluación del Proyecto

• Requerimiento 3
• Cada uno de los proyectos de gran tamaño (y por
  ahora PTM) será evaluado al final de la
  implementación. Esto incluirá
• Independencia de la evaluación ó revisión de la
  evaluación
• Valoración de productos y resultados y
  probabilidad de sostenibilidad
• Valoración del sistema de ME del proyecto
• Valoración de las lecciones (lineamientos de la
  Evaluación)
• Informe del costo y cofinanciación actual del
  proyecto
• La Oficina de Evaluación continuará revisando las
  evaluaciones finales y trabajará con las Unidades
  de Evaluación de las AI

24
Informe Anual de Rendimiento
A finales del año 2004 la calidad general de una
tercera parte de las Evaluaciones Finales fue
insatisfactoria
25
Informe Anual de Rendimiento
La Calidad de las Evaluaciones Finales ha
mejorado!
26
Mantenimiento de la Política de ME del FMAM

• Difusión de la Política de ME
• Sitios web, publicación y distribución a los
  actores relacionados con el FMAM, consultas
  Sub-regionales, talleres de capacitación a los
  puntos focales de la Secretaría del FMAM,
  procesos de consulta
• Desarrollo de lineamientos y procedimientos
  administrativos
• Ejemplos lineamientos de la evaluación final,
  criterio para el desarrollo de indicadores del
  programa
• Apoyo al establecimiento del portafolio y de los
  indicadores de monitoreo del programa
• Fortalecimiento de las funciones de monitoreo de
  la Secretaría del FMAM, apoyo a los equipos de
  trabajo en el desarrollo de indicadores de
  RESULTADO ambiental.

27

• Manejo de los resultados en el FMAM
• Relación entre Evaluación y Resultados

28
Monitoreo del portafolio (paso 2)

• El Futuro Sistema de Monitoreo
• Se presentará al Consejo del FMAM en diciembre
  del 2006
• Se diseñará con base en las buenas prácticas
  obtenidas en los resultados del monitoreo
• Incluirá varias herramientas
• Informes de la Implementación del Proyecto (PIRs)
• Portafolio y sistema de seguimiento a los
  indicadores de rendimiento del área focal
• Funciones en el Monitoreo del portafolio
• Secretaría del FMAM monitorea todos los
  portafolios incluyendo los del área focal
• AI ó AE supervisa el portafolio de la Agencia en
  las áreas focales, países
• País contribución que el FMAM hace al País

29
Evaluación del portafolio (paso 3)

• Oficina FMAM de Evaluación
• Evaluaciones transversales y temáticas
• Evaluaciones de impacto y del portafolio del país
• Informe Anual de Rendimiento (IAR)
• Registra las Acciones de Manejo e implementa las
  recomendaciones
• Rendimiento de la Agencia
• Oficinas AI/AE de Evaluación
• Evaluaciones transversales y temáticas que
  incluyen proyectos FMAM
• Juntos
• Evaluación conjunta del ciclo de actividad y
  modalidades del FMAM

30
Evaluación de las actividades del FMAM a nivel de
país

• Contexto
• Solicitado por el Consejo del FMAM para mejorar
  su entendimiento sobre cómo se relacionan las
  actividades del FMAM con las agendas nacionales y
  con las estrategias del mismo
• Pertinente para la implementación del MAR
• Primera vez que el FMAM evalúa su apoyo en un
  país
• Las evaluaciones se presentarán al Consejo del
  FMAM
• Costa Rica fue seleccionado como ejercicio
  piloto. El caso piloto será difundido pero el
  criterio de selección del país aún se encuentra
  en desarrollo
• Los Puntos Focales son socios esenciales para
  estas evaluaciones

31
Estudio del Rendimiento Total (paso 4)

• POS 3
• Informe presentado para la reposición
• Por ahora, el FMAM ha alcanzado resultados
  considerables en el seguimiento a los resultados,
  informando así sobre todos sus logros.
• POS 4
• La Oficina de Evaluación promueve un fuerte
  énfasis en indicadores de línea base y de
  resultados para facilitar aún más el informe de
  éstos en los POS 4
• Evaluación independiente de la Oficina de
  Evaluación

32
Evaluación del MAR

• Dos revisiones
• A mediano plazo (después de 2 años), por la
  Evaluación del FMAM en colaboración con la
  Secretaría y las Agencias de Implementación y
  Ejecución
• Al final (después de 4 años), el sistema MAR
  emprenderá una revisión independiente que
  concluirá al mismo tiempo o que hará parte del
  cuarto estudio independiente de rendimiento total
  del FMAM (POS 4)

33
La revisión del MAR a mediano plazo (2008)

• Los impactos del MAR en las operaciones y actores
  relacionados con el FMAM
• Experiencia operativa del MAR
• La factibilidad de los parámetros usados por el
  MA
• El peso del gobierno dentro de la Política
  Ambiental del País y el Indicador de Valoración
  Institucional (PAPIVI)
• Las sugerencias y comentarios son bienvenidos!
• Impactos del MAR en la calidad del proyecto
• Experiencia del País
• Validez del apoyo científico a los índices del MAR

34

• Gracias!
• Comentarios y Sugerencias?

35
Información adicional
36
La Oficina FMAM de Evaluación

• Propuesta y Plan de Trabajo

37
La Oficina FMAM de Evaluación

• Declaración de la misión
• Facilitar los beneficios ambientales globales
  mediante la excelencia, independencia y
  asociación en el monitoreo y evaluación
• Desarrollamos nuestro trabajo con
• Imparcialidad
• Profesionalismo
• Transparencia

38
Programa de Trabajo

• FA06
• Evaluaciones en marcha
• Evaluación conjunta de las modalidades del ciclo
  del proyecto
• Evaluación del portafolio del país
• Evaluación de impacto
• Cálculo de costos incrementales
• Recurrente
• Informe Anual de Rendimiento
• Procesos de consulta
• Manejo del conocimiento
• Apoyo a la metodología de indicadores

• FA07-09
• Evaluaciones adicionales al país y de impactos
• Desarrollo de capacidades
• Papel catalítico del FMAM
• SGP
• MAR
• Rol de la ciencia
• Estudios de (sub)programas(CC, BIO, AI, DS,
  Ozono, COPs, LD)
• Estudio de Rendimiento Total (POS4)
• Solicitudes especiales del País

39
Uso de Evaluaciones Recientes
40
Conclusiones y temas emergentes Apoyo a Costa
Rica

• El apoyo del FMAM ha producido impactos
  ambientales, ha mejorado la sostenibilidad
  institucional y el desarrollo de capacidades y ha
  generado efectos catalíticos
• El apoyo del FMAM ha sido pertinente con las
  políticas y prioridades ambientales nacionales
• Los actores nacionales relacionados con el FMAM
  no comprenden las funciones y responsabilidades
  del Punto Focal del FMAM
• Existe carencia general de información sobre el
  FMAM
• El ciclo del proyecto se percibe como frustrante
  e impredecible dado que el personal, los términos
  y los requisitos cambian inesperadamente
• Costa Rica se benefició al identificar mejor su
  contribución al mejoramiento del ambiente global
  al ser mas estratégico con el uso de los recursos
  FMAM
• La forma en que opera el FMAM en Costa Rica
  necesitará cambiar para que el MAR se pueda
  implementar exitosamente