www. coneval .gob.mx

1. Experiencia de implementación de la Metodología de Marco Lógico en México Julio de 2011 www.coneval.gob.mx

2. ÍNDICE Antecedentes Matrices de Indicadores para Resultados de la APF Proceso de Aprobación de Indicadores Retos

3. Antecedentes • El escenario de la APF en 2006, a pesar de que algunos de los programas con reglas de operación tenían una historia de evaluación se caracterizaba por los siguientes aspectos: • No siempre tenían objetivos ligados con “resultados” • Los objetivos eran muy generales y ambiguos • No existían indicadores de resultados • Sin una metodología homogénea aplicada por todos los programas • No era clara la lógica del programa para alcanzar resultados • La mayoría de los indicadores establecidos medían gestión más no resultados

4. Antecedentes • CONEVAL analizó distintas metodologías y casos internacionales para identificar la metodología más adecuada para el diseño y la construcción de la matriz de indicadores: • Caso Chile (DIPRES) • Implementación de la MML en 1994 • Análisis de vinculación con presupuestación (Indicadores de Desempeño) • Caso Colombia (SINERGIA) • Introducción de instrumentos de medición de resultados desde 1994 • Caso Estados Unidos (OMB) • Criterios para la especificación de Indicadores (SMART) • Caso Canadá (Oficina del Tesoro) • Inicio de implementación del Sistema en los años 70

5. Antecedentes • ¿Por qué se definió la Metodología de Marco Lógico (MML) como instrumento? • * Porque permite: • la identificación de objetivos a nivel Resultados e Implementación (gestión) • establecer relaciones causales entre los objetivos que se plantean • diseñar indicadores vinculándolos a los objetivos • identificar la lógica interna de los programas (valorar su diseño) • presentar el programa en forma resumida, estructurada y sintética • * Al mismo tiempo, la SHCPestaba en busca de metodología para incorporar información al Sistema de Evaluación del Desempeño (SED)

6. Los indicadores más relevantes hoy en día son: El presupuesto asignado a cada programa El % del presupuesto ejercido cada año El número de becas/cursos de capacitación/litros de leche/pasaportes entregados/juntas realizadas, etc, etc. Pero falta medir RESULTADOS: ¿Aumentó el ingreso/la ocupación de quien recibió el microcrédito? ¿Los desempleados que recibieron capacitación aprendieron y encontraron trabajo? ¿Más mujeres se incorporan a trabajar a raíz del programa de estancias infantiles? ¿Disminuyó la delincuencia por el programa de seguridad? ¿Se disminuyó el tiempo de trámite de los pasaportes? Objetivo: Planear, evaluar, presupuestar (tener una gestión) para buscar y medir resultados

7. Fin Propósito Componentes Actividades ESQUEMA LÓGICO DE UN PROGRAMA Contribuir a que la población desempleada en pobreza tenga un mejor acceso a empleos de calidad Resultados Mejorar los conocimientos técnicos de los desempleados en situación de pobreza extrema 1.-Capacitación a individuos enpobreza extrema desempleados 2.-Beca de apoyo a familias beneficiadas Implementación -Focalización Geográfica 1.1Identificación y selección de familias en pobreza extrema 2.1Distribución de las becas de apoyo

8. Fin Propósito Componentes Actividades MENOS Y MEJORES INDICADORES Porcentaje de capacitados que obtienen un mejor trabajo Resultados Porcentaje de beneficiarios capacitados que efectivamente adquieren los conocimientos técnicos adecuados 1.- Porcentaje de cursos y talleres realizados 2.- Porcentaje de becas repartidas 3.- Monto total de las becas repartidas 4.- Porcentaje de desempleados capacitados Implementación 1.- % del presupuesto ejercido 2.- Costo promedio x actividad 3.- Costo promedio de distribución de la beca

9. Fin Propósito Componentes Actividades Antecedentes Esquema lógico de objetivos de un programa Objetivos Nacionales Resultados Implementación

10. Resultados Propósito??? Componentes Implementación Actividades Antecedentes Se pretendía pasar de esto…

11. Propósito? Componentes Actividades Antecedentes …a este esquema en un primer momento Resultados Implementación

12. Fin Propósito Componentes Actividades Antecedentes …a esto en un segundo momento… Objetivos Nacionales Resultados Implementación

13. ÍNDICE Antecedentes Matrices de Indicadores para Resultados de la APF México Proceso de Aprobación de Indicadores Retos

14. Matrices de Indicadores para Resultados • Del total de las MIR de la APF (cerca de 600), el CONEVAL coordina 231, de acuerdo con el Programa Anual de Evaluación • Las modalidades presupuestarias de estas MIR son las siguientes: • S Programas Sujetos a Reglas de • Operación • U Otros subsidios • E Prestación de Servicios Públicos • B Provisión de Bienes Públicos

15. Matrices de Indicadores para Resultados • 35% de las MIR son de programas de Educación; Medio Ambiente y Desarrollo Social cuentan con 10% de los programas, respectivamente • Cerca del 45% de las MIR se refieren a programas de seguridad social, Hacienda y Crédito Público, agrícolas, ganaderos, pesca, laborales.

16. Indicadores contenidos en las MIR 2011 • El total de MIR de la APF para 2011 es de 586 que incluyen 4,997 indicadores de desempeño. • 183 Matrices corresponden a Programas Sociales

17. ÍNDICE Antecedentes Matrices de Indicadores para Resultados Proceso de Aprobación de Indicadores Retos

18. Mandato para Coneval • Ley General de Desarrollo Social Artículo 77. El Consejo Nacional de Evaluación, antes de aprobar los indicadores a que se refiere este artículo, los someterá a la consideración de la Secretaría de Hacienda y Crédito Público y a la Cámara de Diputados por conducto de la Auditoría Superior de la Federación, para que emitan las recomendaciones que en su caso estimen pertinentes.

19. PROCESO DE MEJORAMIENTO DE INDICADORES • Lineamientos de Evaluación y de la MIR • Capacitación en MML • Carga de MIR 2007 en PASH • Capacitación y Asesoría • Revisión 31 programas federales en Mesa Técnica de Indicadores • Capacitación y Asistencia Técnica • Carga de MIR 2008 al PASH (Revisión MIR) • Diagnóstico MIR 2008 2008 2010 2007 2011 2012 2009 Revisión MIR / Diagnóstico Ejecución Integral Consolidación de Aprobación Normativa / Implementación Mejoramiento indicadores / Revisión Revisión Indicadores / Consideración • Revisión 34 programas federales en MTRI • Envío de información 3 programas federales a ASF y SHCP • Diagnóstico MIR 2010 • Revisión todos los programas federales en MTRI (S y U) • Lineamientos Generales de Aprobación de indicadores • Cierre del proceso de aprobación de indicadores

20. Mejoramiento de MIR y de indicadores • ETAPA V - A • Capacitación básica y asesoría • Programas mejoran sus MIR y actualizan PASH • ETAPA V - B • Capacitación y asesoría técnica • Mejoramiento de MIR y actualización en PASH • ETAPA I • Lineamientos de Evaluación • Lineamientos de la matriz de indicadores • ETAPA III • Capacitación y Asistencia Técnica • Carga de MIR 2008 al PASH • Revisión de la consistencia MIR 2007 2010 2009 2008 • ETAPA VI – B • Aprobación de Indicadores • (34 Sesiones de Comité Técnico de Revisión de Indicadores) ETAPA VI - A Aprobación de Indicadores (Revisión de 31 Programas Federales) • ETAPA IV* • Diagnóstico de las MIR 2008 • Capacitación en construcción indicadores • ETAPA II • Capacitación básica en Marco Lógico • Carga de MIR 2007 al PASH Mejoramiento indicadores / Aprobación Normativa / Implementación Revisión MIR / Diagnóstico Aprobación de Indicadores

21. ¿Qué hemos hecho en cada Etapa? • 2007:Sentando las bases de implementación • Etapa I • Emisión de Lineamientos Generales de Evaluación de los Programas Federales de la Administración Pública Federal • Se incluyen elementos de los Objetivos Estratégicos • Se integran elementos de la matriz de indicadores • Se relaciona a la Evaluación de Consistencia y Resultados • Lineamientos de MIR • Se vincula con el presupuesto: Integración en el Anexo 1 de los Lineamientos Generales para el Proceso de Programación y Presupuestación para el ejercicio fiscal 2008 de la Metodología para la elaboración de la Matriz de Indicadores de los Programas Presupuestarios de la APF

22. ¿Qué hemos hecho en cada Etapa? • Primeros avances del proceso de implementación de la MML • Se emite normatividad para fijar las bases de diseño de indicadores • Se comienza una herramienta que facilita el proceso de planeación • La MML se incorpora en un capítulo de la Evaluación de Consistencia y Resultados • La SHCP integra elementos de la MIR en el análisis de presupuestación para el ejercicio 2008 Normatividad Planeación Evaluación Presupuestación Implementación de la MML

23. ¿Qué hemos hecho en cada Etapa? • 2007:Sentando las bases de implementación • Etapa II • Capacitación de funcionarios públicos en materia de Metodología de Marco Lógico • Cursos de Sensibilización de la MML para 595 funcionarios públicos de todos los sectores de la APF (se integran incluso los Ramos como Defensa Nacional, Gobernación, etc.) • En Agosto, impartición de Talleres para la Construcción de la primera versión de la MIR de los programas • Primera carga de la MIR de 133 programas federales en el PASH • Se vincula la MIR con la ECR (Capítulo de Diseño) • CONEVAL realiza la primera revisión de las MIR de los programas S y U mediante criterios establecidos • Derivado de los resultados de la revisión se diseña un Curso de MML con mayor nivel de profundidad en los temas

24. ¿Qué hemos hecho en cada Etapa? • 2008:Mejorando la aplicación de la Metodología • Etapa III y IV 486 funcionarios públicoscapacitados en MML Incorporación de Asistencia Técnicapara mejorar las MIR Diseño de Curso Específico de Indicadores de Desempeño • En marzo se carga una nueva versión de las MIR de programas federales al PASH • Con base a la nueva versión de MIR, se elabora el Diagnóstico de Matrices de Indicadores para Resultados 2008 • Envío de recomendaciones para el mejoramiento de las MIR de 133 programas federales en dos períodos (Julio y Noviembre) • Las MIR por primera vez son utilizadas en el proceso de presupuestación (para el ejercicio fiscal 2009) • En conjunto con la SHCP, se emitieron los Lineamientos para la actualización de la Matriz de Indicadores de los programas presupuestarios para el ejercicio fiscal 2008

25. ¿Qué hemos hecho en cada Etapa? • 2009:Diseñando de mejor manera los indicadores de desempeño • Etapas V-A • Continuación de capacitación a funcionarios públicos • 1,428funcionarios públicos capacitados en Metodología de Marco Lógico para la Construcción de la Matriz de Indicadores para Resultados • Capacitación de 365 funcionarios públicos en Diseño de Indicadores de Desempeño • Proceso menos masivo debido a restricciones presupuestales • Incorporación de nuevos apartados en el Curso para adecuarlo a la evolución de las MIR de los programas • Mayor Asistencia Técnica a los programas para el mejoramiento de las MIR • Actualización de las 110 MIRde programas federales S y U con versión 2008 • Incorporación al análisis de 47 nuevas MIR modalidad S y U y 67 E y B

26. ¿Qué hemos hecho en cada Etapa? • 2009:Diseñando de mejor manera los indicadores de desempeño • Etapa V-B • Aprobación de Esquema de Aprobación de Indicadores por parte de la Comisión Ejecutiva (Sesión de Comisión Ejecutiva Mayo de 2009) • Durante el mes de octubre se realizaron las primeras Sesiones de la Mesa Técnica de Revisión de Indicadores de Resultados (31 programas federales) • Selección de programas considerando las siguientes variables: • Presupuesto 2009 • Valoración MIR • Valoración indicadores • Indicadores PEF • Programa estratégico SHCP

27. ¿Qué hemos hecho en cada Etapa? • 2010:Consolidando el proceso de aprobación de indicadores • Etapas VI-A • Adecuación del esquema de Capacitación: • 582funcionarios públicos capacitados en Metodología de Marco Lógico para la Construcción de la Matriz de Indicadores para Resultados • Modificación de esquema de Capacitación ahora por demanda de los programas que así lo requirieron • Mayor énfasis al mejoramiento de las MIR e indicadores • Capacitación de 191 funcionarios públicos en Diseño de Indicadores de Desempeño • Diagnóstico de Matrices de Indicadores para Resultados

28. ¿Qué hemos hecho en cada Etapa? • 2010:Consolidando el proceso de aprobación de indicadores • Etapas VI-B • En abril, se enviaron recomendaciones para el mejoramiento de las MIR versión 2011 de 220programas federales • Continuación del Proceso de Aprobación de Indicadores • Realización de la Segunda Ronda de Sesiones de la Mesa Técnica de Revisión de Indicadores de Resultados para 34 programas federales • Mismos Criterios de selección que en versión 2009 • Envío de la información de 3 programas federales a consideración de la Auditoría Superior de la Federación y la SHCP • Selección de 5 programas federales de la Segunda Ronda de Sesiones susceptibles a enviar a la ASF y SHCP

29. Esquema de Aprobación de Indicadores Selección de Experto Temático y Estadístico Se turna Dictamen a Comité Directivo Revisión de Indicadores de Resultados por MTRI Diseño de Ficha Técnica de Revisión General Se turna Dictamen a Comisión Ejecutiva Revisión de indicadores con FICHA TÉCNICA * REPORTE de Criterios Mínimos por Programa Reporte + VALORACIÓN indicadores Resultado DICTAMEN sobre Indicadores por programa

30. ¿Qué hemos hecho en cada Paso del Esquema? • I Validación Integral de Indicadores • Se diseñó la Ficha Técnica de Valoración de Indicadores, la cual mide las siguientes características mínimas con que debe contar un indicador: • Claridad • Relevancia • Monitoreabilidad • Adecuación • La aplicación de la Ficha Técnica se realizó para cerca de 2,000 indicadores contenidos en las MIR de 220 programas federales • Los resultados fueron enviados a los programas federales en conjunto con las recomendaciones de mejora de las MIR

31. ¿Qué hemos hecho en cada Paso del Esquema? • II Validación Específica de Indicadores de Resultados • El objetivo de esta etapa es revisar la consistencia de los indicadores de resultados tanto del nivel de Fin como de Propósito • Implica la conformación de una Mesa Técnica de Revisión de Indicadores (MTRI) integrada por los siguientes representantes: • Secretaría de Hacienda y Crédito Público • Auditoría Superior de la Federación • CONEVAL • Unidades de Evaluación de las Coordinadoras de Sector • Representantes de los programas • Experto Temático • Experto Estadístico

32. Resultados de las Sesiones de la MTRI • Principales Comentarios en los Informes Los indicadores miden efectivamente los objetivos del Programa; Los medios de verificación para la estimación del indicador provienen de medios confiables y robustos Las variables planteadas en los objetivos son medidas parcialmente en los indicadores, por lo que es necesario su modificación; Las fórmulas de cálculo deben plantearse con mayor exactitud, de manera que no se existan dudas acerca de su estimación El indicador no mide lo que se encuentra planteado en los objetivos del programa; Los métodos de cálculo del indicador son confusos y no se describen las variables utilizadas

33. ÍNDICE Antecedentes Matrices de Indicadores para Resultados Proceso de Aprobación de indicadores Retos

34. Retos • Convencimiento a los programas federales de la importancia del mejoramiento de los indicadores para la consolidación del proceso • Aceleración en la adopción de mejoras tanto a los objetivos como a los indicadores de los programas / Mayor asistencia técnica • La MIR es un instrumento que es dinámico en el tiempo pero debe contar con una consolidación • Concientización de que la aprobación de indicadores es un proceso gradual en el que los programas mejoran continuamente y es además, un proceso dinámico en el tiempo

35. ANEXOS

36. Variables Calificación MIR

37. Diagnóstico General de las matrices • Se determinó una calificación en la que se consideran elementos que debe contener la Matriz de Indicadores para Resultados: • Cumplimiento • Calidad • Planeación Nacional (6 puntos) • Fin (6 puntos) • Propósito (12 puntos) • Componentes (10 puntos) • Actividades (6 puntos) Ponderación 40% Ponderación 60% • Lógica Vertical (30 puntos) • Lógica Horizontal (30 puntos)

38. Indicadores • Diseño • Indicadores de los diferentes niveles de la MIR permiten monitorear el programa • Los medios de verificación planteados son suficientes y necesarios para obtener información y verificar estimaciones Diagnóstico General de las matrices • Fin debe estar vinculado con el objetivo estratégico de la dependencia o entidad • Propósito único y cambio específico en la población objetivo • Componentes suficientes y necesarios • Para el análisis de la calidad de las MIR, en cuanto a “Diseño” e “Indicadores“ se consideraron los siguientes elementos:

39. Diagnóstico MIR 2010

40. Comparativo Diagnósticos 2008 – 2010 (Global) Semaforización MIR 2010 (Clasificación S y U) • Avance en diseño de la MIR y mejores indicadores • Semaforización verde aumentó de 25 a 40 programas Semaforización MIR 2008 (Clasificación S y U) Semaforización MIR 2008 diseño (Clasificación S y U) Semaforización MIR 2010 diseño (Clasificación S y U) • Mayor vinculación entre los objetivos • Más de la mitad de las MIR en semaforización verde SEMAFORIZACIÓN INDICADORES 2008 (CLASIFICACIÓN S Y U) SEMAFORIZACIÓN INDICADORES 2010 (CLASIFICACIÓN S Y U) • Mejoras en diseño y relación con el objetivo que mide • Semaforización roja disminuyó de casi 60% a 41%

41. Diagnóstico general MIR 2010 • Cerca del 40 por ciento de los programas mejoraron la calidad de sus MIR (11 de rojo a amarillo, 30 de amarillo a verde). • 47 por ciento de las matrices permanecieron en el mismo nivel que en 2008, sin embargo una gran parte de las MIR se acercaron a su nivel inmediato superior • 16 por ciento de los programas disminuyeron en la calidad de su MIR y requieren de una mayor labor para regresar al nivel que tenían anteriormente (aunque únicamente 8 disminuyeron de verde a amarillo)

42. Diagnóstico general MIR 2010 • (DICONSA) • Oportunidades • Rescate de espacios públicos • Programa de la Mujer en el Sector Agrario (PROMUSAG) • Becas para realizar estudios de posgrado • Programa de Apoyo a Contingencias Climatológicas • PRONABES • Programa Escuelas de Calidad • Programa Asesor Técnico Pedagógico • Fondo de Apoyo para la Calidad de los Institutos Tecnológicos • Programa Nacional de Financiamiento al Microempresario

43. Comentarios Principales Programas enviados a ASF

44. Resultados de las Sesiones de la MTRI

45. Resultados de las Sesiones de la MTRI

46. Resultados de las Sesiones de la MTRI

48. Contexto de Indicadores de Desempeño • La APF cuenta con aproximadamente 500programas presupuestarios de diversas modalidades con Matriz de Indicadores para Resultados (MIR) • Las casi 500 MIR cuentan con cerca de 4,500 indicadores de desempeño • Los programas con modalidad S y U tienen más de 1,700 indicadores • 464 – 26% de resultados (Fin y Propósito) • 1,309 – 74% de gestión (Componentes y Actividades) • En 2008, la normatividad presupuestaria obligaba a presentar MIR a los programas presupuestarios S y U • y en 2010 obligaba también , entre • otras, las modalidades B y E • El promedio de indicadores por • programa de las modalidades S y U • es de 12 (en 2008 era de 16)