1 / 42

Evaluación de Programas

Evaluación de Programas. MAURICIO OLAVARRIA GAMBI, Ph.D. Instituto de Asuntos Públicos Universidad de Chile. Estructura de la Presentación. Introducción Tipos de Evaluación Ex – Antes Intermedia Ex – Post Ejemplos de aplicación de métodos de evaluación.

rhiannon
Download Presentation

Evaluación de Programas

An Image/Link below is provided (as is) to download presentation Download Policy: Content on the Website is provided to you AS IS for your information and personal use and may not be sold / licensed / shared on other websites without getting consent from its author. Content is provided to you AS IS for your information and personal use only. Download presentation by click this link. While downloading, if for some reason you are not able to download a presentation, the publisher may have deleted the file from their server. During download, if you can't get a presentation, the file might be deleted by the publisher.

E N D

Presentation Transcript


  1. Evaluación de Programas MAURICIO OLAVARRIA GAMBI, Ph.D. Instituto de Asuntos Públicos Universidad de Chile

  2. Estructura de la Presentación • Introducción • Tipos de Evaluación • Ex – Antes • Intermedia • Ex – Post • Ejemplos de aplicación de métodos de evaluación

  3. ¿Qué es la Evaluación de Programas? • Es la aplicación sistemática de procedimientos y métodos de investigación social para juzgar la utilidad de programas de intervención social (Rossi y Freeman 1993) • Involucra, por un lado, la comparación de un patrón de deseabilidad con la realidad y, por otro, la preocupación por alcanzar eficazmente los objetivos alcanzados (Cohen y Franco 2000)

  4. Propósitos de la Evaluación • Estimar el aporte de las políticas y programas en ejecución • Ponderar la utilidad de las modificaciones propuestas • Juzgar la contribución de nuevas iniciativas • Incrementar la efectividad de la gerencia de políticas y programas • Establecer mecanismos de control y responsabilidad pública (accountability)

  5. Evaluación de Programas • Tipos de preguntas que buscamos responder • ¿Se implementó el programa como se pensó? (monitoreo) • ¿Estamos llegando a la población objetivo? (monitoreo) • ¿Cómo es la distribución del beneficio? (monitoreo) • ¿Ha cambiado la realidad/problema? (impacto) • ¿Son mayores los beneficios? (Costo beneficio) • ¿Alternativas más eficientes? (Costo efectividad)

  6. Efectos Políticos de la Evaluación • El Evaluador se ubica en el centro de una red en que diversos intereses se confrontan • Quienes promovieron, apoyaron, financiaron, impulsaron o decidieron la puesta en práctica del programa • Quienes reciben beneficios del programa • Quienes se opusieron • Quienes no satisficieron sus intereses • Los evaluadores interesados en los aspectos metodológicos de la evaluación

  7. Tipos de Evaluación • Evaluación Ex – Ante • Evaluación de Diseño • Evaluación de Eficiencia • Evaluación Intermedia • Seguimiento y Monitoreo • Evaluación Ex – Post • Evaluación de Resultados • Evaluación de Impacto

  8. Evaluación Ex - Ante • Evaluación de diseño: consistencia entre • Características del Problema que será abordado • Objetivos del programa • Actividades consideradas en el programa • Evaluación de eficiencia: relaciona costos incurridos y resultados alcanzados por el programa • Análisis Costo – Beneficio • Análisis Costo - Efectividad

  9. Evaluación de Eficiencia • Análisis Costo – Beneficio: es una comparación de costos y beneficios expresados en términos monetarios • Análisis Costo – Efectividad: • Los resultados del análisis se expresan en términos sustantivos • … cuánto producto se alcanza por unidad de costo incurrido • Ambos métodos permiten jerarquizar racionalmente los programas según la relación entre sus costos y beneficios/efectividad

  10. Análisis Costo Beneficio • Utilidad: • ¿Es la iniciativa beneficiosa? • Entre varias ¿cuál es la iniciativa que genera los mayores beneficios (excedentes)? • Consideraciones: • ¿Qué costos? • ¿Qué beneficios? • ¿Costos y beneficios para quién? • Dificultad de acceso a la información

  11. Ejemplo: Costos del Delito. ¿Por qué? • ¿Son eficientes nuestras políticas de contención del crimen? • ¿Alternativas más eficientes? • ¿Sólo prevención? • ¿Qué tipo de contención? • ¿Combinación de intervenciones? • ¿Cuanto debemos invertir para contener o reducir el crimen?

  12. Consideraciones y Métodos para identificar Costos del Delito y Beneficios de PSC • Unidad de medida: dinero • Valoración contingente • Precios hedónicos • Contabilización de pérdidas y gastos • Precios sombras • Costos de Oportunidad • Externalidades • Tasa de Descuento • Costos y gastos directos • Consideraciones éticas

  13. Noción de Costos Económicos del Delito Pérdida de bienestar que sufren las víctimas y la sociedad – y que son susceptibles de ser valoradas económicamente –, las inversiones, gastos o acciones que deben realizar los ciudadanos para evitar ser víctimas de un delito y el gasto público orientado a prevenir el crimen, identificar, perseguir y hacer efectiva la responsabilidad de los delincuentes (Olavarría 2005)

  14. Tipos de Delitos Analizados • Contra las personas: homicidio, lesiones, violación y delitos sexuales, lesiones, violencia intrafamiliar. • Contra la propiedad: robo y hurto. • Delitos económicos: estafa, cheques, tributarios y similares

  15. Tipos de Costos • Costos sociales • Ingreso no percibido • Costo de oportunidad social de los delincuentes • Costo de bienes robados y hurtados • Costos médicos • Costos del Estado: • Agencias del Gobierno • Policías • Tribunales • Cárceles

  16. Cuestiones Metodológicas • Algunos Delitos: • Homicidio • Lesiones • Violencia intrafamiliar • Robo, hurto • Delitos Económicos

  17. Matriz de Costos del Delito

  18. Cifra Negra del Delito Fuente: Elaboración propia con datos provenientes de la “Encuesta de Victimización y Percepción Región Metropolitana 2001” (n = 2.401 observaciones), División de Seguridad Ciudadana, Ministerio del Interior.

  19. Monitoreo y Seguimiento • ¿Por qué la intervención (no) tuvo impacto? • Objetivos del Monitoreo: • Ajustar implementación con diseño • Evaluación sistemática de cobertura e implementación • Preguntas de Monitoreo: • ¿Llega el programa a la población objetivo? • ¿Es la implementación del programa consistente con el diseño? • ¿Cuánto cuesta la implementación?

  20. Monitoreo y Seguimiento • Monitoreo sobre la Cobertura: • Población objetivo • Cobertura • sub-cobertura • sobre-cobertura • Sesgos

  21. Monitoreo y Seguimiento • Monitoreo de la entrega de servicios • Inexistencia de programa o tratamiento incompleto • Tratamiento equivocado • Tratamiento no estandarizado

  22. Evaluación Ex - Post • Evaluación de Resultados • Evaluación de Impacto • Programas de Cobertura Parcial • Diseño Experimental • Diseño Cuasi – Experimental • Programas de Cobertura Total • Controles Reflexivos • Controles Sombras

  23. Evaluación Ex - Post • Evaluación de Resultados • Busca identificar la pertinencia y el grado de logro de los objetivos planteados originalmente al programa • Evaluación de Impacto • ¿Qué cambios ocurridos en la realidad pueden ser razonablemente identificados como una consecuencia del programa en análisis?

  24. Evaluación de Impacto • Objetivo de la E.I. • ¿Cómo se hace una E.I.? • Se aplica a programas de cobertura parcial • Comparación • ¿Qué es el resultado bruto de la E.I.?

  25. Modelo Experimental • Comparación entre dos grupos y antes / después • Uno recibe el tratamiento y el otro no • La asignación a los grupos se hace al azar • Si hay perfecta comparabilidad, la diferencia puede ser atribuida a la intervención • Idéntica composición • Idénticas experiencias • Idéntica predisposición

  26. Modelo Experimental • Estimación del Impacto: la doble diferencia Impacto = (GTt1 – GTt0) – (GCt1 – GCt0)

  27. Limitaciones del Modelo Experimental • Consideraciones éticas • Tiempo y costo • Problemas de validez interna • Falla en la aplicación del “tratamiento” (cumplimiento parcial) • Abandono o deterioro de la muestra (atrición) • Efectos del experimento (efecto Hawthorne) • Muestra pequeña • Problemas de validez externa • Muestra no representativa • Diferencias entre el experimento y tratamiento real

  28. Diseño Cuasi-Experimental • Grupo de comparación no es determinado al azar • Grupo de comparación debe asemejarse lo más posible al grupo de tratamiento • Cuidado con el sesgo de selección

  29. Diseño Cuasi-Experimental • Alternativas de construcción grupo de comparación: • Pareo • Individual • Grupal • Procedimientos Estadísticos • Controles Genéricos

  30. Limitaciones del Cuasi – Experimento • Consideraciones éticas • Tiempo y costo • Problemas de validez interna • Problemas de comparabilidad en los grupos • Cumplimiento parcial • Abandono o deterioro de la muestra (atrición) • Sesgo de selección • Problemas de validez externa • Diferencias entre el grupo estudiado y otras poblaciones o diferencias en los contextos de esas poblaciones

  31. E.I. Programas de Cobertura Total • Controles Reflexivos • Controles Sombras • Evaluación de Expertos • Juicios de Administradores de Programas • Juicio de Participantes

  32. Diseño Cuasi-Experimental CASO: Pobreza, Crecimiento Económico y Políticas Sociales Análisis comparado de Chile, Uruguay, Costa Rica, Bolivia y Paraguay

  33. Política Social en perspectivaa) Propósito de la evaluación • Comprobar si la reducción de la pobreza observada en Chile entre 1987 y 2003 se debe en un 80 o 90% al crecimiento económico • Establecer contextos para la asociación entre crecimiento económico y reducción de la pobreza y desarrollo social • Determinar si hay asociación entre largas tradiciones de política social y reducción de la pobreza y desarrollo social

  34. Política Social en perspectivab) Diseño • Comparación de casos: • Caso central: Chile • Casos similares: Uruguay y Costa Rica • Casos diferentes (contrafactual): Bolivia y Paraguay • Comparaciones ex-post (con similar origen) y análisis de procesos económicos, políticos e intervenciones de política social • Unidad de análisis: país

  35. Política Social en perspectivac) Tratamiento • Existencia (o no) de largas tradiciones de intervención de política social en contextos de: • Diferentes tendencias de crecimiento económico • Diferentes contextos político-institucionales

  36. Política Social en perspectivad) Análisis • Asociación entre variables • Variables dependientes: • Variaciones en incidencia de la pobreza • Variaciones en desarrollo social • Variables independientes: • Tendencias en el crecimiento económico • Evolución político institucional • Tradiciones de intervenciones de política social

  37. Política Social en perspectivae) Resultados del análisis • Asociación entre desarrollo social - baja pobreza y crecimiento en contextos de largas tradiciones de política social (Chile y CR) • Baja pobreza, alto desarrollo social y lento crecimiento de largo plazo (Uruguay) • Crecimiento no se traduce en mas dinámico desarrollo social y disminución de la pobreza cuando hay carencia de una larga tradición de políticas sociales (Bolivia y Paraguay)

  38. Política Social en perspectivae) Implicancias del análisis • ¿Requiere el crecimiento económico de precondiciones para ser efectivo en la reducción de la pobreza? • El análisis sugiere que consistentes esfuerzos en educación, salud y protección permitirían la acumulación de capital humano necesario para aprovechar las oportunidades que da el crecimiento

  39. Diseño Cuasi-Experimental CASO: Proyecto “Los vecinos nos cuidamos comunicándonos” Municipio de Nogales

  40. Proyecto Municipio de Nogales • Objetivo • Disminuir delitos y sensación de temor de los vecinos de Villa El Esfuerzo • Localización • Territorio de Villa El Esfuerzo • Intervención • Instalación de sistema de alarma comunitaria • Actividades comunitarias de apoyo a la instalación del sistema de alarmas

  41. Proyecto Municipio de Nogales: Alternativas de Evaluación • Control Reflexivo • Comparación antes – después • La población es comparada consigo misma • Control Genérico • La evolución de los indicadores de la Villa son comparados con la evolución de los indicadores del Municipio, Provincia o País • Diseño cuasi – experimental ex – post • Debe identificarse una “Villa comparable” que no haya implementado el sistema de alarma comunitaria • ¿Cómo era la situación antes de la alarma? • ¿Periodo de implementación?

  42. Ideas Centrales • La evaluación de programas • Es la aplicación de métodos de investigación en ciencias sociales al análisis de una intervención y/o problema público • Requiere: • Rigor • Atender a cuestiones prácticas • El evaluador está en el centro de una red de intereses

More Related