La evaluación del Programa Colombiano de Prospectiva Tecnológica e Industrial

1. La evaluación del Programa Colombiano de Prospectiva Tecnológica e Industrial Javier Medina Vásquez Profesor Titular, Universidad del Valle FLACSO Ciudad de México, Octubre 23, 2008

2. Agenda • Antecedentes del PNP y de la Evaluación • El proceso de la evaluación • Resultados de la evaluación • Lecciones aprendidas • Asuntos críticos en un proceso de evaluación en prospectiva

3. 1. Antecedentes de la Evaluación • ¿El proceso previo que hubo antes?, ¿Cómo se llevó a la agenda política? (¿vendiendo miedo u oportunidades?). • ¿Como empujar el tema? • 2002: Efecto Envidia (ONUDI), casos (Brasil, Uruguay, UK); Apoyo oportuno (CAF y MCIT); Institución con credibilidad y trayectoria (Colciencias). • 2003 -2004 Necesidades dentro de la organización (Colciencias, MADR); Liderazgo (Directores); Redes (Centros de Excelencia); prospectiva de la prospectiva (evaluación); • 2005-2008. Líderes técnicos; apoyos (equipos vigía, redes internacionales); escucha (actores claves); gerencia especializada; Creación de demanda (más que una moda, una necesidad). Generosidad y productividad (producción y distribución de conocimiento). Satisfacción de necesidades de país (opciones de desarrollo).

4. Objetivos Visión de País, transición hacia sociedad y economía de conocimiento Ejercicios de prospectiva y vigilancia tecnológica Formación de Formadores y Apropiación Social Conocimiento Prospectivo Programa Colombiano de Prospectiva Tecnológica e Industrial Políticas Públicas Aprender Haciendo Masa crítica

5. 2. Colombian Foresight Programme Evaluation(Key Findings) PREST, Manchester Institute of Innovation Research The University of Manchester Rafael Popper Ian Miles Luke Georghiou Michael Keenan

6. The Evaluation Process • Stakeholders Interviews. structured face-to-face and telephone conversations with more than 50 people, sponsors, organisers, project leaders and project members • Case Studies. in-depth understanding of the Programme results, the evaluation team considered necessary to conduct case studies. • Documentary Analysis. This required the identification and analysis of documents produced by the CTFP. • International Evaluation Panel. foresight practitioners from five countries (Malta, Russia, Hungary, Spain and the UK) • Online Stakeholders Survey.

7. Scale!

8. Capacity Building Activities • basic courses – to raise awareness of the Programme’s rationales, discuss about similar experiences in other parts of the world, and introduce basic principles about the above mentioned approaches. These courses involved large number of people with figures around 100 participants and a few seminars with more than 300 people. • intermediate courses – to build absorptive capacities through learning by doing. These courses were mainly organised with a two-fold objective: introducing participants to a particular method or technique; and combining the learning with workshop-type activities aimed at generating new and relevant knowledge for ongoing projects. These courses normally involved from 15 to 60 people. • advanced courses – to develop strong process design, methods management and process management capabilities of research groups and project leaders associated to the 24 projects supported by the Programme. An important element of the training was the emphasis on data analysis and interpretation. These were often intensive course with 5 to 15 participants. • courses for trainers – to update knowledge or upgrade skills on foresight, scanning and productive chain approaches. These courses were often delivered by international practitioners (mainly from Brazil, Spain, USA and the UK). Process facilitation as well as group and information management skills were among the key elements of these courses. The target audience was the core team, including the Programme manager, one advisor and 2-3 assistants.

9. Training & Capacities 3,721

10. Management In the second cycle the Programme was improved considerably. This was possible because the programme manager expanded the first cycle team, which consisted of four people: • Programme manager (supervising ongoing and planning future activities); • Technical advisor (controlling administrative and technical issues); • Webmaster (supporting Web surveys and the like); and • Secretary (helping with logistics and communication). So, during the second cycle 10 new members were recruited: • 5 technical/operational assistants (2 full- and 3 part-time); • 1 budget administrator; and • 4 consultants (designing and implementing OPE).

11. Intro & Rationales Identification Projects Assessing Results, Immediate Impacts,Potential Impacts Describing Results, Immediate Impacts,Potential Impacts Capacity Building Assessing Foresight, Scanning, Productive Chain Courses The Future?

12. Participation by Sectors

15. Products

16. An iconic example of excellent use of public funding

17. Stakeholders Survey:Do you think the Programme should continue? Yes = 78 No = 1

18. Positioning (national & international) • international bodies – such as Andres Bello Agreement (CAB - www.cab.int.co); the Andean Development Corporation (CAF - http://pac.caf.com); ECLAC (www.eclac.org); UNESCO (www.unesco.org); UNIDO (www.unido.org); Organisation of Ibero-American States (http://www.oei.es); among others. • national bodies – such as Colciencias (www.colciencias.gov.co); National Training Service (SENA - www.sena.edu.co); National Planning Department (www.dnp.gov.co); Ministry of Education (www.mineducacion.gov.co); National Observatory of Science and Technology (www.ocyt.org.co); Ministry of Commerce (www.mincomercio.gov.co); Ministry of Agriculture and Rural Development (www.minagricultura.gov.co); Ministry of Mining and Energy (www.minminas.gov.co); National Productivity Council (www.cnp.org.co); National Agricultural Network (www.agronet.gov.co), etc. • regional bodies – e.g. Valle del Cauca Government (www.valledelcauca.gov.co); Cundinamarca Planning Secretary (www.planeacion.cundinamarca.gov.co); Cesar Regional Government (www.gobcesar.gov.co); Cartagena Chamber of Commerce (www.cccartagena.org.co); etc. • academic and scientific institutions – e.g. El Valle University (www.univalle.edu.co); National University (www.unal.edu.co); Externado University (www.uexternado.edu.co); Pontifical Javeriana University (www.puj.edu.co); Los Llanos University (www.unillanos.edu.co); Technological University of Pereira (www.utp.edu.co); Academic Media (www.universia.net.co); CIDET (www.cidet.com.co); Army University of Nueva Granada (www.umng.edu.co); Colombian Engineering School (www.escuelaing.edu.co); Del Norte University (www.uninorte.edu.co); Colombian Pedagogic and Technological University (www.uptc.edu.co/); Nariño University (www.udenar.edu.co); Sabana University (www.unisabana.edu.co), among others. • other actors in Latin America – e.g. Brazilian Ministry of Development, Industry and Commerece (www.mdic.gov.br); Guatemalan S&T Office (www.concyt.gob.gt); Salvadorian S&T Office (www.conacyt.gob.sv); Salvadorian Ministry of Economy (www.minec.gob.sv); Peruvian S&T Office (www.concytec.gob.pe); Pontifical Catholic University of Peru (www.pucp.edu.pe); Futures Node of Mexico (www.nodofuturomexico.org); Communication Secretary of Rio Negro in Argentina (www.comunicacion.rionegro.gov.ar); National Autonomous University of Mexico (www.unam.mx); among others.

19. Major Achievements • Original • Capacity • Value-for-money • Ownership • Impacts • Visibility • Experimental • Flexibility / Adaptive capacity • Responsive • Commitment • Well-networked • Bridge Roles? Territory? Expectations? Opportunities?

20. Other Key Achievements • The scale • The international standing • The level of engagement • The overall management and logistics • The Programme’s finance and funding • Implementation and impacts of results Measuring its effectiveness as a STI instrument: • consolidation of research groups • consolidation of S&T capacities of the country • contributing to research lines and programmes of STI institutions • building capacities & human resources (e.g. young researchers) • building international and national knowledge networks • influencing public and private policies

21. 4. Lecciones aprendidas: Perfil PNP Colombia • ¿Para qué? • Desarrollar capacidades para que a través del aprendizaje colectivo se mejore la respuesta de país. (puntual, acumulativa, efecto demostrativo) • ¿Para quién? • Gente o instituciones con proyectos de cambio, que requieren construir alternativas de futuro. • Enfoque • Abajo hacia arriba; limitado control, gran alcance en cobertura, baja gobernabilidad, alto y medio impacto. • Vía: cooperación y trabajo intensivo.

22. Asuntos a mejorar • Hilo conductor e integración • Visión Holística y síntesis • Aplicación a toma de decisiones (acción) • Apropiación (comunicación, circulación) • Aprendizaje (mecanismos de retroalimentación) • Perfil de aplicaciones (sectoriales) • El uso de conocimiento y resultados.

23. Asuntos a mejorar • Apoyo político: soporte, certeza, maduración • Alcance: Control técnico y político • Perfil: Comunicaciones (web, publicaciones, prensa, plataformas de difusión) • Efectividad: Apoyo de Gestión y número gestores • Sistematicidad: Manejo de Curva de aprendizaje • Acumulación: “Escalar” en gente y procesos • Capacidad ejecutiva: gestionar proyectos e implementar decisiones.

24. Subproductos: 12-18 meses • Estrategia de publicación en explotar los resultados y hacer síntesis (bilingüe). WEB –Medios de Comunicación – Textos. Interactividad • Publicaciones en journals. (artículos específicos, comparaciones, metodología de evaluación, gerencia del programa) • Compendio EFMN: Coordinación Univalle – Colciencias – U Manchester. Escritura y proceso de validación • Creación y desarrollo • Mapeo • Creación de boletines (4 páginas) bien estructurados para todos los proyectos. • Fases de proceso: diseño, actores, generación conocimiento, estrategia, renovación. • Cadenas productivas. • Evaluación. • Publicación oficial de la evaluación (versión cd que incluya los resultados del programa) .

25. 5. Puntos críticos de la evaluación en prospectiva • Enfoque: • Evaluación como oportunidad de aprendizaje • Precauciones: • Limitado poder de generalización • Naturaleza del sistema en el cual se realiza la intervención • Perspectivas • ¿Cómo evaluar la prospectiva orientada hacia la innovación? • ¿Cómo enfocar y evaluar la prospectiva orientada para “cablear” el Sistema Nacional de CT+I ? • ¿Cómo valorar las Capacidades e infraestructuras para realizar la prospectiva? • ¿Cómo valorar y potenciar la colaboración internacional y la sinergia nacional?

26. Asuntos por aclarar • Roles: Prospectiva explora pero no define, busca consensos y alternativas, propone pero no dispone. • Territorio de acción: límites. • Manejo de Expectativas: brecha entre lo esperable y lo lograble. Entre el dicho y el hecho hay mucho trecho. • ¿Cuando medir los impactos? • Capitalización de Oportunidades: aterrizaje concreto. • Manejo de instrumentos para viabilizar proyectos estratégicos en el tiempo correcto (timing). • Eslabones de cadenas de apoyo: No siempre se encuentran, no siempre duran, no siempre funcionan. • Solidez y articulación del Sistema Nacional de Innovación.

27. ¡MUCHAS GRACIAS! javiermedinav@hotmail.com