Los resultados de Uruguay en la evaluación internacional PISA 2003

1. Los resultados de Uruguay en la evaluación internacional PISA 2003 Dr. Tabaré Fernández Lic. Cecilia Pereda Jornadas de Formación Permanente Montevideo, febrero de 2005 Colegio Sagrada Familia

2. Preguntas que inquietan • ¿Están bien preparados los jóvenes para afrontar los desafíos del futuro? • ¿Son capaces de analizar, razonar y comunicar sus ideas? • ¿Tienen la capacidad de continuar aprendiendo a lo largo de sus vidas? • ¿Podrán integrarse con éxito a la sociedad del conocimiento? • ¿Son capaces de comprender los complejos problemas que se presentan a los ciudadanos para que tomen decisiones libres y responsables? • ¿Tienen las competencias que requieren los puestos de trabajo calificados o por el contrario estarán confinados a empleos precarios, descalificados, con bajas remuneraciones aquí y también en otras partes del mundo?

3. Los objetivos de PISA • El Programa Internacional de Evaluación de Estudiantes (cuya sigla en inglés es PISA) de la Organización para la Cooperación y el Desarrollo Económico OCDE- proporciona algunas respuestas a estas preguntas en una perspectiva comparativa mundial hasta ahora jamás alcanzada en otros programas de evaluación que se han realizado desde principios de los años 70. • PISA evalúa en qué medida los estudiantes que se encuentran al final de la educación obligatoria, han adquirido algunos de los conocimientos y aptitudes que son esenciales para una participación plena en la sociedad. • Presenta evidencias sobre el desempeño de los estudiantes en lectura, matemática y ciencias; revela factores que influyen en el desarrollo de estas aptitudes en el hogar y en el centro educativo y examina las implicancias para el desarrollo de políticas educativas.

4. La utilidad inmediata de PISA para Uruguay • Uruguay podrá comparar la calidad y equidad de la educación con: • la mayor parte de los países de Europa, • con Estados Unidos y Canadá • con Argentina, Chile, Brasil, México, Perú y en 2006 también con Colombia • Asia-Pacífico y Oceanía • Un proceso de evaluación externo a la propia ANEP y a los colegios privados. • Es la segunda evaluación externa que hace la ANEP, siendo la primera aquella que hiciera la CEPAL entre 1990 y 1993. • Una de las principales razones para ingresar al programa PISA: • la congruencia entre el marco teórico-pedagógico que ha desarrollado y el enfoque de la evaluación que en el Uruguay se ha desarrollado desde 1996.

5. ¿Qué es PISA? • Es un programa de la Organización para la Cooperación y el Desarrollo Económico (OCDE) lanzado en 1997 para complementar el sistema de indicadores educativos de los países miembros. • Se aplica a jóvenes de 15 años escolarizados en la educación media, sin importar en qué tipo de escuela están. • Diagnostica cuál es el nivel de competencias que han alcanzado en Lengua, Matemática, Ciencias y Resolución de Problemas • Evalúa competencias para la vida, no programas vigentes • las competencias son definidas universalmente por los países • pero no se trata de un “mínimo común” • sentido global, propio de la sociedad del conocimiento

6. Los Ciclos de PISA • Se realiza en “Ciclos”, cada tres años, enfatizando un área como central en cada ocasión: • 2000: lengua • 2003: matemática • 2006: ciencias • Uruguay se incorporó al Programa en la evaluación de 2003 y se ha comprometido a participar en el 2006.

7. ¿Por qué PISA? • Está fundamentado teóricamente en un modelo dinámico de largo plazo de aprendizaje a lo largo de la vida. • Centralidad del concepto de alfabetización • Competencias instrumentales y transversales • Prioridad de las competencias de reflexión y de crítica • Riguroso desarrollo metodológico que aseguran la validez • La evaluación comienza a prepararse 3 años antes • Publica un marco teórico-pedagógico detallado • Esfuerzo cooperativo por desarrollar actividades no sesgadas por área geográfica, género o étnica. • Las pruebas no se limitan a la “respuestas de múltiple opción”. Evalúa: • procesos y creatividad • a través de actividades que requieren la construcción de la respuesta

8. ¿Por qué PISA? (II) • Desde el punto de vista sociológico, se destaca el amplio relevamiento de teorías sobre cuáles son los factores familiares y escolares que inciden en la calidad y la igualdad • Contextualizan los resultados según nivel socioeconómico y capital cultural • Se hacen estudios específicos que innovan la agenda de la investigación: • En 2000: “Estrategias de aprendizaje” y “Compromiso con la escuela”, • En 2003: TIC y Expectativas educacionales. • Una evaluación con absoluta transparencia y rigor metodológicos • Amplia y detallada documentación técnica de todas las etapas del proyecto • Controles múltiples de la calidad de los registros hechos por auditorías externas • Libre acceso a todas las bases de datos y las actividades de evaluación

9. Países participantes en 2003 • Europa: • Alemania, Austria, Bélgica, Dinamarca, España, Finlandia, Francia, Grecia, Holanda, Irlanda, Islandia, Italia, Latvia, Liechtenstein, Luxemburgo, Noruega, Polonia, Portugal, Rusia, República Checa, República Eslovaca, Serbia y Montenegro, Suecia y Suiza • América: • Brasil, Canadá, Estados Unidos, México y Uruguay. • En 2000: Argentina, Chile y Perú • Asia y Oceanía: • Australia, China (Hong-Kong y Macao), Corea del sur, Indonesia, Japón, Nueva Zelandia y Tailandia • África: • Túnez

10. Marco Teórico de Referencia para Matemática y Lectura

11. Matemática: un cambio necesario • El concepto de OCDE/PISA se relaciona con el grado en el que los jóvenes de 15 años pueden ser considerados ciudadanos reflexivos, informados y consumidores inteligentes, que realizan análisis matemáticos necesarios para vida cotidiana. • Todas las personas se ven enfrentadas cada vez más con una variedad de situaciones que involucran conceptos matemáticos en lo cuantitativo, espacial o de las probabilidades (ANEP/GIE, 2005) • Sin embargo, durante casi todo el siglo XX los curricula escolares estaban principalmente orientados a formar una elite de matemáticos, ingenieros y científicos. • El fracaso de grandes masas de estudiantes en matemática fue interpretado como algo natural que estaba relacionado con la falta de vocación de los alumnos o el carácter especializado de la disciplina. (OECD/PISA, 2004: 37).

12. Concepto de alfabetización matemática • La capacidad individual de: • identificar y comprender el rol que la matemática juega en la sociedad; • de hacer juicios fundamentados • y de usar la matemática para el logro de las metas y necesidades personales • propias de un ciudadano reflexivo, comprometido y constructivo.

13. Dimensiones de la evaluación • El contenido lógico-matemático que es abordado por las actividades • Los procesos y las competencias que requieren ser activadas para observar, modelizar y darle sentido a los problemas que enfrentan • Las situaciones y los contextos en que las personas deberán utilizar sus conocimientos.

14. Contenidos • PISA definió 4 áreas de contenidos lógicos con raíces las sub-disciplinas matemáticas clásicas: • Espacio y forma : geometría • Cambio y relaciones: álgebra • Cantidades: aritmética • Incertidumbre: estadística y probabilidad • Reconociendo el distinto énfasis con que estas áreas aparecen en los curricula nacionales, PISA optó por informar también resultados por contenidos.

15. Usos y contextos • Situaciones personales • Situaciones ocupacionales o educativas • Situaciones públicas • en el ámbito local • a nivel nacional • Contextos científicos y/o tecnológicos especializados

16. Proceso de matematización Re-organización de la información en términos matemáticos, “activando” los conceptos apropiados y verificando cuáles supuestos del modelo son aceptables. Comprensión de una situación problemática en la vida cotidiana Resolución del problema utilizando los conocimientos matemáticos personales Re-traducción de la solución formal al contexto y características de la vida cotidiana

17. Competencias • Para realizar con éxito este proceso de matematización se requieren de varias competencias, que empíricamente fueron agrupadas en tres: • Reproducción (rutinas operatorias) • Conexión (secuencias, funciones, etc) • Reflexión (conceptos, creatividad, crítica)

18. Concepto de alfabetización lectora • La habilidad de entender, usar y reflexionar sobre distintos textos para alcanzar objetivos propios, desarrollar el conocimiento y potencional personal y participar eficazmente en la sociedad. • Esta definción va más llá de la noción de decodificación de material escrito • Incorpora la comprensión y la reflexión sobre el texto.

19. Dimensiones de la evaluación en lengua • La forma o tipo de texto • El uso para el cual el texto fue construido • Competencias que requiere la tarea • Estas tres dimensiones se operacionalizan hasta el diseño de cada una las actividades • PISA clasifica cada actividad según el tipo de texto, el uso y la competencia predominantemente exigida para desarrollar la tarea

20. Competencias • En el proceso de lectura se requieren activar las siguientes competencias: • Búsqueda de información • Interpretación global y específica del texto • Reflexión, evaluación y toma de postura frente al texto • Se parte del supuesto que en cada una de las competencias, los alumnos han alcanzado diferentes “niveles de dominio”

21. PISA 2003 en Uruguay Una primera aproximación

22. Universo del estudio • El universo definido por PISA fueron jóvenes de 15 años, nacidos entre el 1º abril de 1987 y el 31 de marzo de 1988. • Debían estar cursando educación post-primaria en cualquier modalidad, tanto pública como privada. • Estos jóvenes según distintas fuentes, serían alrededor de 40 mil de los 54 mil jóvenes que conforman la cohorte. • Los resultados de PISA representan por lo tanto los conocimientos del 74% de los jóvenes de 15 años

23. Muestra y requisitos de cobertura • La muestra es aleatoria, representativa de las escuelas y alumnos en relación a la distribución de la matrícula • Para que PISA acepte la participación de un país debe alcanzar a evaluar efectivamente: • el 80% de los alumnos inicialmente muestreados • el 85% de las escuelas seleccionadas • En total se seleccionaron 5835 alumnos y 243 centros. • En 2003 el Reino Unido no cumplió estos requisitos y sus resultados no fueron considerados. En el año 2000, Holanda no alcanzó estos requisitos.

24. Muestra de Uruguay

25. Aplicación de las pruebas • Se realizó en el mes de agosto de 2003 • Cada centro educativo estableció la fecha de conveniencia • La prueba tuvo una duración de 2 horas • cada alumno respondió uno de los librillos de prueba con 4 partes cada uno • cada librillo contenía actividades de las cuatro áreas

26. Informes • A nivel mundial, los resultados de PISA 2003 fueron hechos público el 7 de diciembre de 2004. • Se presentaron dos libros: • Learning for the world of tomorrow • Problem - solving • Se liberaron todas las base de datos en el sitio web • Se liberaron actividades de la evaluación

27. Los resultados 2003 se informan: • Por área para Lengua y Ciencias • Un resultado general para Matemática y por cada una de las cuatro áreas de contenidos • En forma de “puntajes” • En forma de “niveles de dominio”

28. Resultados por puntajes • Un puntaje en escala general para cada área: • Referencia a los alumnos de los países de la OCDE • El promedio de la OCDE es de 500 • El “error estadístico” es vital para comparar • Para cada país se informa un promedio y el error estándar de la media • Se genera un “intervalo de confianza” dentro del cual es más probable que se ubique el verdadero resultado para cada país

29. Resultados mundiales en matemática: • Uruguay • 422 puntos • Peor que Serbia y Turquía • Mejor que Thailandia y México • En primer lugar se ubican: • Hong-Kong 550 • Finlandia 544 puntos • Corea del Sur 542 puntos • Los tres peores: • Indonesia 360 puntos • Brasil 356 puntos • Túnez 359 puntos

30. Matemática en América Latina

31. Resultados mundiales en Lectura • Uruguay: 434 puntos • El mejor país fue Finlandia 543 puntos • El peor país fue Túnez 375 puntos

32. Lectura en América Latina

33. Lectura: niveles de dominio en América Latina

34. Hipótesis sobre la estructura social del país • Por lo general, se ha acentuado la idea de que existe una relación directa entre el nivel de ingreso y los resultados educativos. • Existe evidencia que la respalda a nivel mundial desde un estudio publicado en 1982. • Sin embargo, recientemente, se explora una hipótesis más sofisticada: • La distribución del conocimiento escolar es un efecto de la estructura de cómo la sociedad distribuye el bienestar material que genera.

35. Índice de Desigualdad de Gini y promedio en Matemática

36. Resultados dentro de Uruguay Por grado Según contexto social de la escuela Según subsistema Según Plan 86 y 96

37. Resultados por grado en Lectura

38. Relación entre el contexto socio-cultural de la escuela y los niveles de matemática

39. La necesaria contextualización socio-cultural: Público / Privado

40. Resultados en Matemática para 4tos y 5tos

41. Resultados según Plan de CB

42. ¿Qué podemos aprender de estos resultados ? • En promedio, nuestros alumnos tendrán grandes problemas para integrarse a la sociedad del conocimiento. • Sus competencias son básicas y elementales en el mejor de los casos • No son capaces de alcanzar los niveles más exigentes de reflexión y crítica. • Los alumnos han pasado entre 9 y 12 años de sus vidas en la educación formal pero expuestos a curricula que no les proporcionan oportunidades de aprendizaje adecuadas a las exigencias contemporáneas

43. ¿Qué podemos aprender de estos resultados ? • El sistema educativo permanece segmentado social e institucionalmente • Contamos con una elite académica que tiene un desempeño similar al promedio de OCDE y que asiste al sector privado • Una muy importante masa de alumnos con un nivel rudimentario que asiste a los liceos y escuelas técnicas • Además, una cuarta parte de los jóvenes de 15 años no está en el sistema educativo • El problema había sido ya detectado en el diagnóstico de CEPAL 1990=1993.

44. ¿Qué podemos aprender de estos resultados ? • Una oportunidad única para acordar una agenda de políticas educativas • Curriculares • Lineamientos didácticos • Equidad social • Una oportunidad para profundizar la reflexión pedagógico-didáctica . • Un diagnóstico sólidamente fundamentado en una investigación de gran calidad.

45. ¿Preguntas?¿Comentarios?

46. Muchas gracias por la atención Dirección mundial en Internet: www.pisa.oecd.org Dirección de correo para materiales de la ANEP pisauruguay@adinet.com.uy Dirección de correo Depto de Sociología de la UDELAR tabaref@fcs.edu.uy