Metodología de diseño de especificaciones de pruebas a partir del modelo basado en evidencias

1. Metodología de diseño de especificaciones de pruebas a partir del modelo basado en evidencias Subdirección de Análisis y DivulgaciónMedellín, febrero de 2012

2. El ciclo de la evaluación MINISTERIO DE EDUCACIÓN NACIONAL ICFES Define políticas, propósitos y usos de las evaluaciones, así como los referentes de lo que se desea evaluar, en consulta con los grupos de interés. Hace seguimiento a estrategias y planes de mejoramiento. SECRETARÍAS DE EDUCACIÓN Y ESTABLECIMIENTOS EDUCATIVOS Diseña, construye y aplica las evaluaciones, así como analiza y divulga los resultados. Identifica los aspectos críticos. Diseñan, implementan y coordinan estrategias y planes de mejoramiento.

3. Para empezar… • ¿Qué características debe tener una prueba para que podamos afirmar que es válida?

4. Ahora vamos a analizar dos preguntas… • ¿Qué se puede afirmar acerca de lo que saben y saben hacer los estudiantes en cada caso?

5. Pregunta 1:

6. Pregunta 2: Pedro tenía algunos dulces guardados, se comió la mitad y regaló 2. Ahora tiene 4 dulces. ¿Cuántos dulces tenía guardados Pedro? A. 6 B. 8 C. 10 D. 12

7. Consideraciones importantes • A través de la evaluación se busca hacer inferencias válidas sobre los conocimientos, habilidades y capacidades de los estudiantes, con base en un conjunto de observaciones • Una buena evaluación debe sustentarse en instrumentos con alto grado de validez, de modo que se pueda establecer lo que los estudiantes saben y saben hacer

8. Consideraciones importantes • Validez:grado en que la evidencia empírica y la teoría dan sustento a las interpretaciones de los resultados de una medición: • Se mide lo que se supone que se quiere medir: consistencia entre los instrumentos de evaluación y sus referentes  resultados interpretables y utilizables • Calidad de las conclusiones que se efectúan a partir de las mediciones • Uso legítimo de las interpretaciones

9. Elementos claves: Validez y confiabilidad • El propósito del diseño de las pruebas es: • Asegurar su validez: que midan lo que se supone deben medir (alineación con estándares básicos) • Garantizar la confiabilidad: mediciones precisas • Comparabilidad • (entre grupos de referencia en un mismo momento y en períodos de tiempo)

10. ¿Qué es el diseño de especificaciones basado en el modelo de evidencias (DBE)? • Es un marco para el desarrollo de pruebas que busca asegurar la validez mediante la alineación de los procesos y los productos de las pruebas con los objetivos de las mismas • Es una familia de prácticas del desarrollo de instrumentos diseñada para aclarar lo que mide una prueba y apoyar las inferencias hechas con base en las evidencias derivadas de la misma

11. Organización en el DBE • El DBE organiza el trabajo de diseño e implementación en términos de estratos o niveles • Cada uno de los estratos o niveles tiene implicaciones para los otros estratos: • Estándar • Competencia • Afirmación • Evidencia • Tarea • Pregunta

12. Organización en el DBE

13. Organización en el DBE

14. Organización en el DBE

15. Organización en el DBE

16. Organización en el DBE

17. Organización en el DBE

18. SABER 5º y 9º: qué se evalúa Competencias en lenguaje, matemáticas y ciencias naturales que han desarrollado los estudiantes hasta quinto (primero a quinto - ciclo de básica primaria) y hasta noveno (sexto a noveno - ciclo de básica secundaria)

19. SABER 5º y 9º: competencias evaluadas

20. SABER 5º y 9º: componentes evaluados • Componentes: categorías conceptuales o los tópicos propios del área o la disciplina

21. Tres competencias que indagan por aspectos conceptuales y estructurales: Especificaciones de las pruebas de matemáticas de SABER 5º y 9º

22. Componentes evaluados en matemáticas (1/2): Especificaciones de las pruebas de matemáticas de SABER 5º y 9º

23. Componentes evaluados en matemáticas (2/2): Especificaciones de las pruebas de matemáticas de SABER 5º y 9º

24. Especificaciones de las pruebas de matemáticas de SABER 5º y 9º (1/3)

25. Especificaciones de las pruebas de matemáticas de SABER 5º y 9º (2/3)

26. Especificaciones de las pruebas de matemáticas de SABER 5º y 9º (3/3)

27. Ejemplo 1: matemáticas, quinto Competencia Planteamiento y resolución de problemas Componente Numérico variacional Resolver y formular problemas aditivos de comparación, combinación e igualación Afirmación Resolver situaciones aditivas rutinarias de comparación, combinación, transformación… Evidencia Tarea Situaciones donde haya que adicionar dos o más medidas de magnitudes para obtener un resultado

28. Pregunta:

29. Ejemplo 2: matemáticas, noveno Competencia Razonamiento y argumentación Componente Geométrico - métrico Utilizar técnicas y herramientas para la construcción de figuras planas y cuerpos con medidas dadas Afirmación Pasar de una representación bidimensional a una tridimensional Evidencia Situaciones en las que se debe elegir de entre varios desarrollos planos el que corresponde a un sólido dado Tarea

30. Pregunta:

32. Ejemplo 3: matemáticas, 11º Competencia Comunicación, representación y modelación Componente Aleatorio Reconocer la posibilidad o imposibilidad de ocurrencia de un evento a partir de una información dada Afirmación Identificar la posibilidad o imposibilidad de un evento según las condiciones del contexto enunciado Evidencia Situaciones en contexto aleatorio donde se presente la probabilidad de un evento y se indague por su significado en el contexto Tarea

33. Pregunta:

34. La señora Martínez desea ganar el mercado que ofrecen como premio. Sin embargo, no sabe a qué hora podría ir al supermercado para tener más opción de ganarlo. ¿Qué le aconsejaría usted?

35. Taller de entrenamiento de constructores Selección de constructores Construcción individual o en grupos Flujo de construcción y validación de ítems Diagramación ítem Revisión técnica Revisión por expertos temáticos Revisión de estilo Validación Revisión técnica Diagramación examen Revisión técnica Pilotaje Revisión diagramación Impresión examen Revisión impresión Calificación Análisis de ítems – preguntas dudosas Aplicación

36. Ventajas del DBE • Es un acercamiento proactivo al diseño y desarrollo de pruebas válidas y comparables • Formaliza y documenta las prácticas de diseño de pruebas • Permite el diseño de nuevos tipos de pruebas que no podrían ser creadas de manera efectiva a través de procesos tradicionales de diseño • Facilita la elaboración de descripciones sobre lo que saben y saben hacer los estudiantes (niveles de desempeño)

37. ¡GRACIAS POR SU ATENCIÓN! www.icfes.gov.co