Métodos y procesos para el desarrollo y construcción de exámenes

1. Métodos y procesos para el desarrollo y construcción de exámenes Taller para la Universidad del Valle de Guatemala Antonio Magriñá Director Ejecutivo División de Medición e Investigación 12 de junio de 2007

2. Quienes somos • Somos una asociación educativa sin fines de lucro que aboga por la excelencia educativa para todos los estudiantes a través de la colaboración continua de sus miembros que incluyen las escuelas secundarias, instituciones universitarias, sistemas de educación y organizaciones educativas.

3. Quienes somos Miembros • La participación activa de los miembros en los procedimientos es lo que garantiza la adecuada respuesta a sus necesidades y constituye una de las características excepcionales de los programas. • Participan: • En la Junta de Síndicos: 28 miembros electos por los representantes de las instituciones que componen y rigen la asociación. Los síndicos designan el presidente del College Board. • En las Juntas asesoras o consultivas: funcionarios directivos, profesores, profesionales de orientación y de ayuda económica procedentes de las instituciones miembros trabajan en cada programa de importancia. • En las asambleas anuales y regionales en Juntas, congresos técnicos, conferencias, comités y grupos de trabajo: Los representantes de las instituciones miembros hacen aportaciones, evaluaciones, revisiones, y comparten sus experiencias y conocimientos con colegas y expertos en las materias.

4. Dirección electrónica: oprla@collegeboard.com

5. Objetivos del primer dia Analizar algunos conceptos fundamentales de la evaluación del aprendizaje con exámenes - Construcciones lógicas y tipos de examen • Ventajas y limitaciones de un examen estandarizado • exámenes estandarizados y exámenes con referencia a criterio (criterion referenced) • Presentar un modelo de desarrollo sistemático de un examen

6. Objetivos • Usos de exámenes en la evaluación de la Aptitud y el aprovechamiento • Modelo de desarrollo de un examen • Desarrollo de especificaciones y alineamiento con los objetivos de enseñanza-aprendizaje • Redacción de ítems • Teoría general de medición • Uso de índices psicométricos y estadísticos • Análisis estadísticos de ítems • Construcción del examen: formas experimentales y formas operacionales • Desarrollo de Escalas: • Diseños y metodos de calibracion, igualacion y equiparacion • Interpretación de los resultados • Estudios de validez y otras investigaciones

7. CONSTRUCCIONES LOGICAS • APTITUD: • DEFINICIONES DEL DICCIONARIO DE LA LENGUA ESPAÑOLA DE LA REAL ACADEMIA (Ed.Espasa Calpe, 2001): “Capacidad para operar competentemente en una determinada actividad.” “ Capacidad o disposición para el buen desempeño o ejercicio de un negocio, de una industria, de un arte, etc.”

8. CONSTRUCCIONES LOGICAS: • Pruebas de: • APTITUD: Teoría cognoscitiva – procesos • Lo que la persona hace con lo que sabe, como aplica sus conocimientos • APTITUD: Capacidad para desempeñarse competentemente en actividad: • CIENTÍFICA • MUSICAL • MECÁNICA • Etc. • APTITUD ACADÉMICA • Razonamiento Verbal • Razonamiento Matemático

9. CONSTRUCCIONES LÓGICASPruebas de Aptitud vs Conocimiento • Conocimiento: • Teoría = Currículo • Conocimiento NO es MEMORIA unicamente • Taxonomía cognitiva de Bloom: • MEMORIA: aprendizaje y recuerdo de términos y conceptos • COMPRENSIÓN: comparar, extrapolar, organizar ideas • APLICACIÓN: uso del conocimiento • ANÁLISIS: extraer y organizar información para hacer inferencias y apoyar generalizaciones • SÍNTESIS: derivar relaciones abstractas, proponer planes y operaciones eficientes • EVALUACIÓN: opiniones y juicios informados; juicios sobre validez en función a criterios internos y externos

10. Cuestionamientos frecuentes al examen estandarizado • Influencia excesiva en la toma de decisiones administrativas y educativas • No evalúan niveles superiores de conocimiento y destrezas de pensamiento • No evalúan adecuadamente la capacidad de integrar, sintetizar, encontrar soluciones innovadoras, crear, imaginar • Se le da mucha importancia en perjuicio de otras formas de evaluar mas ligadas al proceso de enseñanza-aprendizaje • Disonancia entre los objetivos propuestos y la realidad de los estudiantes • Disonancia entre los objetivos propuestos y la realidad de la docencia • La inclinación a “enseñar para el examen” puede restarle amplitud, espontaneidad y creatividad al proceso de enseñanza-aprendizaje

11. Modelo para el Desarrollo de un Examen

12. Modelo del proceso de desarrollo de un examen Justificación o necesidad para el examen Por qué el examen Para qué el examen Para quién el examen Etapa de planificación Recursos humanos Recursos económicos Calendario Infraestructura Consideraciones políticas, técnicas y prácticas Etapa de diseño Fundamento teórico (validez de construcción) Criterios y estándares curriculares Tipo de examen/ítems Especificaciones Revisión Etapa experimental - prepruebas Evaluación Redacción de items Análisis Psicométricos Revisión/evaluación Etapa operacional Administración Análisis psicométricos (controles de calidad) Desarrollo de escalas o métricas y calificación Informes e implantación Validación y Seguimiento Formas nuevas, equiparación Etapa de investigación Evaluación y revisión

13. Justificación o necesidad para el examen • Propósito educativo: ¿Por qué se quiere un examen?, ¿Cuál es el propósito?, ¿Cuál es la necesidad o problema que espera resolver? • Uso: ¿Para qué se usará el examen? • Diagnóstico individual • Diagnóstico sistémico • Promoción de un nivel educativo a otro • Ingreso a universidad • Graduación (salida) • Certificación de competencias profesionales • Población: ¿Para quién será el examen? • Población a la que va dirigido • Nivel que se interesa evaluar • Toda la población del nivel seleccionado o una muestra

14. Etapa de planificación • Recursos humanos disponibles • ¿Quiénes desarrollarán el examen?: centro profesional de evaluación de la institución; grupo adhoc de docentes con asesoría especializada; organismo externo; combinación de los componentes anteriores • Asignación y distribución de los recursos humanos • Recursos económicos • Cuánto dinero habrá disponible para el desarrollo, operación y mantenimiento del examen • Quién pagará el examen: universidad, estudiantes, otros recursos • Infraestructura • Equipo • Espacio • Calendario: • Para cuándo se quiere el examen

15. Consideraciones políticas, técnicas y prácticas • Políticas: Impacto y aceptación de los distintos sectores universitarios: recintos, administración, facultad, estudiantes; probabilidad de continuidad más allá de cambios administrativos • Técnicas: Tipo de examen que se requiere para el uso; contenido; tipos de ítems; análisis estadísticos requeridos; nivel de dificultad; tiempo; comparabilidad • Prácticas: Tiempo para el desarrollo e implantación; recursos económicos y humanos; infraestructura para el desarrollo, aplicación y calificación

16. Etapa de diseño • Fundamento teórico: Teorías, modelos y marco conceptual para fundamentar el examen; tipos de examen; formatos de ítems • Criterios y estándares curriculares: en los que se sustentará el examen • Determinación del tipo de examen e ítems • Determinación de las especificaciones: contenidos, cantidad de ítems total y para cada área, dificultad, niveles de abstracción de los ítems, destrezas evaluadas, especificaciones estadísticas

17. Proceso de desarrollo • Selección y adiestramiento de los redactores • Redacción de ítems • Revisión y edición de ïtems: diversas revisiones internas y externas, revisión de contenido, de lenguaje, de estereotipos, de formato • Construcción de prepruebas • Administración de prepruebas: Selección de muestra representativa, adiestramiento, diseño de materiales administrativos • Análisis estadísticos y psicométricos de los ítems: dificultad, discriminación, confiabilidad, ajuste, etc. • Evaluación y revisión de los ítems • Selección de losítems que conformarán la versión operacional

18. Aspectos de control de calidad a considerar: • I- Selección de los comités de examinadores, redactores y otro personal experto • II- Desarrollo de las pruebas • III- Materiales de apoyo y procesos de aplicación de las pruebas • IV- Controles de calidad estadísticos y psicométricos • V- Controles de calidad de calificación e informes de resultados

19. I-Selección de los comités de examinadores, redactores y otro personal • Trabajo en equipo de • especialistas en contenido específico, redactores y editores especializados • expertos en desarrollo de pruebas, psicómetras, expertos en medición, estadísticas y evaluación. • Personal o servicios de apoyo: sistemas de información, personal clerical y secretarial, artistas gráficos, personal de imprenta y otros

20. I-Selección de los comités de examinadores, redactores y otro personal • Comités de examinadores: • Expertos o conocedores de la materia • En el caso del comité de la Prueba de Aptitud Académica se seleccionan especialistas en diversidad de áreas: • Linguística o literatura • Filosofía • Matemáticas y Ciencias • Ingeniería • Psicología y psicometría • Educación • Representatividad: • Balancear proporcionalmente: • Género y edad • Área académica • Geográfica e Institucional • Rotación de miembros del comité

21. FUNCIONES Y DEBERES DEL COMITÉ DE EXAMINADORES DE LA PRUEBA DE APTITUD ACADÉMICA (PAA) • Analizar los ofrecimientos académicos para los estudiantes a quienes se dirige la prueba. • Para la PAA, estudiantes de primer ingreso a nivel postsecundario y los ofrecimientos a nivel secundario, a la luz de la política de admisión de las instituciones postsecundarias latinoamericanas. • Participar en el análisis de los desarrollos del programa de pruebas de admisión postsecundaria, así como del uso y los efectos de éstos en el proceso de admisión. • Evaluar el uso de resultados de la prueba. • Revisar las Especificaciones del contenido y nuevos enfoques de la Prueba. {1 de 2}

22. FUNCIONES Y DEBERES DEL COMITÉ DE EXAMINADORES DE LA PRUEBA DE APTITUD ACADÉMICA (PAA) • Recomendar y ponderar cambios que la Prueba amerite. • Ayudar en la preparación de las guías para los redactores. • Revisar o ayudar en la definición de los procedimientos y la preparación de las guías de los examinadores. • Revisar los ejercicios que preparen los redactores y, de ser necesario, redactar otros para cumplir con las Especificaciones de la Prueba. • Examinar el modelo de la prueba que se administrará a los estudiantes. • Participar en el análisis de documentos y artículos pertinentes. • Revisar el material de divulgación para los estudiantes y la Guía de Estudio para tomar las Pruebas. (2 de 2)

23. Selección de redactores de reactivos • Como redactores participan expertos de contenido, usualmente facultad universitaria. • Se adiestran por personal especializado en el desarrollo de pruebas en talleres de 1 a 3 días dependiendo de la experiencia previa de los redactores y las necesidades operacionales. • Se aplican criterios de representatividad análogos a los usados para el comite examinador (género, edad, etc.) • La labor del redactor se evalúa mediante: • Evaluación del coordinador del programa de pruebas quien preselecciona el material para someter al comité examinador • La evaluación a que se somete el material nuevo en el comité de examinadores • Evaluación por editores de reactivos y de pruebas quienes han sido previamente redactores con experiencia y producción de calidad. • Evaluación estadística y psicométrica

24. Desarrollo de las Pruebas • Desarrollo de especificaciones: • CONTENIDO: • CONCEPTUALIZACIÓN, TEORÍA O CURRÍCULO • Consideraciones del comité examinador • AREAS • IMPORTANCIA • PESO • DIFICULTAD • VALIDACIÓN DE ESPECIFICACIONES • Análisis de validez de contenido • PSICOMÉTRICAS • PARALELISMO • DISTRIBUCIÓN DE DIFICULTADES DE LOS EJERCICIOS • DISCRIMINACIÓN • AJUSTE A MODELOS DE MEDICIÓN • UNIDIMENSIONALIDAD • Independencia local • VALIDEZ DE CONSTRUCCIÓN LÓGICA: • CONSIDERACIONES ESTRUCTURALES

25. Consideraciones cualitativas en el desarrollo y evaluación de los ejercicios: Análisis de sensibilidad: • información o descripciones que puedan afectar a algún grupo (social, religioso o étnico). • material (lecturas, vocabulario, etc.) con estereotipos • efectos de contexto que se pueda prestar a diferentes interpretaciones • El contenido de un ejercicio aparece aislado y no dentro del contexto del material lo cual afecta la interpretación correcta • material que se considere sensitivo, polémico o controvertible debe excluirse de la prueba • Redactores, comités, editores y personal especializado toma en consideración estos aspectos al momento de desarrollar y seleccionar material para preprueba.

26. Consideraciones cualitativas en el desarrollo y evaluación de los ejercicios: • Perspectiva cognoscitiva/afectiva – Estas dos dimensiones deben considerarse cuando se evalúan textos, en las pruebas, que hagan referencia a sectores específicos de una sociedad o cultura. • Ejemplo: • dimensión cognoscitiva: presentar datos que confirmen que un determinado sector social tiene un mayor índice de criminalidad • dimensión afectiva: información que pueda herir la sensibilidad de un grupo.

27. Consideraciones cualitativas en el desarrollo y evaluación de los ejercicios: • Investigaciones (Englehard, et.al.,1990) sugieren que es más fácil identificar deficiencias o vicios culturales en los reactivos y más difícil estimar deficiencias técnicas como: • Nivel de dificultad del reactivo • Estimado de discriminación • Dependencia o independencia del reactivo • Contribución del reactivo a la estructura factorial

28. Algunas consideraciones en la redacción y evaluación de ejercicios: • Se requiere que los ejercicios sean independientes unos de otros • Un ejercicio no debe proveer o sugerir la solución a otro • Los ejercicios que forman parte de un grupo, como los ejercicios de lectura, tabla con datos para interpretación, etc., han de hacer referencia a la información presentada, pero no deben depender uno del otro. • Los ejercicios han de adaptarse a las características de la poblacion a la que van dirigidos: • Vocabulario o léxico • Nivel de dificultad • Niveles de desarrollo humano (edad, etc)

29. Algunas consideraciones en la redacción y evaluación de ejercicios: • El enunciado ha de presentar solamente un problema central • Si al leer la frase principal del enunciado, ocultando las opciones, se puede entender de qué trata el problema o pregunta, el ejercicio cumple con este requisito. • El problema ha de expresarse con precisión • El ejercicio debe redactarse con sencillez y corrección • No se debe incluir más información de la necesaria para contestar.

30. Algunas consideraciones en la redacción y evaluación de ejercicios: • Un ejercicio se puede presentar tanto de forma negativa como positiva, es preferible la forma positiva. Los ejercicios con situaciones o problemas presentados en forma negativa tienden a confundir al examinando • Si es necesario emplear una forma negativa, la palabra negativa debe presentarse en mayúsculas, es decir, MENOS, EXCEPTO, NO, etc.

31. Algunas consideraciones en la redacción y evaluación de ejercicios: • Las opciones han de ser tan breves como sea posible. Cuando las opciones son excesivamente largas, casi siempre incluyen problemas adicionales al expuesto en el enunciado. • Las opciones que son mucho más cortas o más largas que las demás tienden a ser obviamente correctas o incorrectas

32. Ensamblaje de la prueba: • Selección de ejercicios de acuerdo a especificaciones de contenido y psicométricas • Contenido • ÁREAS • IMPORTANCIA • PESO • Características estadísticas y psicométricas en la selección de los reactivos o ejercicios individuales • Dificultad y su distribución • Observada y calibrada • Discriminación • Ajuste estadístico (INFIT y OUTFIT) • Tiempos asignados a las secciones y por ejercicio • ESTRUCTURA FACTORIAL • PARALELISMO con formas anteriores

33. Ensamblaje paralelo: • Es necesario que distintas versiones midan la misma construcción lógica • Estructuras factoriales similares • Procedimiento: creación de especificaciones que detallen las construcciones lógicas representadas en la prueba • Identificar los reactivos por construcción lógica ayuda a desarrollar versiones paralelas

34. Consideraciones adicionales en el desarrollo de las pruebas: • Desarrollo de hojas de claves de respuesta • Descripción de contenido y estadísticas de ejercicios que consituirán la prueba • Edición de claves • Mascarillas de respuesta • controles de calidad mediante calificación manual • Contraste con calificación computadorizada • Consideraciones de estilo y formatos de presentación • Uso de mayúsculas, tipos (fonts), tamaño de letra, etc. • INSTRUCCIONES A LOS ESTUDIANTES EN EL EXAMEN • FORMATOS DE INSTRUCCIONES • DESARROLLO DE EJEMPLOS DE TIPOS DE EJERCICIO EN CADA SECCIÓN • INSTRUCCIONES EN EL MANUAL DEL EXAMINADOR • CONCORDANCIA ENTRE MANUAL, EXÁMEN y HOJA DE RESPUESTA

35. III-Materiales de apoyo y procesos de aplicación • Desarrollo y controles de calidad de las hojas de respuesta • Diseño concorde a estructura del examen • Campos de identificación • Número único de identificación, códigos de barra, etc. • Coordinación con sistemas de información • INSTRUCCIONES • En el manual del examinador: • Funciones del examinador y examinador auxiliar • Desarrollo de instrucciones específicas ‘verbatim’ • A ser leídas a los estudiantes en la administración del examen • A ser leídas y estudiadas por los examinadores previo a la administración de examen

36. III-Materiales de apoyo y procesos de aplicación • Desarrollo de Guías para el estudiante con pruebas o ejemplos de ejercicios • Desarrollo o revisión de materiales de inscripción con información de: • Calendario de pruebas • Costos o cuotas • Formularios de inscripción, cuestionarios, etc.

37. Materiales de apoyo y procesos de aplicación • Lectura y controles de calidad de las hojas de inscripción para tomar la prueba • Preparación y envío de boletos de inscripción • Directores de Centros de Examen: • Organización administrativa mediante reuniones de orientación Reciben adiestramiento que a su vez transmitirán, junto a materiales de apoyo (manuales, instrucciones, etc) a los examinadores y sus auxiliares

38. Materiales de apoyo y procesos de aplicación • Procesos de control de distribución de exámenes • Diseño de ‘spiralling’ • Representatividad de subformas de preprueba y subformas de calibración • Implicaciones para impresión y distribución de folletos

39. Materiales de apoyo y procesos de aplicación • Desarrollo y controles de calidad de matriculados o inscritos en el examen • Métodos de corroboración de identidad • Preparación y distribución de boletos de admisión individual al salón de examen • Desarrollo y distribución de listas de inscritos para los centros de examen: • Para el Director de Centro • Para los examinadores (por salón, etc.) • Materiales para el control de distribución y recogido de exámenes • Hojas de cotejo y conteo para el director de centro de examen Hojas de cotejo y conteo para los examinadores Informes de examinadores y hojas de irregularidades • Control extricto de distribución y recopilación de folletos de examen y otros materiales

40. IV- Controles de calidad estadísticos y psicométricos • Los resultados de análisis estadísticos y psicométricos se utilizan para: • La evaluación de las características y calidad de versiones nuevas de las pruebas y de los nuevos ejercicios de preprueba • El desarrollo del banco de ejercicios y de pruebas nuevas • Operacionalización de los procesos de calificación • Controles de calidad de los procesos de calificación • Calibración, equiparación y desarrollo de escalas • Ensamblar pruebas nuevas • Controles de calidad de los reactivos o ejercicios que consituyen las nuevas versiones de prueba • Calidad de la prueba como unidad total de medición • Desarrollo de versiones paralelas

41. Psicometría: • AREA ESPECIALIZADA DE INVESTIGACIÓN PARA EL ANÁLISIS DEL DESARROLLO, CONFIABILIDAD Y VALIDACIÓN DE INSTRUMENTOS DE MEDICIÓN

42. Dos conceptos psicométricos fundamentales: • Dos objetivos principales de los procesos de desarrollo psicométrico de las pruebas son lograr: • Confiabilidad • Validez • Para que un instrumento sea válido tiene que ser confiable • Validez < (confiabilidad) • Ej: confiab.=0.80: validez < 0.64 2

43. Que es una medida: • una VARIABLE que define cuantitavamente una propiedad o característica • medir es asignar numeros a las cantidades de las propiedades de los objetos • se mide de acuerdo a reglas cuya validez puede ser sometida a prueba empírica

44. Niveles de medición y estadísticas descriptivas (1 de 3) • Medición: asignación de símbolos a eventos de acuerdo a reglas • Las reglas varían en complejidad • cada nivel de complejidad lleva implícito un nivel de medición distinto • la complejidad difiere con respecto a la CANTIDAD de INFORMACION que representan los números • una escala de medición consiste de: • un conjunto de reglas de acuerdo al nivel de medición • una definición operacional de los atributos o eventos a medirse

45. Niveles de medición y estadísticas descriptivas (2 de 3) • Nominal- clases discretas de eventos • Ordinal- clases discretas ordenadas por rango; provee el orden de los objetos en la escala (mayor que, menor que) • Intervalo- medición ordinal con distancias iguales entre las clases discretas; provee información de las magnitudes de las diferencias y no solo del orden o rango • Razón- medición de intervalo con un cero no arbitrario; tiene unidades iguales a traves de la variable; NO necesita referencias externas a la medida misma ya que utiliza el cero como referencia

46. Niveles de medición y estadísticas descriptivas(3 de 3)

47. Requisitos basicos para medición: • requiere localizar un objeto en un punto de un continuo abstracto • reducción de la experiencia a una abstracción de una sola dimensión • comparación de más (+) o menos (-) entre A y B (B=personas; A=ítemes) • interacción de personas e ítemes para producir información útil • magnitud y dirección linear inherente en la ubicación de objetos en una línea

48. Otros requisitos para medición • aditividad- significa que personas e ítemes se definen linealmente y se puede diferenciar entre habilidad de las personas y dificultad de los ítemes • para lograr aditividad es necesario separar parámetros de ítemes y parámetros de personas • suficiencia estadística- implica separabilidad: capacidad del modelo para factorizar como producto (multiplicación) cada parámetro y las estadísticas asociadas al mismo- debe resumir la información relevante que suple la muestra • objetividad específica: requiere que las diferencias entre pares de objetos o medidas (calibraciones) sean independientes de las muestras; • la medida provee la localización de objetos en el continuo • la misma escala (métrica) se usa para definir la localización de diversos objetos (ítemes o personas en el modelo Rasch)

49. De los ítemes dificultad observada y calibrada discriminación de cada opción factor de corrección por respuestas al azar ajuste del ítem al modelo psicométrico curvas características del ítem De la prueba confiabilidad alpha de Cronbach y de Teoría de Respuesta al Ítem dificultad observada y calibrada discriminación de la prueba total error de medición análisis factorial ANÁLISIS PSICOMÉTRICOS

50. Análisis de itemes • Estimados de dificultad • Modelos clasicos • Modelos IRT • Estimados de discriminación • Biserial • “Infit” • Otros