México: Evaluar a 12.000.000 de alumnos

La que es probablemente la mayor evaluación –cuantitativamente– de un sistema educativo que ha existido nunca ha tenido lugar a lo largo de este año en México. Alrededor de 12.000.000 de alumnos de 119.000 escuelas fueron examinados a lo largo y ancho de un país –salvo Oaxaca y algunas partes de Michoacán– de más de 100 millones de personas y donde los jóvenes son mayoría.

La evaluación, realizada por la Secretaría de Educación Pública (SEP, equivalente a nuestro MEC) a través de la Dirección General de Evaluación de Políticas, incluye a todos los alumnos de 3º, 4º, 5º y 6º de Primaria, y a los de 3º de Secundaria. Es decir, todos los mejicanos de 8 a 11 años, más los de 14.

Aunque la iniciativa estaba incluida en el programa de Fox, y se incluyó en el Plan Nacional de Educación 2001-06 –un documento de trabajo que describe las políticas a desarrollar en la legislatura–, nada hacía presagiar algo tan “monstruoso”. El mismo Martínez Dunstan, uno de los principales promotores, califica así la organización de esta prueba.

 

 

“La cultura de la evaluación tiene más tradición en México que en España”, dice José Luis Gaviria, un catedrático español –es jefe del Departamento de Métodos de Investigación y Diagnóstico en Educación en la Facultad de Educación de la Universidad Complutense de Madrid–, lo que es novedoso es la metodología y el alcance de la prueba.

De hecho, el antecedente más parecido en México es el programa de carrera magisterial, el denominado “escalafón horizontal”, un programa de evaluación docente voluntario que permite a los maestros aumentar su salario sin cambiar su puesto ni sus tareas. En esta prueba se examina no sólo a los docentes, sino también a sus alumnos, y se presentan miles de docentes.

Sin embargo, esta evaluación no era comparable a ninguna otra de otros años, y no se obtenía una radiografía del sistema. Para Gaviria se hacía necesario una evaluación externa de las escuelas: “los padres sabían si el alumno iba bien o no en la escuela, pero las diferencias entre centros son abismales, y no existía posibilidad de saberlo”.

En esta evaluación, por el contrario, “se da información del alumno, de la clase y de la escuela” con respecto a la media estatal y la nacional, y además “se ha intentado que la comparación sea comprensible para la mayoría de los padres mejicanos; por eso hay tantos elementos gráficos”.

 

 

A pesar de trabajar en el proyecto –es el responsable de la parte técnica, exquisitamente diseñada, por cierto–, Gaviria advirtió de que la prueba podía salir muy cara (ha costado más de 13 millones de euros) y que, tratándose de tales volúmenes de alumnos se podía hacer de otra manera. Sin embargo, había una voluntad política de informar a cada padre, además de una presión social muy fuerte para que el SEP diera a conocer los resultados de cada escuela.

Además de publicarlos en internet, cada padre recibirá este mes una carta con los resultados. Más de 20 millones de padres. “Se ha intentado, y creo que se ha conseguido, combinar una alta sofisticación técnica y científica en la prueba con que sea legible para el mayor número posible de padres”, dice Gaviria.

 

 

Y es que, técnicamente, la evaluación está muy bien pensada en términos de comparabilidad de resultados: “aunque no se ha incluido en la información a los padres, la prueba se basa en la teoría de respuesta al ítem”, dice Gaviria. Incluso se ha realizado ya la prueba del próximo año a 100.000 alumnos, “para calibrar los resultados y asegurar la comparabilidad” entre las pruebas. Así, con los datos disponibles se podrán hacer “estudios de todo tipo”.

Otra de las novedades es un procedimiento de detección de copia: para controlar la fiabilidad de los resultados, y dados los problemas de control en una evaluación tan enorme, se ha desarrollado un procedimiento informático que detecta patrones de respuesta similares en dos ejercicios de alumnos que están en la misma aula.

 

 

Se puede entrar en la base de datos de los centros y saber los resultados: la página es http:// enlace.sep.gob.mx. Para saber los códigos de las escuelas, en http://www.snie.sep.gob.mx.

 José M. LACASA

---

 

La información que la página web ofrece a los padres tras introducir el código del alumno es, además de la identificación de la escuela, un análisis del exámen que ha hecho su hijo pregunta a pregunta: en verde las correctas, en rojo las incorrectas y en blanco las no contestadas. Además, estructuradas por materias y, dentro de ello, por temas. Además, si hay dudas de que el alumno pueda haber copiado el examen (detectado por un programa informática a partir de los patrones de respuesta) se indica en la propia página.

 

 

La página no sólo ofrece información a los padres sobre los conocimientos de su hijo, sino que enmarca el resultado en el contexto de la clase y de la nación: la regla marca el lugar del alumno dentro de su clase (“el nº 19 de 30”); además, se indica el nivel del alumno entre insuficiente y excelente.

 

 

Basado en las respuestas del alumno, la página ofrece sugerencias concretas a los padres para reforzar los conocimientos de su hijo. Incluso propone ejercicios.

 

 

Por supuesto, también se enmarca el nivel de la escuela: se compara el resultado de la escuela con la media de las escuelas “de la misma modalidad” dentro del Estado y dentro del país. Además, se ofrece el decil (en qué décima parte) en que está enmarcada la escuela.

 

 

Una de las posibilidades de la página web es la de consultar los resultados de cualquier clase de cualquier escuela del país: asignatura a asignatura, curso a curso, la escuela es comparada y enmarcada con las medias de las escuelas del estado y del país, tanto con las de la misma modalidad como con el conjunto de escuelas. Pero es sólo el primer paso: dentro de poco se podrá enmarcar el resultado en relación a otros factores socioeconómicos. El registro de centros del SEP incluye información sobre cada escuela e, incluso, la posibilidad de localizarla en un mapa.

---

 

 

Sergio Martínez Dunstan es director de Lectura, Calificación y Análisis de Resultados en la Dirección General de Evaluación de Políticas, adscrita a la Secretaría de Educación Pública mexicana (equivalente al MEC en España). Es maestro, licenciado en Pedagogía y catedrático de Educación.

 

Efectivamente, en México, al inicio de cada legislatura, se hace un plan de Gobierno, llamado Plan Nacional de Desarrollo, por sectores. El de Educación se hizo en 2001, y allí ya se proponía la evaluación del sistema, con la creación de un organismo autónomo y la reorganización del órgano interno de Evaluación. En 2005 se crea la Dirección General de Evaluación de Políticas. Hubo cierta confusión entre el Instituto de Evaluación y la Dirección General, pero el Instituto hacía evaluaciones muestrales, con un número reducido de alumnos y muy controladas. No eran sistémicas. Existía una saturación de evaluaciones, pero no sabíamos cómo estaban las escuelas. Sí sabíamos que en el Informe PISA obteníamos muy malos resultados. Por tanto, establecimos una política basada en la transparencia, la rendición de cuentas y en la mejora de los resultados. Y, para saber cómo estábamos, diseñamos unas evaluaciones censales, obligatorias para todos los alumnos y que permitiesen seguir su evolución.

 

Se podía pensar que íbamos a ir a menos. Pero la sociedad demanda que no se haga solo en Español y Matemáticas, sino que piden que se extienda a otras asignaturas, como las Ciencias. Otros piden que se extienda a alumnos de 1º y 2º de Primaria –lo que necesita otro diseño– o a toda la Secundaria, y no sólo a 3º. Incluso hay quien nos pide que se extienda a preescolar. Ya no hay marcha atrás, tendrá que ser censal, obligatoria, y en los mismos cursos, si no en más.

 

Este tipo de evaluación es políticamente sensible, técnicamente compleja, financieramente de alto coste, organizativamente monstruosa. Pero pedagógicamente muy enriquecedora. No todos estaban de acuerdo, pero la sociedad civil nos ha apoyado en el camino de “empoderar” a los padres de familia. Algunos sindicatos y asociaciones se opusieron, pero se impuso el poder civil, e incluso los responsables de los estados, los tomadores de decisiones, dicen que es lo que necesitan para saber cómo enfocar los problemas. El órgano de evaluación tiene miembros de todos los sectores: incluso participan sindicatos. El SNTE (Sindicato Nacional de Trabajadores de la Enseñanza, mayoritario, tiene 1,5 millones de afiliados) incluso nos apoyó en el desarrollo del algunos diseños del proceso.

 

A toro pasado, se puede decir que este era un proyecto políticamente muy sensible. Trabajamos en silencio para que no se nos acusara de apoyar a uno de los candidatos. Ahora seguimos trabajando para dejar preparada la próxima prueba, pues se ha adelantado a abril de 2007, y hay que dejar todo preparado antes de la toma de posesión del nuevo presidente.

 

Es un tema que está en discusión. En Méjico existe la Ley de Transparencia de la Administración y hay mucho debate en torno a este tema. Hay países en que es ilegal facilitar cierta información, y en otros es ilegal no hacerlo. ¿Hasta cuándo podemos dar? Pienso que se facilitará el acceso a los investigadores, pero respetando el anonimato de los alumnos. Incluso se está pensando en anexar otras bases de datos para poder realizar otras agrupaciones y ordenamientos. Todo lo que la legalidad nos permita.

 

Sí, va por ahí. Estamos empezando. Se aplicó un cuestionario a los alumnos para conocer su contexto socioeconómico y familiar. Y otro a los directores sobre las características socioeconómicas y metodológicas de las escuelas. Son muy distintas una escuela rural de una de un suburbio de Ciudad de México. Además, pensamos cruzarla con datos del Inegi (Instituto Nacional de Estadística, Geografía e Informática) o del Conapo (Consejo Nacional de Población). Este último organismo tiene un indicador compuesto sobre el trabajo que puede ser muy interesante para hacer agrupaciones. La participación de la escuela también puede ser otra forma de estratificar y subestratificar.

 

Nosotros preferimos no dar ránkings. Pero sí que es cierto que existe un vacío que la sociedad y los medios quieren llenar, aunque sea de forma poco ortodoxa. Por ello, lo haremos aplicando escalas subyacentes. Con la mera herramienta informática que estamos preparando se podrán hacer ordenamientos por muchos factores: filtrar por el estado, o por características de la escuela, u otros factores económicos, de marginalidad, etc.

 

Ha generado cosas interesantes. Primero se anunció que se publicarían los resultados en septiembre, y los padres estaban ansiosos por conocerlos. En los últimos días no parábamos de recibir correos pidiendo la publicación –algunos incluso groseramente. Recibimos casi 4.000 correos. Después de la publicación hemos tenido tres tipos de resultados: Primero, felicitaciones, correos donde los padres hacen sus propias interpretaciones, o preguntando por libros para ayudar a su hijo, también muchas felicitaciones. Segundo, padres con problemas informáticos para acceder a la información. Tercero, preguntas sobre los resultados. En este último punto hemos podido detectar una brecha que es difícil de salvar: por ejemplo, un padre nos preguntaba por qué su hijo estaba por debajo de un primo suyo… Si es difícil de explicar estos temas a los maestros, imagínese a los padres.

 

Tres años es muy poco tiempo, pero esperamos que a la larga sí que tenga resultados. No sólo por el hecho de que los alumnos que se presenten a PISA dentro de unos años ya se habrán enfrentado a muchas evaluaciones, también porque la enseñanza deje de estar basada en la memorización y se enfoque más hacia la resolución de problemas, que los alumnos no sólo sepan cosas, sino que sepan utilizarlas. Tres años es muy poco, pero la idea es que esto se note en el futuro. Queremos mover el elefante, el sistema. El “elefante artrítico” lo llama una colaboradora.

 

Pusimos en línea toda la información para los padres, pero en México no todos los padres tienen internet, no está generalizado, y hay muy pocos que pueden llegar. Pero ahora queremos llegar a todos los padres, alumnos y maestros. Es un trabajo enorme, pero creo que en dos semanas estará listo el formato impreso con toda la información y se comenzará a enviar a los padres.

 

Pues me he dado cuenta de que los padres comienzan a comparar, se está convirtiendo en tema de conversación de los padres al recoger a sus hijos en el colegio. Se dan cuenta de que el mejor colegio no es el más cercano, ni el más caro. Existe el peligro de que algunos centros tengan sobre demanda y dejen de ser tan buenos, y otros que tengan una demanda baja. Hay que conjugar la rendición de cuentas de los centros con la planificación. Pero es bueno meter a la sociedad en la cultura de la evaluación.