fbpx

La publicación de los resultados de las pruebas externas

Ismael Sanz
Profesor de la Universidad Rey Juan Carlos (URJC)
13 de enero de 2016
0

El estudio en el que se basa este post es una publicación de varios autores: Anghel, B., Cabrales, A., Sainz J., Sanz, I. “Publicizing the results of standardized external tests: does it have an efect on school outcomes?” IZA Journal of European Labor Studies. 2015 disponible en su totalidad en http://www.izajoels.com/content/4/1/7

La evidencia empírica existente apoya la hipótesis de que los países con exámenes finales externos tienen un mejor comportamiento en las pruebas internacionales de rendimiento de los estudiantes. Esta evidencia calcula un efecto entre la mitad o más de un curso académico, o entre el 20 y el 40 por ciento de una desviación estándar de los resultados de alumnos.

La Comunidad de Madrid introdujo una prueba estándar externa denominada “Conocimientos y Destrezas Indispensables” (CDI) en el año 2004. Es la única región española que publica los resultados de esta prueba por centros. Esto permite superar los problemas anteriores, ya que al ser una prueba exclusiva de la Comunidad de Madrid se controlan los sesgos que provienen de la heterogeneidad no observable a nivel nacional. Además, como sólo tiene consecuencias para el centro pero no tiene efectos académicos para los alumnos, permite suponer que el incentivo sólo se da en los profesores de los centros. Por ello, el estudio de Brindusa Anghel, Antonio Cabrales, Jorge Sainz e Ismael Sanz propone estimar el impacto de la introducción de un examen estandarizado en la Comunidad de Madrid (CDI) sobre el rendimiento de los estudiantes en las Evaluaciones Internacionales (PISA) de la OCDE.

La prueba CDI es un examen externo estandarizado y obligatorio para todos los estudiantes de 6º de Educación Primaria y de 3º de ESO, que mide los conocimientos básicos en matemáticas (ejercicios y problemas), lengua (dictado, lectura, conocimiento general y preguntas relacionadas con un texto) y cultura general (sólo en el caso de 6º de Primaria).

A su vez, la OCDE, mediante el Programa para la Evaluación Internacional de Estudiantes (PISA) analiza las capacidades básicas en lectura, matemáticas y ciencias de estudiantes de 15 años en países miembros de la OCDE y asociados, a través de exámenes cada tres años. Las primeras pruebas se iniciaron en 2000, teniendo como objetivo principal la lectura. En 2003 se dio mayor importancia a las matemáticas y en 2006 a las ciencias, volviéndose a repetir en 2009 la lectura. Cuando un área es el principal objetivo del examen, dos terceras partes del tiempo de la prueba está dedicado a dicho área. De este modo se pueden obtener comparaciones muy detalladas en PISA 2000 y PISA 2009 en lectura, así como en PISA 2003 y PISA 2012 en matemáticas, y en PISA 2006 y 2015 en ciencias (aunque todavía no están publicados los resultados de 2015). Además, se cuenta con las características relacionadas con el estudiante, la familia y el colegio, que se recogen en el cuestionario de contexto de PISA.

Se proponen 2 métodos econométricos: el método de regresión de diferencias en diferencias, y el método de control sintético.

Para el método de regresión de diferencias en diferencias, se plantean los grupos de estudio antes y después del tratamiento (aplicación de la CDI). Los grupos de control son los estudiantes del resto de las comunidades, donde nunca se han aplicado pruebas estandarizadas publicadas, y los propios alumnos madrileños anteriores a la introducción de la prueba CDI en 2004, con las notas obtenidas en PISA 2000 y PISA 2003, cuando todavía no se había aplicado la prueba CDI, comparado con los resultados de PISA 2006 y PISA 2009, cuando ya había empezado la prueba.

La estimación de diferencias en diferencias para la Lectura muestra un efecto positivo y estadísticamente significativo en las notas de PISA. Hay una mejora relativa en las notas de PISA en lectura en la Comunidad de Madrid entre 2000 y 2009 de una magnitud de 14 a 17 puntos de PISA, que no se pueden explicar por las variables observables.

Así, el gasto en educación no puede explicar este comportamiento, porque Madrid aumentó el gasto en educación durante el periodo 2004-2009 en un 21% mientras que la media española lo hizo en un 33%. Respecto a la inmigración, el cambio que experimentó Madrid entre 2000 y 2009 llegó a un 13% de la población, mientras que en España la variación de este porcentaje es de un 2% a un 12%. En cuanto al crecimiento económico, aunque no es igual entre las regiones, su efecto se puede controlar mediante el índice socio económico (ISEC) de los alumnos. Del mismo modo, aunque aumenta la proporción de los colegios concertados en Madrid, su tendencia es similar a la del resto de Comunidades, incluso un poco menor, y además este aspecto es observable y por tanto controlado. Por último, en este periodo se produjo un cambio institucional importante en los colegios de Madrid con la introducción de numerosos colegios bilingües donde el inglés se convirtió en un medio de enseñanza de al menos una tercera parte de las materias, aunque esta variable no afectó a nuestra muestra pues comenzó en 2004 en algunos centros y lo hizo de forma gradual desde 1º de Primaria.

Por ello, la mejora de 14 a 17 puntos en las notas de Lectura en PISA puede ser explicada por la introducción y la publicación de exámenes externos. Esto implicaría que la generalización de esos exámenes en toda España aumentaría el nivel de lectura del país por encima de la media de la OCDE.

En el caso de Matemáticas, no se encuentra ningún impacto del tratamiento en el rendimiento de los estudiantes, ya que el coeficiente no es estadísticamente significativo. Una posible explicación es el diferente énfasis que tiene el plan de estudios en los niveles educativos de la educación primaria en España con respecto a otros países, países donde el efecto en Matemáticas sí que es muy significativo, aunque esta cuestión necesita ser objeto de futuras investigaciones.

El Método de Control Sintético, utilizado para los estudios de casos comparativos, propone construir una combinación de regiones españolas que se asemejan a la región de Madrid antes del tratamiento (Madrid sintético). El Madrid sintético se construye como una media ponderada del grupo de regiones no tratadas (15 regiones) en el periodo anterior (2000 y 2003). Este grupo se parece a Madrid antes de la introducción del examen CDI. Las variables de predicción utilizadas para su cálculo han sido el ratio profesor/estudiante, el tamaño del colegio, el ISEC del centro, proporción de inmigrantes y repetidores en el colegio. Paralelamente tenemos el comportamiento del Madrid Real en estas variables, antes del tratamiento (PISA 2000 y 2003) y después del tratamiento (PISA 2006 y 2009). También disponemos de la media de las 15 regiones, por separado en cada una de estas variables. Los siguientes gráficos nos muestran la evolución de la región de Madrid real y de la sintética en 2000 y 2003 (los años antes de la intervención) y en 2006 y 2009 (los años posteriores a la intervención), separando Lectura y Matemáticas.

Para Lectura se observa en el gráfico que la evolución del Madrid sintético y del Madrid real es similar en 2000 y 2003 (antes del tratamiento) mientras que es diferente en 2006 y 2009, después de introducir la prueba CDI. Esta diferencia es de 17,24 puntos PISA y puede deberse a la introducción de un examen estandarizado. Esto confirma los resultados obtenidos anteriormente con la metodología de diferencias en diferencias, donde Madrid mejoró su rendimiento relativo a otras regiones de España en el periodo 2000 y 2009, entre 14 y 17 puntos PISA. La OCDE llega a una conclusión similar respecto a PISA en su “Panorama de la Educación”: “Los estudiantes en los sistemas escolares que utilizan pruebas externas basadas en estándares obtuvieron 16 puntos más de media entre los países de la OCDE, que los estudiantes en sistemas escolares donde no se usan esas pruebas” (Education at a Glance, 2012, página 527). Esta estimación es un poco más pequeña que el rango encontrado en la literatura anterior.

Para Matemáticas, sin embargo, la metodología del grupo de control sintético no funciona según lo esperado. El Madrid sintético no se aproxima muy bien a la evolución del Madrid real en 2000 y 2003. En el periodo posterior al tratamiento, el Madrid sintético está funcionando de forma parecida.

El resultado diferente para lectura y para matemáticas podría explicarse por el hecho de que la lectura fue el principal objetivo de la prueba PISA en 2000 y 2009, mientras que las matemáticas fueron el principal objetivo en 2003 pero no en 2009. Ser objetivo de estudio significa que las dos terceras partes del estudio se dedican a esta materia, lo cual permite desagregar los rendimientos de los estudiantes por sub-áreas de la materia elegida.

La principal conclusión de este estudio es que, empleando un enfoque de diferencias en diferencias se encuentra un efecto positivo en la lectura del orden de 14 a 17 puntos PISA. El método de control sintético conduce a un efecto parecido incluso en términos cuantitativos. Estos resultados están en línea con las investigaciones previas en el área, aunque este estudio proporciona una innovación importante, ya que los exámenes externos en Madrid no tienen consecuencias para los estudiantes, por lo que el efecto tiene que provenir del impacto en maestros y directores de las escuelas. 

0
Comentarios