Programas Aicle y evaluaciones internacionales

Cuando a primeros de diciembre de 2019 se publicaron los resultados de PISA 2018 los media destacaron mucho dos cosas: una, que la OCDE aplazaba la publicación de los resultados de Lectura para España por no encontrarlos de fiar; otra, el fuerte descenso de las puntuaciones en Matemáticas y Ciencias respecto a ediciones anteriores. Particularmente en Madrid, el ‘batacazo’ fue de 17 puntos en Matemáticas (de 503 a 486) y 29 en Ciencias (de 516 a 487) respecto a 2015.

La Comunidad de Madrid relacionó una cosa con la otra, atribuyendo la caída a los problemas en la prueba de Lengua y explicando la ‘contaminación’ porque al 60% de los alumnos, en vez de pasarles pruebas, se les imputa una puntuación en Matemáticas y Ciencias sobre la base de sus resultados en Lectura. Pero sus críticos recordaron que la Comunidad de Madrid gasta menos que las demás comunidades por alumno, que segrega más por origen social, que aplicó celosamente la Lomce… y o que ha implantado unos programas de enseñanza bilingüe en casi la mitad de los centros públicos. Esto último podría explicar, en concreto, que el descenso de Matemáticas, que se imparte en castellano, fuese menor que el de Ciencias, que es la que siempre se imparte en inglés, según Isabel Galvin, de CCOO. Desde la derecha, Rocío Monasterio recordó al gobierno de la Comunidad de Madrid que no sirve de nada aprender una segunda lengua a costa de no adquirir los conocimientos básicos en el resto de materias.

En medio de este alboroto, MAGISTERIO me propuso escribir algo sobre el asunto. Les pedí esperar a que se aclarara lo de los errores en Lengua, cosa que ocurrió en agosto con resultados espectaculares: Madrid, estimó la OCDE, había pasado de 520 a 474 puntos, 48 menos, un 9% de mengua; al comenzar el curso les volví a pedir un poco más de paciencia y así hemos llegado a este mes, pero del año siguiente. He tenido tiempo sobrado para hacer algunas averiguaciones, de las que se deriva que es muy improbable que el refuerzo del inglés tenga que ver con el descenso en PISA.

Remito a la web de la Comunidad de Madrid para información sobre la ‘enseñanza bilingüe? Técnicamente se trata de enseñar una lengua utilizándola como vehicular en la enseñanza (Aprendizaje Integrado de Contenidos y Lengua, Aicle en siglas). Aquí basta con decir que en Madrid, el Aicle comenzó en 2004 con 26 centros, todos públicos; seis años después, en 2010, llegaba a la ESO, y cuatro años después, en 2014 al Bachillerato. A los centros concertados no se extendió hasta 2008. En 2017-18 eran ‘bilingües’ en 4º de ESO casi la mitad de los alumnos de centros públicos, pero solo un 5% de centros concertados. La cuestión, en general, es si usar una L2 como lengua vehicular perjudica el aprendizaje en otras materias. La Comunidad de Madrid ha evaluado externamente el Aicle desde el comienzo. Por lo que se refiere al Inglés (otras lenguas son raras) la Comunidad de Madrid venía observando en las evaluaciones internacionales (Pirls y Timss en 4º de Primaria, PISA 2015 a los 15 años) que los alumnos Aicle obtenían no peores, sino mejores resultados en Lengua (española), Matemáticas y Ciencias. Evaluando, por otro lado, inglés, se observaba que el Aicle producía notables mejoras. Así, en una evaluación del British Council en 2016-17, los alumnos de 4º de ESO en Aicle obtenían 146 puntos, frente a 93 de los alumnos de curriculum común. De modo que las autoridades de la Comunidad de Madrid llegaron a declarar a la prensa que el Aicle no solo mejoraba el Inglés, sino también todo lo demás.

Es una conclusión precipitada e incorrecta, que ignora que al Aicle llegan, tras un proceso de selección, escuelas y alumnos que habrían quedado mejor en las pruebas de cualquier modo. Lo correcto sería comparar los resultados en Aicle con los que tendrían esas mismas escuelas y alumnos sin Aicle. Es imposible hacerlo, pero cabe una aproximación indirecta comparando las diferencias en Matemáticas con las diferencias en Ciencias. El punto está en que las Matemáticas nunca se dan en inglés y las Ciencias siempre o casi. Si enseñar en inglés dañara el aprendizaje, la ventaja de los alumnos de inglés en Ciencias sería menor que en Matemáticas, y esa ‘diferencia en las diferencias’ se podría achacar al mal efecto del inglés. Pues bien, hasta 2018 no se había detectado ninguna diferencia en estas diferencias por materias en las evaluaciones internacionales. Esto no lo digo yo, sino que lo tomo del Informe sobre la Evaluación del Programa de Enseñanza Bilingüe publicado por la Comunidad de Madrid de donde he tomado la mayor parte de todo lo que precede. En 2018, ya según mis análisis de PISA, tampoco se registra. Las diferencias entre centros públicos con y sin Aicle son aproximadamente las mismas en Lectura, Matemáticas y Ciencias. Aprender en inglés no acorta la distancia entre los alumnos Aicle y los de curriculum común ni en Lectura ni en Ciencias. Por tanto, puede concluirse (otra vez) que la enseñanza en inglés no perjudica ni el aprendizaje del español ni el aprendizaje de las materias que en él se enseñan.

¿Qué hay, entonces, del descenso en PISA entre 2015 y 2018? ¿No tiene que ver con la extensión del programa bilingüe? Según lo anterior no. Podemos confirmarlo aprovechando que el bilingüismo ha sido mucho más cosa de centros públicos (casi 50%) que de centros privados (en torno a un 5%). Si los descensos se debieran al Aicle, deberían ser casi exclusivos de los centros públicos, pero no es así. Cierto que entre 2015 y 2018 bajan algo más los públicos, pero entre 2012 y 2018 (un período más adecuado, pues son los seis años en que el Aicle más se expande) bajan algo más los privados. Realmente, en ambos periodos, las diferencias son pequeñas y estadísticamente no significativas. También podemos corroborar la inocencia del bilingüismo aprovechando las diferencias entre comunidades en 2018. Comenzando por Lectura, es verdad que el descenso de Madrid fue el mayor de todos, 46 puntos, pero estuvo muy cerca el de Navarra, 43 puntos; en ambas comunidades, los descensos en las otras dos materias son menores y semejantes. Vienen después cuatro comunidades con descensos en Lectura en torno a los 25 puntos: son La Rioja, las dos Castillas y Valencia; también sus descensos en las Matemáticas y Ciencias son menores y análogos a los de Madrid y Navarra. Y, sin embargo, en estas comunidades donde PISA18 también desciende no hay Aicle de amplitud comparable al de la Comunidad de Madrid. Tampoco con estas comparaciones, por tanto, encontramos indicios de que el Aicle tenga que ver con el descenso de las puntuaciones en PISA, ni de que en general perjudique el aprendizaje de las otras materias (en la medida, eso sí, en que las puntuaciones PISA reflejan aprendizaje).

Por diversas vías, pues, PISA2018 confirma la conclusión de las varias evaluaciones anteriores en el sentido de que en la Comunidad de Madrid la enseñanza bilingüe no perjudica los resultados en las demás materias. Y no parece aventurado extrapolar esta conclusión a otras comunidades donde los programas bilingües son mucho más endebles, como Castilla y León. Llegados aquí, quedan pendientes dos cuestiones en particular: la del descenso en PISA 2018 y la de la importancia de avaluar integralmente la enseñanza bilingüe.

En cuanto a la primera, la comparación de las puntuaciones en Lectura con las de Matemática y Ciencias apuntan a un fallo en la prueba de Lengua que ‘contamina’ Matemáticas y Ciencias: cuando en una comunidad son grandes los descensos en Lectura lo son también, pero menores, los de Matemáticas y Ciencias. Pero este fallo no puede ser un fallo casual que haya afectado a unos pocos alumnos, sino que ha de ser un fallo sistemático de gran extensión. El cálculo es sencillo: la reducción global es producto del porcentaje de alumnos que sufrieron el fallo por el efecto de este. Si el fallo hubiera afectado a solo el 9% de los alumnos, para producir un descenso del 9% sus puntuaciones tendrían que haber sido cero, algo fácil de detectar en la base de datos. Incluso afectando al 50% de los alumnos, el fallo tendría que haberles quitado unos cien puntos, lo que quizás también podría detectarse en los datos individuales.

Por ‘integral’ entiendo una evaluación que examine del mismo modo y al mismo tiempo lo que se gana en Inglés y lo que se pierde en otras materias. Las evaluaciones Lomce son de este tipo. De la de 2017, única cuyos resultados he encontrado, dio cuenta Ismael Sanz en este periódico (Evaluación del Programa bilingüe de la Comunidad de Madrid, 31-8-18). Los alumnos en Aicle obtuvieron puntuaciones muy poco más altas que el resto en todas las materias y solo un poco mayores en inglés. Así, en centros públicos, los alumnos de Aicle obtuvieron un 7,3 en Inglés, frente a 6,7 los de curriculum común; pero en Matemáticas Académicas las puntuaciones respectivas fueron 7,3 y 6,9. Por un lado, esta evaluación vuelve a confirmar que enseñar una materia en inglés no reduce los resultados, pero por otro, en fuerte contraste con evaluaciones externas como la del British Council, deja dudas sobre si ayuda mucho a aprender inglés. Puede que la razón de esta ambigüedad esté en las pruebas. En todo caso, sería deseable saber más, mejor antes de que PISA incluya una prueba de Inglés en, según se anuncia, 2025.