“PISA es incompleto y no permite saber cuáles son los mejores sistemas”

“Sería una sorpresa que en el próximo informe Shanghái no apareciera una vez más en lo más alto, donde ha estado desde que fuera incluida en el año 2009”, señala el experto en Educación John Jerrim, profesor del Institute of Education UCL de Londres. Jerrim impartió la semana pasada una conferencia en la Fundación Ramón Areces de Madrid, en la que intentó responder a esta pregunta: ¿Por qué son los niños chinos tan inteligentes? Durante su intervención, analizó las Relaciones y consecuencias de los logros educativos de los niños en los países de Asia Oriental.

A su juicio, el Informe PISA es una herramienta “interesante, conveniente e importante, pero al mismo tiempo es incompleta y no revela cuáles son los mejores sistemas educativos”. “Existen otros muchos factores, como la familia, la comunidad, la cultura y la sociedad, que también influyen en el rendimiento de los niños y, por consiguiente, también en los resultados de esos alumnos en las pruebas de PISA”, añade. “Por todo esto, tendríamos que ser más cautos a la hora de interpretar sus resultados. Desde mi punto de vista, necesitaría innovar, con el fin de proporcionar evidencias más sólidas para apoyar algunas de las afirmaciones que se están realizando actualmente”, explica.

Según este experto, “la mayoría de los pedagogos está de acuerdo en que el progreso que logran los niños durante el tiempo que pasan en la escuela es solo un requisito mínimo para hacer declaraciones acerca de la calidad de la escuela y, por ende, de todo el sistema escolar”. “Tales estudios –afirma Jerrim– deberían de tener en cuenta otros muchos factores y seguir la evolución y los logros obtenidos por los alumnos durante años”.
“Utilizando solo los datos transversales, PISA no es capaz de proporcionar dicha información, lo que limita su utilidad como herramienta de evaluación comparativa que permita juzgar los distintos sistemas educativos y compararlos entre sí”, aclara Jerrim.

En colaboración con otro colega, Andrew McCulloch, del Datalab Education de Inglaterra, este profesor ha intentado superar este problema en el caso de Shanghai. Basándose en el hecho de que PISA dibuja una muestra de alumnos de varios grados de la escuela, se utilizó una técnica estadística (conocida como diseño de regresión discontinua difusa) para estimar cuánto progresan los niños de Shanghai cuando llevan más de un año en la escuela Secundaria superior. “Los resultados provisionales pueden suscitar un poco de sorpresa. ¿Qué progresos hacen los niños en el mejor sistema educativo del mundo durante un año entero? Esencialmente, cero. Nada de nada. ¿En cualquiera de las materias básicas que evalúa el Informe PISA (lectura, matemáticas, ciencias)? Nada”, afirma tajante.

Según explica este profesor, “mientras PISA no desarrolle un sistema que sea capaz de evaluar y seguir el progreso del alumno a lo largo del tiempo, esto no será fiable para medir la calidad de los distintos sistemas educativos del mundo”.