20 años de culto generalizado al constructo PISA

Demuestra, creo, que debemos relativizar mucho más los resultados de los informes PISA. Darles la importancia justa. Ni más, ni menos. Ni antes, a tenor de otros informes PISA anteriores, lo hacíamos tan mal, ni ahora tan bien. Necesitamos tener más personalidad como sistema educativo, saber lo que queremos. En España nos falta un proyecto nacional para la Educación, un relato común y compartido sobre lo que esperamos obtener de nuestros esfuerzos educativos. Tenemos que hablar sobre a qué le queremos dar valor, qué queremos fomentar, qué esperamos de la Educación obligatoria, para qué sociedad queremos educar. Por otro lado, la Educación española, incluso mirada desde los informes PISA, no es la historia de un fracaso. Necesitamos tener más confianza en lo que hacemos, sin abandonar la autocrítica. Por supuesto que nuestro sistema tiene mucho que mejorar y cambiar, como todos, pero también es cierto que ha experimentado en las últimas décadas uno de los mayores avances de su entorno, situándonos en niveles muy similares a los de nuestros grandes vecinos europeos, pero partiendo de una situación de atraso en términos escolarización, alfabetización de la población, cultura general y condiciones socioeconómicas. Necesitamos más comprensión y menos presión.

No todos los países de la OCDE, ni todos los países que participaron en las pruebas PISA 2018, han participado en la evaluación de esta competencia global. Algunos, como EE UU, Inglaterra, Escocia, Alemania, Francia o Finlandia decidieron no hacerlo por falta de consenso en torno al concepto de competencia global. Un concepto que la OCDE define como una «capacidad pluridimensional que aúna el saber examinar cuestiones locales, globales e interculturales, comprender y apreciar distintas perspectivas y puntos de vista, saber interactuar de forma respetuosa con los demás y emprender acciones para el bien común y el desarrollo sostenible” y que ha construido sobre cuatro dimensiones: La capacidad de analizar cuestiones de significación local, global y cultural; la capacidad de comprender y apreciar las perspectivas de los demás y su concepción del mundo; la disposición para establecer interacciones y relaciones con personas de diferente origen nacional, social o cultural; y la iniciativa de emprender acciones constructivas hacia el desarrollo sostenible y el bienestar colectivo. La competencia global, a su vez, está formada por un conjunto de conocimientos, destrezas cognitivas, destrezas sociales y actitudes, y valores. Tanto los conocimientos como las destrezas cognitivas se miden con la prueba cognitiva. Las destrezas sociales y las actitudes con un cuestionario de contexto realizado a los alumnos. Los valores, según la OCDE, no los han medido.

España ha obtenido en general buenos resultados. Se sitúa ligeramente por encima de la media en la prueba de contexto (opinión de los alumnos) de la primera dimensión, que mide el conocimiento del alumnado sobre cuestiones globales, y algo por debajo en uno de los elementos de esa primera dimensión que tiene que ver con la percepción de los alumnos españoles de su autoeficacia en en cuestiones globales.

Parece que sus alumnos tienen menos confianza en sí mismos que otros jóvenes de la OCDE. Sin embargo, los alumnos españoles se sitúan en la parte alta de la tabla en la prueba cognitiva en la que, mediante preguntas (correctas o incorrectas) se evaluó la capacidad de examinar cuestiones locales, globales e interculturales.

Donde destacan más es la capacidad para comprender y apreciar las perspectivas de los demás, situándose entre los cuatro primeros países del estudio. También muestran un alto (tercer lugar por arriba entre los países) interés por aprender de otras culturas; y en las actitudes positivas hacia los inmigrantes donde se sitúan en cuarto lugar. Los alumnos españoles ocupan el primer lugar de todo el estudio en el respeto hacia las personas de otras culturas y en lo que PISA denomina la adaptabilidad cognitiva.

En cuanto a la capacidad para comunicarse en diversos contextos globales, sin obtener unos resultados tan destacados como en la dimensión anterior, los alumnos españoles se sitúan en la parte alta de la tabla, significativamente por encima de la media.

Lo mismo ocurre cuando se mide la iniciativa de los alumnos para emprender acciones para el bien común y el desarrollo sostenible, donde los alumnos españoles muestran un alto sentido de responsabilidad hacia temas globales situándose en los primeros lugares.

Dicho esto, son muchas las críticas que se han hecho a la pretensión de la OCDE de medir la competencia global. En primer lugar sobre el mismo concepto, que resulta, según muchos expertos, de una superposición forzada de términos existentes, muy cargados con asunciones que a menudo están muy condicionadas geográficamente y dependen de quién o qué organización las utiliza (hay tendencia a priorizar la visión del mundo del Norte frente a los países del Sur) y, por tanto, que cuestionan la misma pretensión de una competencia válida para todos los países independientemente de su historia, valores, culturas, creencias o condiciones de vida.

También existe una crítica importante a la orientación demasiado individualista. Una tendencia habitual en PISA a priorizar las acciones y los logros del ciudadano individual y una idea de ciudadanía más en términos de lo que los individuos tienen que en términos de lo que los individuos son capaces de hacer juntos.

Por último, hay también muchas dudas que podríamos llamar técnicas que se refieren a la forma en que PISA ha operativizado el constructo de competencia global. Es decir, cómo ha decido medir esa competencia, qué tipo de pruebas ha decidido hacer. Estas críticas están detrás en gran parte de la decisión de muchos países de no participar.

Creo que la OCDE se ha dado cuenta que el modelo tradicional de evaluación de PISA está agotado y que necesitaban incorporar nuevas dimensiones, de ahí su interés en abarcar otros ámbitos, como la competencia global o las habilidades socioemocionales. Pero no debemos olvidar que PISA es principalmente un proyecto social, político e ideológico, no un proyecto educativo. Y que sus intenciones están, como es lógico, relacionadas con los objetivos políticos generales de la OCDE, concretamente con el compromiso subyacente con una economía de libre mercado global y competitiva.Para muchos la OCDE significa conocimiento, poder, recursos y experiencia colectivos ubicados en un espacio internacional, fuera de las fronteras nacionales. Pero aunque trata de presentarse como un espacio global neutral, orientado al desarrollo de medidas educativas transnacionales, está lejos de ser una organización internacional neutra o carente de intereses. Tampoco lo es PISA como prueba. No debemos perder de vista nunca qué miden estas pruebas, y qué dejan de medir, quién las promueve y con qué fines. Tenemos que preguntarnos siempre qué es lo que PISA busca visibilizar y qué es lo que PISA oculta, qué es lo que PISA ve y lo que PISA no ve. La OCDE es un actor político cada vez más influyente en Educación. Se ha argumentado que lo hace dirigiendo y casi monopolizando el diálogo sobre políticas educativas basadas en la evidencia a través de la creación y regulación de esas mismas evidencias. Una vez que la OCDE desarrolla una medida y los sistemas la aceptan, puede generar impulso en torno a un tema que antes no era significativo o sobre el que no hay un acuerdo internacional sobre su significado. Esto es particularmente significativo en un espacio conceptual como puede ser la competencia global, los valores o incluso las actitudes.Hay muy pocas cosas importantes que se puedan resumir con un número y, sin embargo, PISA afirma poder capturar todo el sistema educativo de un país en solo tres de ellas: lectura, matemáticas y ciencias.

Esta pretensión de medir la calidad de un sistema educativo ha recibido críticas desde los inicios de la prueba en el año 2000. Además, los números utilizados en evaluaciones como PISA crean distancia con lo que realmente pasa en las aulas, con las percepciones de los docentes y con las preocupaciones de los mismos estudiantes. La idea del fracaso de los sistemas educativos o del concepto de bajo rendimiento que PISA ha generalizado es una construcción. No hay además evidencia suficiente para justificar, y mucho menos probar, la afirmación de que PISA mide las habilidades que son esenciales para la vida en las economías modernas.

La OCDE dice que sí. Muchos docentes (también muchos académicos) saben que no. Pero su gran éxito ha sido lograr hacernos pensar que sí. Los puntos de PISA parecen funcionar como una especie de prueba de Coeficiente Intelectual (CI) de los sistemas escolares. Un patrón oro de la calidad educativa. La OCDE y los promotores de PISA han sido muy inteligentes en capitalizar unas preocupaciones genuinas que todos (padres, estudiantes, docentes, gobernantes…) tenemos con respecto a la Educación: hasta qué punto estamos preparando a jóvenes para enfrentar los desafíos del futuro; hasta qué punto son capaces de analizar, razonar y comunicar sus ideas de forma eficaz; tienen la capacidad de seguir aprendiendo a lo largo de toda la vida. Y a pesar de las críticas, han logrado moldear la imagen pública de la calidad de los sistemas escolares.Pero no debemos olvidar, en primer lugar, que PISA no mide lo que se aprende en la escuela, que no está vinculado a los currículos nacionales. Y que en lo que mide, según los propios representantes de PISA, los factores sociales tienen un gran impacto. Aunque PISA establece que no evalúa el conocimiento escolar, y que no evalúa de acuerdo con los planes de estudios nacionales o prueba el conocimiento escolar, los resultados de PISA sí se interpretan, también en los informes y recomendaciones políticas que la OCDE hace a los países, como medidas válidas de la calidad de los sistemas escolares nacionales. PISA no solo ha dado forma a la imagen pública de las escuelas, sino que también ha servido como legitimación de las reformas escolares.

Las clasificaciones de PISA crean pánico e incomodidad en prácticamente todos los países, también en aquellos con puntuaciones altas. Y tiene un efecto desde mi punto de vista perverso sobre los gestores educativos. Genera una gran presión para que políticos y gestores hagan algo para rectificar la situación. Lo que ha llevado a reformas y medidas cuanto menos controvertidas.

Uno de los puntos críticos de PISA tiene que ver con algunos de los resultados intrigantes que surgen del análisis de sus datos. Por ejemplo, que los alumnos de los países con puntuaciones altas desarrollan las actitudes más negativas hacia las materias; la correlación negativa de las puntuaciones de PISA con el uso de métodos de enseñanza activos, la instrucción basada en la indagación o el uso de las TIC; o que  las puntuaciones de PISA parecen no tener ninguna relación con los recursos educativos, la financiación o el tamaño de la clase y que ha llevado a muchos gobiernos a políticas de recortes y de bajada de la inversión en Educación. Políticas que ahora, con la pandemia, se nos muestran como claramente dañinas. Más allá de lo que dicen los informes PISA, está claro que más inversión en mejorar y ampliar las infraestructuras (de conectividad o de espacios) y unas ratios más bajas de alumnos y profesores nos hubieran permitido enfrentar mejor los desafíos de la pandemia.

La respuesta corta es sí. La larga es que creo que debemos cuestionarnos la pretensión, ahora casi unánime, de que todo se puede medir y que más medida es sinónimo de mejora y calidad. Creo, como hemos visto con algunas de las consecuencias indeseadas y de las políticas derivadas de la evaluación, que no es así. La otra pregunta es, si acordamos que hay cosas que nos interesa monitorizar y medir, quién debe hacerlo y si debe ser una organización tan cargada ideológicamente como lo es la OCDE, la encargada de hacerlo a nivel mundial.

(Esta tribuna es el resultado de un cuestionario enviado por correo electrónico a Carlos Magro al hilo del último informe PISA)