PISA, que suena similar a lo que compramos en una pizzería, son las siglas en francés del Programa para la Evaluación Internacional de Alumnos. Los resultados de la prueba PISA 2018, la información que arroja su análisis y la controversia que han causado, merecen una discusión de país. En esta primera entrega exploraremos algunos mitos y realidades que servirán para contextualizar la validez y relevancia de la información obtenida en la prueba, antes de ahondar en los hallazgos.

1. Las pruebas PISA solo miden conocimientos específicos a tres asignaturas.
En realidad, incluye preguntas que miden competencias, lo cual requiere que los estudiantes apliquen sus conocimientos a situaciones de la vida real. De esta manera, nos muestran qué tan preparados están nuestros jóvenes para participar plenamente en la sociedad global contemporánea al finalizar la educación obligatoria.

2. Los resultados de las pruebas PISA no responden al currículum de nuestro país.
Es importante medir si estamos logrando los objetivos de aprendizaje que nos planteamos por medio de un currículum nacional, para lo cual sirven las pruebas nacionales; en nuestro caso, la prueba “Crecer”. Sin embargo, las competencias que mide PISA también son deseables para nuestros estudiantes. Expertos de todo el mundo las diseñan en acuerdo con los países representados en la Junta de Gobierno de PISA, de modo que son la medida consenduada entre todos ellos –incluido Panamá– como indicador de la calidad educativa mínima para lograr el Objetivo de Desarrollo Sostenible 4.1.1: que al final de la Educación Secundaria Baja, los jóvenes hayan alcanzado al menos el nivel mínimo de competencia en lectura y matemáticas, que en el caso de PISA es del nivel 2. Finalmente, la construcción de capacidad y aprendizajes que tienen lugar en el país al participar del programa PISA, se traduce en una transferencia de conocimiento útil para la mejora de nuestras pruebas nacionales.

3. Los propósitos del programa PISA son ajenos a los objetivos nacionales.
Panamá ha solicitado participar en el programa PISA porque provee información y construcción de capacidades que son útiles al país para evaluar las metas nacionales planteadas. Las decisiones sobre el programa son aprobadas por la Junta de Gobierno, compuesta por todos los países participantes, por lo que en realidad no es un programa ajeno o de una entidad lejana a los países participantes, sino una co-creación constante en la que Panamá participa activamente. A su vez, no se trata solo de intereses nacionales. La humanidad enfrenta retos en común, como el cambio climático, la erradicación de enfermedades prevenibles o la disminución de la pobreza extrema. Es sabido que para lograrlos, será primordial la educación de los seres humanos que habitan cada rincón de este planeta en el que todo y todos somos interdependientes. Por esta razón nos planteamos metas en común y nos comprometemos a evaluarlas en conjunto. El análisis de los datos provenientes del programa es liderado por un equipo de cada país, que comprende el contexto particular y los objetivos nacionales. El equipo panameño compiló los hallazgos presentados en el informe nacional con el propósito explícito de que fueran útiles para la toma de decisiones en nuestro sistema educativo, y con ello beneficiar a cada uno de nuestros niños.

4. Las muestras de estudiantes y escuelas no son un reflejo de los sistemas de cada país y su economía.
Para seleccionar la muestra, se llevan a cabo los procesos estadísticos más rigurosos en el campo de la evaluación educativa, a partir de una lista de todos los estudiantes de 15 años en el país, para que sea representativa de escuelas oficiales y particulares, académicas y vocacionales, de las diferentes regiones geográficas. También se realizan procesos intensivos para asegurar que cada país participante cumpla con las reglas establecidas.

5. La información que presenta PISA es insuficiente para evaluar un sistema educativo nacional.
Ciertamente, PISA no logra proveer información sobre todos los componentes del sistema; sin embargo, es la herramienta más completa con la que contamos. Incluye información sobre las competencias de los estudiantes, así como de factores asociados. Dichos factores asociados incluyen características de las escuelas (como accesibilidad a recursos educativos), de los docentes (como nivel educativo) y del estudiante (como el idioma que se habla en su hogar, el índice socioeconómico de su familia, su nivel de satisfacción con la vida, entre otros). Luego de aplicadas las pruebas, el equipo de la OECD y el equipo de cada país dedican más de un año al análisis cuidadoso y científicamente riguroso de los datos. Este análisis nos permite conocer resultados desagregados por grupos relevantes como sexo, tipos de escuela o grupos étnicos, lo que a su vez permite evaluar la equidad del sistema según grupos, regiones o tipos de escuela, por ejemplo, que requieran de apoyo adicional.

Además, se mide el efecto de los factores asociados en las competencias de los estudiantes, lo que nos permite saber, por ejemplo, qué tanta relación existe entre el índice socioeconómico de los estudiantes y sus puntajes en las pruebas, y por ende, si estamos logrando proveer oportunidades educativas de calidad a todos nuestros niños. La medición de estos efectos también permite identificar fortalezas, retos, y priorizar las acciones necesarias para la mejora continua en el logro de los objetivos nacionales que se plantea cada país.

En la prueba de 2018, Panamá logró medir, además de las competencias de los estudiantes, las competencias de los jóvenes que se encuentran fuera del sistema educativo en regiones rurales e indígenas. Este esfuerzo permitió recaudar información sobre factores asociados y barreras en el acceso a la educación de estos jóvenes, información que aumenta el alcance y el valor de los hallazgos de PISA, particularmente considerando que alrededor de la mitad de nuestros jóvenes de 15 años no asisten a la escuela. La totalidad de los extensos datos resultantes quedan disponibles públicamente para continuar profundizando en su análisis según los objetivos nacionales.

6. No sirve de nada compararnos con otros países; lo importante es solucionar los problemas del nuestro.
Lejos de ser una competencia, la comparación con otros países nos permite aprender de sus aciertos y errores, lo que facilita y guía la solución de problemas en el contexto nacional. A nivel global, el análisis de los datos completos obtenidos en todos los países juntos ayuda a avanzar la frontera del conocimiento humano sobre sistemas educativos y cómo mejorarlos. Por ejemplo, nos permite observar que tanta relación hay entre el nivel de inversión de un país en educación y sus logros, o conocer características de los sistemas educativos que logran mejores resultados –no solo en las pruebas, sino en cualquiera de los factores asociados que nos interese– con el mismo nivel de inversión que el nuestro. También permiten observar tendencias en los datos; por ejemplo, cuál parece ser el nivel de inversión mínimo para lograr los objetivos que nos planteemos, y cuál es el punto máximo de inversión luego del cual aumentarla deja de contribuir significativamente a dichos objetivos. Estos procesos se pueden aplicar a otros fenómenos sobre los cuales nos preguntamos los especialistas en educación en todo el mundo, como por ejemplo, qué cantidad de tiempo de aprendizaje es adecuada o cuál es la proporción óptima entre docentes y estudiantes.

7. Las preguntas que presentan las pruebas PISA no están adaptadas para nuestros estudiantes; por ende, están en desventaja.
Primero, las preguntas son traducidas a un español general para la región, y luego son adaptadas a la forma de hablar en cada país por un grupo de docentes locales y personal capacitado. Una vez realizado este riguroso proceso, que es completado por nuestro propio equipo nacional, no deben quedar mayores dificultades de comprensión o temas no aplicables al contexto nacional (aunque es cierto que queda por fuera la adaptación a los diversos y numerosos contextos culturales existentes en el país).

Lo anterior no significa que los resultados del programa PISA sean perfectos. Sus procedimientos e instrumentos pueden seguir mejorando, y es parte de un proceso científico que implica siempre cuestionar con una dosis saludable de escepticismo, acompañado de una comprensión suficiente para evaluar la validez y la confiabilidad. Sin embargo, PISA constituye el proceso de evaluación más riguroso con el que contamos en el mundo entero, y sería un desperdicio desaprovechar la oportunidad de participar en las pruebas o descartar sus hallazgos. Sugerir desestimar las pruebas PISA puede responder a buenas intenciones, pero no a un análisis de la información completa.

—-

La autora es investigadora afiliada del Centro de Investigaciones Educativas de INDICASAT, miembro del Sistema Nacional de Investigación y del movimiento Ciencia en Panamá.