Por César Guadalupe
El día de hoy se publicaron los resultados de la ronda 2018 del Programa Internacional para la Evaluación de Estudiantes (PISA, sus siglas en inglés), en el cual participa el Perú (rondas de 2000, en 2001, y las de 2009, 2012, 2015 y 2018).
 |
| Puntajes medios de la OECD y del Perú en la escala combinada de lectura de PISA. 2000-2018. Las líneas horizontales marcan los límites superiores de los primeros tres niveles de desempeño definidos en 2000. Los puntos marcan el valor del estimador y las líneas los límites de los intervalos de confianza de la estimación (alpha: 0,05). |
Matemáticas: Al igual que en lectura, vemos un progreso sostenido en el tiempo (aunque aquí sólo se puede tomar los datos peruanos desde 2009 y los de OECD desde 2003). Si en 2009 estábamos a poco menos de 1,5 desviaciones estándar de la media de la OECD, ahora estamos a una desviación estándar de distancia (con un promedio de la OECD también a la baja). Sin embargo, en este caso seguimos debajo del segundo nivel de desempeño que ahora la OECD considera como mínimo aceptable.
 |
| Puntajes medios de la OECD y del Perú en la escala combinada de matemáticas de PISA. 2000-2018. Las líneas horizontales marcan los límites superiores de los primeros tres niveles de desempeño definidos en 2000. Los puntos marcan el valor del estimador y las líneas los límites de los intervalos de confianza de la estimación (alpha: 0,05). |
Ciencias: Al igual que en matemáticas, vemos un progreso sostenido en el tiempo (sólo se puede tomar los datos peruanos desde 2009 y de la OECD desde 2006). Si en 2009 estábamos a poco menos de 1,5 desviaciones estándar de la media de la OECD, ahora estamos a una desviación estándar de distancia (con un promedio de la OECD también a la baja). En este caso, como en lectura, nuestra media empieza a alcanzar el segundo nivel de desempeño que ahora la OECD considera como mínimo aceptable.
 |
| Puntajes medios de la OECD y del Perú en la escala combinada de ciencias de PISA. 2000-2018. Las líneas horizontales marcan los límites superiores de los primeros tres niveles de desempeño definidos en 2000. Los puntos marcan el valor del estimador y las líneas los límites de los intervalos de confianza de la estimación (alpha: 0,05). |
Equidad: Nuevamente, el Perú aparece como uno de los países con mayores niveles de segregación escolar (las escuelas son homogéneas en términos socioeconómicos lo que impide fomentar el encuentro entre diversos y, con ello, mayor cohesión social) y donde la desventaja económica va unida a un menor desempeño en la prueba (es el país participante en PISA donde la condición socio-económica explica con mayor intensidad las variaciones en resultados). Es decir, tenemos escuelas para pobres en la que sólo hay personas pobres que logran pobres resultados. Nuestro sistema educativo no funciona para crear oportunidades para todos y asegurar algún nivel de movilidad social, más bien, reproduce las desigualdades.
PISA se inició como una prueba que quería medir las habilidades básicas de aquéllos que estaban a punto de ingresar a la fuerza laboral (por eso, personas de 15 años) independientemente de su nivel educativo. Así, PISA debía complementar la información sobre habilidades de la fuerza laboral (población de 16 a 65 años) que en los años 90 generó la Encuesta Internacional de Alfabetismo Adulto (IALS en inglés, hoy llamada PIAAC).
Esta forma de proceder da cuenta de un propósito político detrás de PISA y que, crecientemente, ha adquirido más importancia dejando de lado la propia robustez del estudio. La búsqueda de hegemonía e influencia es, hoy, más importante que la rigurosidad en PISA y eso debe quedarnos muy claro. PISA no es un estudio, es un instrumento político.
- desde 2015 el tratamiento de la no respuesta ha cambiado (antes se consideraba que una pregunta no respondida era errada, ahora se trata como omitida o no aplicada), esto es muy importante para países como el nuestro;
- los procedimientos sicométricos usados (el modelo, la manera como se calibra la dificultad de las preguntas, la manera como se identifica problemas de comportamiento diferencial de los dichas preguntas) han variado;
Estos cambios, como ha sido mostrados por Rivas y Scasso (ver documento aquí) han afectado de modo marcado a los países latinoamericanos y fuerza a reprocesar toda la información anterior a 2015 para que sea realmente comparable. Lamentablemente, por disponibilidad de información los autores sólo han trabajado con información de 2006 en adelante. Siguiendo sus resultados, es posible afirmar con total certeza que si los datos de Perú en 2001 se hubiesen procesado de acuerdo a los cambios de 2015, no hubiesen sido tan malos y, por lo tanto, el ritmo de mejora observado sería más tímido que el que se muestra en los gráficos antes presentados.
- se ha cambiado la definición de “lectura” de modo que ahora se mide algo distinto que antes; además, se ha incluido en la medición algo que no puede ser usado para comparaciones internacionales: una medida de fluidez, que es dependiente de las características del idioma (por ejemplo, si la oración se estructura siguiendo la pauta Sujeto-Verbo-Objeto o si el verbo va al final; si hay mayor o menor grado de transparencia ortográfica; si hay más palabras monosilábicas -debido a que la lengua es tonal- y la forma como se aglomeran palabras, etc.)
- desde 2018 se usa una administración adaptativa de la prueba basada en computadoras habiéndose abandonado la aplicación en papel.
Es decir, en un sentido estricto de las cosas, los datos de PISA de 2000 a 2012 son una cosa, los de 2015 otra, y los de 2018 una tercera. Es decir, la serie histórica de datos es, básicamente, inutilizable.
A lo anterior se suma que la alta visibilidad e impacto mediático de PISA ha llevado a varios países a malas prácticas. Por ejemplo, Colombia tiene un programa de entrenamiento para la prueba (ver acá), Escocia hace campañas de motivación para el desempeño (ver acá), el Ministerio peruano intervino (al parecer no con mucho éxito) en la muestra de 2015 afectando al motivación y la preparación de los estudiantes; entre otros ejemplos que podrían incluir las “anomalías” que llevaron a la OECD a no publicar los resultados españoles en lectura este año. En todos estos casos, se corre el riesgo que la muestre deja de ser lo que debe ser: una buena representación de la población bajo estudio con lo que los datos que arroja el estudio terminan siendo, simplemente, inservibles.