Cada vez que se publican los resultados de las pruebas PISA, la indignación desplaza al tratamiento riguroso de los datos. Asistimos a un espectáculo mediático y político que busca culpables rápidos, agravado esta vez por las pésimas reacciones de un gobierno que le hecha la culpa al anterior y que poco o nada ha hecho por la educación en estos últimos tres años. Ante la falta de una gestión pedagógica seria, el puntaje estandarizado se reduce a un mero instrumento de chicana política.
No. No les voy a contar cómo nos fue. Si esperaban eso pueden cortar acá. Eso pueden buscarlo en cualquier lugar. Quiero dedicar este espacio a otra cosa. Debemos entender de una vez qué es y para qué nos sirve aplicar estas evaluaciones. Y por supuesto qué no debemos hacer -que seguimos haciendo- tras 25 años de existencia de estas pruebas.
El debate público alrededor del Programa para la Evaluación Internacional de los Alumnos (PISA) padece de una distorsión epistemológica recurrente: los puntajes estandarizados se confunden con explicaciones pedagógicas y las posiciones en el ranking sustituyen el análisis sistémico. Para que la evaluación estandarizada cumpla una función transformadora, es imprescindible superar el fetiche del número estático. Los datos brutos deben procesarse para convertirse en información analítica, y esa información no debe usarse para emitir juicios conclusivos, sino como el disparador de hipótesis e investigaciones rigurosas orientadas a determinar relaciones de correlación y causalidad con los fenómenos socioeducativos de fondo.
El problema diagnóstico: reduccionismo del dato y espectacularización
La crítica principal a la gestión habitual de las pruebas PISA no radica en la validez técnica de sus instrumentos, sino en el uso mediático y político que se hace de sus resultados. Este fenómeno se manifiesta en tres distorsiones centrales:
- La trampa del League Table (ranking deportivo): Se prioriza la posición relativa de un país sobre su evolución longitudinal o la estructura interna de sus resultados. Subir o bajar posiciones -muchas veces dentro del margen de error estadístico o debido a variaciones en el número de países participantes- opaca la comprensión de lo que los estudiantes efectivamente saben y pueden hacer.
- Determinismo y soluciones de “corta y pega”: Existe una tendencia a correlacionar de forma simplista el éxito o fracaso en PISA con una única variable (inversión presupuestaria, salario docente, días de clase o métodos de lectura). De allí surgen intentos desacertados de importar mecánicamente políticas de países de alto rendimiento sin atender a sus contextos históricos, institucionales, sociales, económicos y culturales.
- Confusión entre evaluación de aprendizaje y evaluación del sistema: PISA mide competencias transversales en jóvenes de 15 años. Asumir linealmente que una caída o alza en los puntajes refleja de manera exclusiva la calidad de la escuela secundaria, or ejemplo, ignora variables de educabilidad previa (educación inicial, nutrición, capital cultural familiar).
Fundamento epistemológico: de la matriz de datos a la información relevante
Un puntaje medio en matemática o lectura es un dato. Por sí solo, carece de poder explicativo. Para transformarlo en información, la medición debe desagregarse y cruzarse de forma multidimensional:
- Análisis de brechas intra-sistema: La información surge al comparar no solo promedios nacionales, sino las disparidades entre quintiles socioeconómicos, la brecha entre escuelas públicas y privadas, las diferencias urbano-rurales y la equidad de género.
- Integración con cuestionarios de contexto: PISA recopila datos valiosos sobre el clima escolar, el sentido de pertenencia, la ansiedad académica y el nivel formativo de las familias. La conversión de datos en información requiere conectar las pruebas de rendimiento cognitivo con estos factores contextuales.
- Evolución por cohortes y distribución por niveles de desempeño: Más que la media nacional, la información crítica reside en la proporción de alumnos situados por debajo del umbral básico de competencia (Nivel 2) y en la evolución de los niveles superiores a lo largo del tiempo.
La metodología faltante: PISA como disparador de inferencia causal
Los estudios PISA son observacionales y transversales (cross-sectional). Por diseño, PISA revela correlaciones, pero no demuestra causalidad. El error sistemático de la política pública ha sido tratar la correlación estadística como un diagnóstico causal directo.
Para cerrar esta brecha, la información derivada de PISA debe funcionar como la fase exploratoria de un proceso de investigación más profundo:
- Formulación de hipótesis causales: por ejemplo, si la información indica que la repitencia escolar se asocia con un menor desempeño ajustado por nivel socioeconómico, eso constituye una hipótesis de trabajo, no un hecho probado.
- Aplicación de métodos econométricos y cuasiexperimentales: Para aislar la causa real de un resultado, la investigación educativa debe recurrir a diseños de inferencia causal -tales como “regresión discontinua”, “variables Instrumentales”, “Propensity Score Matching” o “emparejamiento por puntuación”– que controlen los factores de confusión.
- Triangulación cualitativa y de campo: Las cifras deben complementarse con investigación etnográfica en el aula, análisis de las prácticas pedagógicas docentes y evaluación cualitativa de la gestión escolar para entender cómo y por qué suceden los fenómenos identificados.
Lineamientos narrativos para reorientar el debate público
Para transformar la narrativa social y política en torno a PISA, las intervenciones públicas y los informes técnicos deberían estructurarse bajo tres pilares:
- Sustituir el veredicto por la pregunta: reemplazar el titular “El país descendió cinco puestos en el ranking” por “La información de PISA revela un estancamiento en la comprensión lectora del sector vulnerable: ¿qué factores dentro del aula y la gestión explican esta brecha?”.
- Posicionar a PISA como brújula, no como mapa completo: enfatizar que PISA identifica dónde están las anomalías o logros del sistema, pero que corresponde a la investigación educativa de cada país descubrir las causas y diseñar las soluciones.
- Exigir rigor antes de la prescripción de políticas: condicionar las reformas educativas masivas a la existencia de evidencias causales sólidas, desacreditando las decisiones tomadas por mera fascinación ante promedios internacionales.
Este enfoque diferenciado del actual desplaza la discusión desde la culpa institucional y el sensacionalismo estadístico hacia un compromiso con las ciencias de la educación, convirtiendo la evaluación en un insumo riguroso para la mejora sistémica.
