jueves, 17 de enero de 2013 | |

Marcos de Evaluación de pruebas internacionales


Así como los estándares entregan solidez y confiabilidad a los resultados y permiten ex post, reorientar las políticas públicas destinadas al área de la educación, el Marco de Evaluación constituye el continente donde se alojan las variables generales del instrumento y su proceso. Esto quiere decir en palabras simples, que el Marco indica la cancha que consensuadamente traza los límites conceptuales en que se desarrolla el juego.

En este sentido, el Marco define un vocabulario general de categorías o valores que una variable general puede adquirir.  Su importancia radica precisamente en la identificación y enumeración de esos valores, porque constituyen el vocabulario universal en el que las comisiones y luego los tomadores de decisión hablarán para entender qué se está midiendo, cómo se está midiendo, y finalmente,  cómo se leen los resultados del instrumento.

Un Marco de Evaluación para un instrumento internacional de evaluación, no puede sino ser el resultado de un largo proceso de discusión en el que cada una de las comisiones nacionales, intenta validar sus referencias en negociación con otros pares. Su resultado final es una mejora en el proceso de evaluación que se torna así “universal” .

¿Qué componentes debiera tener mínimamente un Marco de Evaluación?

Al menos puedo identificar dos familias de componentes:
  1. Elementos propios del Instrumento, que incluyen las descripciones y decisiones que sobre los valores de cada variable general se hacen, enriqueciendo al instrumento desde el consenso educativo. Identifico entre estos:
*      La definición de dominios cognitivos (números, medidas o geometría para el caso de matemáticas o biología, física y química en el caso de ciencias) y de contenidos (usar conceptos, resolver problemas para matemática o bien células, reproducción y diversidad en biología) para TIMSS o bien la definición de las habilidades y competencias (matemáticas, lectoras y científicas) para PISA.
*       La definición acerca del alcance de la prueba en términos del universo que mide y características básicas que se emplearán en la elaboración del instrumento.
*      Las definiciones acerca de los ítems tales como su formato, distribución de acuerdo a los aspectos fundamentales que se miden, tales como extracción de información, desarrollo resolución de problemas, identificación de hipótesis, etcétera.

  1. Elementos de interpretación de resultados, que incluyen los aspectos formales de cuantificación y distribución de los resultados. Considero entre estos:
*      Uso de escalas y/o subescalas.
*      Distribución de los desempeños de la muestra organizados en forma de variables continuas o discontinuas (TIMSS reporta en base a una escala discontinua organizada en Avanzado, Alto Intermedio y Bajo; en tanto PISA reporta en escala de seis acompañada de un texto explicativo sobre la naturaleza de las capacidades del alumno) y sub escalas por competencias.
*      Información pública disponible en sitios Web, que hacen abierta y pública la información para quien desee revisarla.

Sobre los aportes que un sistema basado en un Marco de Evaluación consensuado reporta no hay dudas:
Primero, permite disponer de un instrumental de alto nivel académico que alimentará a posteriori buena parte de nuestras políticas públicas y academias
Segundo, constituye un lenguaje común, un rayado de cancha construido democráticamente, que construye un sentido y valor de la medición. Responde satisfactoriamente a la pregunta del para qué.
Tercero, identifica los valores específicos que las variables generales no expresan a simple vista. Es decir me permite identificar qué variables, con qué contenidos y cómo se debe evaluar. Permite responder al qué se está evaluando.
Cuarto, universaliza la lectura de lo que se evalúa permitiéndonos a todos entender dónde estamos en el momento.

Desde el punto de vista crítico, tal y como planteara en clases, los Marcos de Evaluación de las pruebas internacionales  nos encaminan peligrosamente hacia la homogenización curricular (y atención que el problema no tiene que ver con medir que por cierto no tiene nada de malo). El problema tiene que ver con la forma en cómo se deciden los cambios sobre el currículo, al que entiendo de manera extendida como un conjunto de saberes (que incluyen los saberes hacer, los saberes conocer y los saberes ser ) validados socialmente.

En una perspectiva más radical, el currículo representaría un espacio muy importante en la lucha entre la sociedad política y la sociedad civil. En esta forma entendida, el currículo toma un valor gramciano nuevo (o viejo) que lo valora como una institución de "reproducción" abierta a las formas, procedimientos y  técnicas de “dominio y liberación”, de “conservación y progreso”.

El domicilio ideológico desde donde arranquen esos cambios que homogenizan el curriculum globalmente no es inocuo y el Marco de Evaluación, arranca desde una declaración explícita, al menos en PISA, cuya dirección no todos compartimos y que sin embargo se nos impone, globalmente. 

0 comentarios: