La mayoría de las personas que me conocen probablemente dirían que soy un defensor de los datos y la rendición de cuentas. Soy miembro de la junta directiva de la Campaña por la Calidad de los Datos y he escrito extensamente (y favorablemente) sobre el papel de la rendición de cuentas en la promoción de la mejora educativa. Pero también he sido crítico de la rendición de cuentas, especialmente la llamada rendición de cuentas pública organizada en torno a la idea de que los padres y los defensores utilizarán los datos sobre los resultados clave de los estudiantes para presionar a las escuelas a mejorar.
Cuando me asocié con el Centro para la Reinvención de la Educación Pública en un informe que analizaba la transparencia de los informes de calificaciones estatales a la hora de reflejar la pérdida y recuperación del aprendizaje tras la COVID-19, llegué con una mente abierta. Esperaba que contuvieran la mayor parte de la información que buscábamos y que, en su mayoría, fueran bastante útiles. Me equivoqué. Creo que todos los miembros de nuestro equipo estábamos increíblemente decepcionados por muchos de los sitios web de los informes de calificaciones estatales y su incapacidad para responder a nuestras principales preguntas de interés sobre los efectos de la COVID en los resultados de los estudiantes.
Recibe historias como estas directamente en tu bandeja de entrada. Suscríbete al boletín de The 74
A continuación se presentan cuatro preguntas de nuestros cinco analistas sobre estos sitios, basadas en citas directas de una entrevista escrita que todos completamos después de terminar de calificar las tarjetas de calificaciones, y que creemos que los estados deberían considerar seguir adelante.
¿Dónde están los datos?
La conclusión principal de nuestro informe: en la mayoría de los sitios web de informes de calificaciones estatales, es extremadamente difícil hacer un seguimiento de los datos de desempeño longitudinal a nivel escolar que se remontan a antes del COVID. Hay algunas excepciones: siete estados (Connecticut, Delaware, Hawái, Michigan, Oklahoma, Pensilvania y Tennessee) obtuvieron una A por tener estos datos disponibles.
La terrible verdad: las soluciones actuales a la pérdida de aprendizaje por COVID están condenadas al fracaso
Pero incluso en muchos de estos estados con mejores resultados, hubo problemas. Muchos boletines de calificaciones estatales dificultan hacer cosas que deberían ser fáciles. Los padres deberían poder usar los boletines de calificaciones para comparar las escuelas que están considerando para sus hijos, pero en demasiados lugares, eso es imposible. Los defensores deberían poder comprender, como mínimo, el desempeño de los grupos de estudiantes exigidos por el gobierno federal, como los niños con discapacidades y los estudiantes de inglés, pero muchos estados ocultan por completo estos datos. Además, los boletines de calificaciones a menudo carecen de otros tipos de datos que los padres podrían querer sobre los servicios disponibles, como cursos avanzados, asesoramiento, incluso deportes y artes. En general, los evaluadores estaban decepcionados y desanimados.
¿Realmente no existen mejores prácticas?
Nos sorprendió la variación entre los 50 estados y el Distrito de Columbia. Un crítico comentó: “Era como si 51 contratistas diferentes hubieran diseñado estos boletines de calificaciones sin siquiera una sola práctica recomendada sobre cómo se supone que deben verse o funcionar”. Algunos estados se basaban en gráficos, otros en tablas. Algunos sitios web eran fáciles de navegar, mientras que otros eran confusos. Algunos facilitaban la búsqueda de datos de subgrupos; otros lo hacían casi imposible. Algunos sitios web de boletines de calificaciones ni siquiera se podían encontrar fácilmente a través de una búsqueda en Google.
Nuestros analistas también notaron la dificultad de entender los aspectos básicos de cada sitio. “Me sorprendió lo diferente que era cada informe estatal y el tiempo que me llevó familiarizarme con él lo suficiente para encontrar los datos que buscaba”, escribió uno. Sentí esto profundamente cuando examiné los 51 informes. A veces, fueron necesarias dos o tres visitas de 10 a 15 minutos para sentir que entendía el diseño de algunos de los sitios.
Ha llegado el «momento de los datos» en materia de educación: necesitamos saber cómo les va a los niños en tiempos de COVID
En general, pensamos que seguramente debe haber algunas prácticas recomendadas para informar este tipo de datos que los estados puedan aprovechar para mejorar sus boletines de calificaciones. Todos queríamos sitios de fácil navegación (es decir, que dejaran claro dónde hacer clic para encontrar lo que uno buscaba) donde 1) las medidas se describieran en un lenguaje claro y estuvieran organizadas temáticamente, y 2) los usuarios pudieran manipular los datos para responder a sus preguntas más importantes. Ningún sitio cumplió con este requisito, aunque algunos, como los de Idaho, Illinois, Indiana, Nuevo México y Oklahoma, fueron mucho mejores que otros; Alaska, Luisiana, Nueva York y Vermont.
Se encontraban entre los 11 estados que obtuvieron la calificación más baja en usabilidad. Podría resultar muy útil que los investigadores trabajaran con organizaciones como el Consejo de Directores de Escuelas Estatales para establecer algunos principios de diseño explícitos.
¿Quién es el usuario previsto?
Los informes de calificaciones estatales están destinados principalmente a los padres. Los agentes inmobiliarios sin duda piensan que a los padres les importa la calidad de la escuela; de lo contrario, no mencionarían las escuelas primarias locales en sus listados. La popularidad de sitios como GreatSchools demuestra que existe al menos cierta demanda de datos sobre el rendimiento escolar. Sin embargo, si los padres son el público objetivo principal de estos informes, seguro que no parece ser así. [parents] “Los padres dedican mucho más tiempo a esto que nuestro equipo de investigación”, dijo uno de nuestros investigadores. Otro describió la situación de los padres como “frustrante y desmoralizadora”, haciéndose eco de lo que la Campaña de Calidad de Datos descubrió el año pasado cuando pidió a los padres que intentaran navegar por los boletines de calificaciones estatales.
Pensamos que los boletines de calificaciones tal vez estaban tratando de llegar a demasiados públicos y, al final, no estaban satisfaciendo a ninguno de ellos. Los estados deben pensar con claridad a quiénes están dirigidos y rediseñar sus boletines de calificaciones desde cero, trabajando con esos grupos para garantizar su utilidad. En particular, el lenguaje de los boletines de calificaciones debe ser claro para las personas que pueden no ser expertas en terminología de rendición de cuentas y acrónimos relacionados con la educación. Incluso con nuestros niveles de experiencia, a veces no teníamos claro lo que significaban los diferentes puntos de datos.
¿Están los informes estatales condenados a ser un ejercicio de cumplimiento?
Algunos críticos opinaron que algunos informes de los estados parecen un ejercicio de cumplimiento: los estados los publican porque el gobierno federal se lo exige, pero, en última instancia, no les preocupa si estos sitios web son utilizables. Es una opinión un tanto cínica, pero es difícil no sentirse así después de revisar algunos de estos sitios.
Análisis: La recuperación de los cierres por el coronavirus depende de datos fiables. Qué puede hacer el gobierno federal para ayudar a los estados y las escuelas
Pero incluso si los sitios de informes de calificaciones comenzaron como ejercicios de cumplimiento, aún pueden cumplir una función positiva en el largo plazo. No queremos ser optimistas sobre su potencial, pero los padres claramente se preocupan por la eficacia de las escuelas que eligen para sus hijos, y los estados claramente pueden hacer un mejor trabajo en comunicar la eficacia de las escuelas.
Esperamos que esta revisión sea una llamada de atención para que los estados consideren la posibilidad de mejorar la presentación de informes sobre los datos de rendimiento escolar. Si bien las empresas privadas, como GreatSchools, pueden ofrecer alternativas, los estados están perdiendo la oportunidad de moldear la forma de pensar de los padres sobre qué es importante para la eficacia de las escuelas y por qué. El hecho de que los estados no proporcionen boletines de calificaciones de alta calidad y utilizables plantea una quinta pregunta: dada la importancia de una educación pública eficaz y la aparente necesidad y demanda de los datos, ¿cómo pueden los estados justificar una labor tan deficiente a la hora de informar a los padres?