Auditoría Pública nº 81. Revista de los órganos autonómicos de control externo

58 REVISTA AUDITORÍA PÚBLICA / 81 2. Por otro lado, existiendo indicadores de evaluación definidos, su utilización en la evaluación no es correcta . Tal y como se recoge en el Informe de fiscalización operativa, con enfoque evaluador, de la gestión de los planes y programas para la reducción del abandono educativo y para el incremento del éxito escolar: ¡ “127. Los indicadores definidos en la posterior fase de evaluación de los programas son indistintamente de realización y de resultados. Por tanto, y aunque algunos de estos indicadores hayan sido denominados como de impacto, no tienen tal naturaleza desde un enfoque evaluador.” ¡ “135. El impacto presentado en los informes de evaluación realizados por la DGOEE, a través de los denominados indicadores de impacto, no mide la relación de causalidad en términos de efecto producidos única y exclusivamente por la implementación de los programas. Al no analizar directamente la tasa de abandono ni la tasa de titulación no se puede concluir cuál sería el efecto o impacto a largo plazo sobre dichos indicadores. No obstante, se pueden analizar los “resultados” que estarían circunscritos a los logros a corto: promoción de un curso a otro, mejora convivencia en el centro escolar, y utilidad para familias, docentes y alumnos. ¡ 136. Una de las características esenciales de las evaluaciones de impacto es la utilización del análisis contrafactual de lo que podría haber pasado de no haberse llevado a cabo la acción pública u otros factores externos. Las evaluaciones presentadas por la DGOEE no utilizan esta técnica, la cual podría comparar los resultados de abandono y éxito escolar entre alumnos o centros que participen o no en los programas fiscalizados.” En la fase de ejecución debemos resaltar las dificultades en cuanto a la obtención de los datos y sus fuentes de información. El objetivo de los datos es obtener una evidencia adecuada y suficiente que soporte las conclusiones del informe, que debe aportar un valor añadido y las recomendaciones que se estimen oportunas. Si dichos datos no son completos, objetivos y fiables, no podremos obtener dicha evidencia. En la práctica, nos podemos encontrar, que éstos no se puedan obtener, que se obtengan de forma incompleta e insuficiente, o que incluyan lo que se conoce como “datos sucios” (datos no registrados correctamente, duplicados, celdas vacías, errores de tipografía), lo cual puede provocar que sea necesaria una exhaustiva depuración de los datos. En cuanto a las fuentes de origen de la información, las bases de datos , en su mayoría, no están diseñadas para evaluar, sino con objetivos más tradicionales de control del gasto. Así, las bases de datos pueden estar desactualizadas u obsoletas, o contener datos incompletos o incluso presentar descuadres, desfases en el tiempo, entre otros. Suele ser útil realizar encuestas, circularización o cuestio- narios. La ventaja es que podemos acudir directamente a la fuente para la obtención de los datos, y podemos obtener tanto datos cuantitativos como cualitativos. Pero un inconveniente que nos podemos encontrar es la falta de obtención de respuesta o su obtención de forma no homogénea, o que de los datos obtenidos no podamos extraer una conclusión. Por eso, ante cualquier pregunta de evaluación que se quede sin respuesta, debemos explicar muy bien y analizar los datos disponibles, aunque existan descuadres o desfases en la información obtenida. En relación con el Informe de fiscalización operativa, con enfoque evaluador, de la gestión de la enseñanza bilingüe no universitaria, destacamos los siguientes párrafos: ¡ “81. b) Hay una importante falta de disposición de respuesta del curso 2016/2017 de algunas provincias. También hay delegaciones que no remitieron su respuesta en el curso 2019/2020. Por ello, el objetivo de comprobar la evolución de los aspectos evaluados queda limitado. ¡ 81. c) Se producen incoherencias en el número de respuestas de las encuestas sobre el grado de satisfa- cción del profesorado, alumnado y familias respecto a la enseñanza bilingüe y a la figura del auxiliar de conversación. Ello unido a que no se obtiene respuesta de todas las delegaciones en la gran mayoría de los aspectos analizados, induce a limitar el contenido y valor de estas encuestas a los efectos de su consideración en la evaluación del PEDLA.” En esta fase de ejecución del trabajo, es muy importante documentar todas las limitaciones, diferencias y descuadres encontrados, además de analizar y soportar todas las respuestas a las preguntas de evaluación, ya que, como hemos comentado, todas las preguntas inicialmente planteadas deben quedar respondidas. En el caso en el que existan preguntas que no se puedan responder, habrá que analizar su causa, porque puede deberse a distintos motivos, entre ellos, posibles debilidades, áreas de mejora o inadecuada formulación de las preguntas.