Auditoría Pública nº 81. Revista de los órganos autonómicos de control externo

54 REVISTA AUDITORÍA PÚBLICA / 81 Otra dificultad que nos encontramos en esta fase de planificación es la definición de los criterios que van a evaluar la política elegida, ya que, además de los criterios propios de las auditorías operativas (principios de eficacia, eficiencia y economía, y, si existen, áreas de mejora) se incluyen otros criterios que deben ser definidos, tal y como se refleja en el Informe de fiscalización operativa con enfoque evaluador de la gestión de la enseñanza bilingüe no universitaria: ¡ “16. En relación con el presente informe de fiscalización, la responsabilidad de la Cámara de Cuentas de Andalucía es concluir sobre la eficacia, eficiencia y economía de la gestión de la enseñanza bilingüe no universitaria, así como sobre la validez, exhaustividad y enfoque evaluador de dicha política, siguiendo la Guía INTOSAI GUID 9020 “Evaluación de las políticas públicas". Y en el Informe de fiscalización operativa, con enfoque evaluador, de la gestión de los planes y programas para la reducción del abandono educativo y para el incremento del éxito escolar: ¡ “8. En relación con el presente informe de fiscalización, la responsabilidad de la Cámara de Cuentas de Andalucía es concluir sobre la eficacia, eficiencia y economía de la gestión de los planes y programas relacionados con el abandono educativo y el éxito escolar, así como sobre la validez, exhaustividad de la evaluación realizada sobre esos planes y programas, siguiendo la Guía INTOSAI GUID 9020 “Evaluación de las políticas públicas” a los que hemos hecho referencia anteriormente. Estos criterios, no excluyentes entre sí, deben definirse correctamente, ya que, además de que debe existir una relación lógica entre la política y los criterios de evaluación, es preciso elegirlos dependiendo del tipo de auditoría a realizar. Otra dificultad radica en el establecimiento del alcance temporal de la política. Y, para ello, es fundamental realizar una primera distinción entre resultados de la política (efectos inmediatos y a corto plazo) e impactos (efectos a largo plazo). La medición de los impactos a medio y largo plazo es característica de la evaluación de las políticas públicas y va más lejos que la realizada en la auditoría operativa. En lo que respecta al tiempo transcurrido desde la puesta en marcha de la política, desde un punto de vista teórico, la evaluación de una política pública puede efectuarse en tres momentos diferentes, ex ante, concomitante y ex post. Los OCEX, sin embargo, realizan las auditorías operativas con enfoque evaluador ex post, es preferible esperar dos o tres años desde su puesta en marcha con el fin de disponer de suficientes datos y evitar resultados provisionales. Este decalaje es fundamental para poder evaluar los efectos indirectos y a largo plazo, que son una parte muy importante de la evaluación. Tal y como se refleja en el I nforme de fiscalización operativa con enfoque evaluador de la gestión de la enseñanza bilingüe no universitaria: ¡ “29. El alcance temporal de esta fiscalización se corresponde con la duración del PEDLA 1 . Su marco financiero cumple cinco anualidades (2016 a 2020), lo que en términos de cursos escolares se corresponde con el periodo 2016/2017 a 2020/2021. ¡ “31. Esta consideración temporal dificulta el enfoque evaluador, pues la medición de los resultados e impactos requeriría que hubiese transcurrido, al menos, un curso escolar desde la finalización del PEDLA. No obstante, al tratarse de un análisis de cinco cursos, es posible considerar, como hipótesis de trabajo, que los resultados obtenidos en los últimos cursos del plan representan el impacto de las medidas adoptadas en los primeros cursos”. Y en el Informe de fiscalización operativa, con enfoque evaluador, de la gestión de los planes y programas para la reducción del abandono educativo y para el incremento del éxito escolar: ¡ “33. El alcance temporal de esta fiscalización es el ámbito de aplicación del PEEA 2 , que se corresponde con cuatro anualidades desde su aprobación, por lo que abarca desde el 29/11/2016 a 29/11/2020. En términos de años escolares se corresponde con los cursos 2016/17 a 2019/20. Además, se añade el curso 2020/21 por las siguientes razones”. Si se concede un cierto margen de tiempo a la política pública, resultará más fácil poder realizar un análisis con- trafactual . El análisis contrafactual es una técnica que permite visualizar y corregir errores futuros, sobre la base del conocimiento obtenido a través de simulaciones controladas, que consigue establecer las relaciones de condicionalidades y de consecuencias. Aplicándolo con rigurosidad, pueden establecersecuadros acabadosde resultados (consecuencias), donde se indiquen sus causalidades.  1. PEDLA – Plan Estratégico de Desarrollo de las Lenguas en Andalucía. 2. PEEA – Plan de Éxito Educativo de Andalucía.