Auditoría Pública nº 81. Revista de los órganos autonómicos de control externo

57 Aplicación práctica y principales dificultades de las auditorías operativas con enfoque evaluador B) Fase de ejecución La elaboración de una matriz de auditoría es muy útil como documento de trabajo. En ella se exponen, por un lado, los objetivos de auditoría, por otro, los criterios con los que vamos a evaluar la materia, y, en tercer lugar, las preguntas de evaluación y los indicadores con los que se pretende obtener datos para obtener conclusiones. La elaboración de una matriz de auditoría requiere un nivel de conocimientos adecuados sobre la materia y de síntesis de información para su elaboración. “A.247. En cuanto al análisis de la evaluación realizada de los programas, de conformidad con el “enfoque metodológico” de este informe, el equipo de fiscalización de la Cámara de Cuentas de Andalucía ha utilizado la matriz de evaluación de la “Guía de evaluación de resultados de políticas públicas”, del Instituto para la Evaluación de Políticas Públicas. La matriz de evaluación o matriz de auditoría es la herramienta básica para guiar el proceso de evaluación. Generalmente está integrada por las preguntas y criterios de evaluación y suelen incluir los indicadores, las fuentes, las herramientas y técnicas de análisis. Con ella se busca dar robustez y credibilidad a las conclusiones y recomendaciones que se generan a partir de las respuestas a dichas preguntas, en función de los criterios. La matriz que se muestra en la guía es un ejemplo de matriz de evaluación con arreglo a los criterios más habituales en una evaluación tanto de los resultados como del impacto de las políticas públicas” 7 . Los indicadores deben cumplir los criterios SMART (ser específicos, medibles, alcanzables, realistas y temporalmente determinados) y estar vinculados a los criterios de auditoría previamente establecidos en la fase de planificación. No obstante, en la práctica, nos encontramos con dos dificultades: 1. Por un lado, la definición e identificación adecuada por parte del órgano gestor de los indicadores de evaluación de la política, recayendo esta tarea en el equipo de fiscalización. En el caso del Informe de fiscalización operativa, con enfoque evaluador, de la gestión de la enseñanza bilingüe no universitaria: ¡ “A.17. El PEDLA no dispone de indicadores de eficiencia ni de economía. Todos los indicadores incluidos en la “herramienta de seguimiento” utilizada para su evaluación valoran el cumplimiento de las actuaciones, medidas, objetivos y líneas de actuación del plan, por lo que son indicadores de eficacia. Ninguno de ellos presenta un valor de referencia o estándar de cumplimiento con el que comparar el resultado alcanzado. ¡ A.18. Igualmente, los indicadores de participantes por anualidades, que sí tienen definido un valor objetivo a conseguir, también miden únicamente la eficacia. ¡ A.19. Por tanto, el equipo de fiscalización de la Cámara de Cuentas de Andalucía ha definido unos objetivos y subobjetivos, a los que se asocian unos criterios de auditoría, en forma de indicadores que sirven para evaluar la eficacia, eficiencia y economía en la gestión de estos fondos”. También nos encontramos esta problemática en el Infor- me de fiscalización operativa, con enfoque evaluador, de la gestión de los planes y programas para la reducción del abandono educativo y para el incremento del éxito escolar: ¡ “A.125 La metodología de estas evaluaciones señala que con el objetivo de medir los logros que pretenden alcanzar los programas de refuerzo se diseñó un cuadro de indicadores agrupados en diferentes dimensiones relacionadas con los objetivos generales y específicos de los programas de refuerzo. En concreto, la DGOEE ha definido seis dimensiones de indicadores, en función de la información que se busca obtener con ellos. ¡ A.126. Estos indicadores son indicadores de eficacia, si bien la propia metodología en algunos casos los califica de indicadores de impacto. No son, por tanto, indicadores de eficiencia ni de economía. ¡ A.127 Ninguno de los indicadores presenta un valor de referencia o estándar de cumplimiento con el que comparar el resultado alcanzado.” 7. Informe de fiscalización operativa, con enfoque evaluador, de la gestión de los planes y programas para la reducción del abandono educativo y para el incremento del éxito escolar, BOJA número 76, 24 de Abril de 2023.