Auditoría Pública nº 78. Revista de los órganos autonómicos de control externo

REVISTA AUDITORÍA PÚBLICA / 78 90 5.3 Métodos de medición de resultados 11 Los métodos que se emplean en la evaluación de impacto difieren entre sí en función del procedimiento utilizado para definir el grupo de individuos que actúan como contrafactual: ¡ Por una parte, los denominados diseños experimentales son aquellos en los que, partiendo de una población de potenciales beneficiarios del programa o política, los individuos acaban participando o no de acuerdo con un mecanismo de asignación puramente aleatorio; los individuos que no participan, el denominado grupo de control, constituyen el contrafactual en este tipo de diseño. ¡ Por otra parte, el resto de métodos disponibles, que reciben el nombre de diseños cuasiexperimentales, comparten la característica de que la participación de los individuos en el programa no la define como un procedimiento aleatorio: ya sea porque son los propios individuos los que eligen participar o no, ya sea porque otro agente toma esa decisión, o por las dos cosas al mismo tiempo. En los diseños cuasiexperimentales, el contrafactual se define a partir de los individuos que no participan en el programa, que constituyen lo que se denomina grupo de comparación. Entre éstos últimos destacan métodos tales como diferencias en diferencias, Propensity Score Matching y regresiones discontinuas. El auditor debe tener presente que el proceso de obtención de datos resulta crítico. Es una condición necesaria para poder realizar evaluaciones de impacto, disponer de microdatos, tanto del grupo de tratamiento como de comparación, para todo el ámbito temporal de la evaluación. En este sentido, una vez que se tiene claro el diseño que puede tomar la evaluación de la política o programa, la tarea del equipo evaluador consiste en identificar todas aquellas bases de datos con información relevante sobre los individuos que componen los grupos de control y tratamiento previamente definidos, idealmente con el horizonte temporal más amplio posible. Para ello, resulta imprescindible disponer de la colaboración de instituciones como el Instituto Nacional de Estadística, los servicios públicos de empleo, la Seguridad Social o la Agencia Estatal de Administración Tributaria, que requeriría la formalización de convenios individualizados con las mismas. Además de los registros administrativos, la búsqueda de información puede ampliarse a encuestas ya disponibles o, incluso, a la elaboración de una nueva. 5.4 Elaboración de la matriz de evaluación 12 La evaluación no deja de ser un proceso de investigación específico del análisis de las políticas públicas. Toda metodología de investigación parte de la formulación de una serie de preguntas. En el caso de la evaluación, las denominadas preguntas de evaluación pretenden indagar sobre distintos aspectos de la intervención pública llevada a cabo. Las preguntas de evaluación pueden agruparse o vincularse con los denominados criterios de evaluación, que son los elementos de valoración que permiten emitir juicios valorativos sobre las distintas fases del ciclo de la intervención: su eficacia, implementación, pertinencia, etc. Los indicadores, análisis o variables permiten obtener evidencias acerca de las preguntas formuladas en la eva- luación. Son la operacionalización de las preguntas, sobre las que se construirán las conclusiones y recomendaciones de la evaluación. Finalmente, las fuentes de verificación son las fuentes de información o herramientas o datos que posibilitan construir los indicadores o realizar los análisis. La matriz de evaluación es la herramienta fundamental que integra de forma lógica las preguntas de evaluación, sus subpreguntas, los criterios o niveles de análisis a los que corresponde cada una de ellas. Permite integrar las respuestas medibles o mensurables a dichas preguntas, puesto que se acompaña de los indicadores y análisis apropiados para cada una de ellas y las fuentes de verificación de las que se extraen. Las preguntas de evaluación En evaluación es común referirse a las preguntas de evaluación como la unidad básica de la investigación. Las preguntas sirven para concentrar el trabajo de evaluación en los puntos clave. Tradicionalmente, suele estructurarse en torno a una serie de preguntas que indagan determinados 11. Apartado 3 de la “Guía práctica 5 Evaluación de impacto. (Ivàlua, 2009). 12. Apartado 3.1 de la “Guía práctica para el diseño y la realización de evaluaciones de políticas públicas Enfoque AEVAL”. 2015.