Auditoría Pública nº 77. Revista de los órganos autonómicos de control externo

REVISTA AUDITORÍA PÚBLICA / 77 36 Uno de los párrafos del resumen ejecutivo es importante porque permite enmarcar la cuestión: “El uso de datos y algoritmos de forma innovadora puede permitir a las organizaciones comprender las desigualdades y reducir los prejuicios en algunos aspectos de la toma de decisiones. Pero también hay circunstancias en las que el uso de algoritmos para tomar decisiones que afectan a la vida puede considerarse injusto al no tener en cuenta las circunstancias de un individuo, o al privarle de su capacidad de acción personal. Este informe no se centra directamente en este tipo de injusticia, pero sí en la toma de decisiones, si la persona sujeta a la decisión no ha contribuido a la misma” (CDEI, 2020, p. 6). Esta aportación es clarificadora, en tanto en cuanto apunta a la problemática de sustituir la interacción directa de la administración con los ciudadanos por un sistema indirecto de toma de decisiones basado en los datos disponibles, y no en la aportación directa de información por parte de las personas sobre las que se decide. Es decir, que el riesgo de posible arbitrariedad basado en la subjetividad derivada de las siempre imperfectas relaciones entre seres humanos sería sustituido por otro riesgo más frío y difícil de detectar: el de prescindir de las personas sobre las que se deben tomar las decisiones, para confiar en datos históricos no siempre completos y a menudo portadores de sesgos de todo tipo. El informe continúa: “Tomar decisiones justas e imparciales no sólo es bueno para las personas implicadas, sino también para las empresas y la sociedad. El éxito y la sostenibilidad de la innovación dependen de la construcción y el mantenimiento de la confianza del público. Las encuestas realizadas para esta revisión sugieren que, antes de la controversia de agosto [se refiere al fiasco descrito de las notas de acceso a la universidad], el 57% de las personas sabía que se utilizan sistemas algorítmicos para apoyar las decisiones sobre ellos, y sólo el 19% estaba en principio en desacuerdo con la sugerencia de que un algoritmo ‘justo y preciso’ ayude a ayudar a tomar este tipo de decisiones. En octubre, se constató que el conocimiento había aumentado ligeramente (hasta el 62%), al igual que el desacuerdo (al 23%). Esto no apunta hacia un cambio de actitud del público, pero está claro que aún queda mucho camino por recorrer para crear confianza en los sistemas algorítmicos. El punto de partida obvio para ello es garantizar que los algoritmos sean fiables” (CDEI, 2020, p.6). Las conclusiones y hallazgos del informe del CDEI están en sintonía con lo apuntado por el profesor Paul Daly, cuando afirma que “para que la administración artificial sea eficaz, debe haber un ‘nivel suficiente de confianza social’: ‘no sólo es necesario que las aplicaciones gubernamentales de IA sean eficaces, sino que la población debe percibirlas también como eficaces para que sean complementos legítimas o sustitutas de los funcionarios humanos” 6 . Las recomendaciones del informe son las siguientes: “Los responsables de la gobernanza de las organizaciones que despliegan o utilizan herramientas de toma de deci- siones algorítmicas para apoyar decisiones significativas sobre las personas deben asegurarse de que haya líderes responsables de: ¡ Comprender las capacidades y los límites de esas herramientas. ¡ Considerar cuidadosamente si las personas serán tratadas de forma justa por el proceso de toma de decisiones del que forma parte la herramienta. ¡ Tomar una decisión consciente sobre los niveles adecuados de participación humana en el proceso de toma de decisiones. ¡ Poner en marcha estructuras para recopilar datos y supervisar los resultados para que sean justos. ¡ Comprender sus obligaciones legales y haber realizado las evaluaciones de impacto adecuadas. Esto se aplica especialmente en el sector público, donde los ciudadanos a menudo no pueden elegir si quieren utilizar un servicio, y las decisiones que se toman sobre los individuos a menudo pueden afectar a su vida” (CDEI, 2020, p.10). En relación con el uso de algoritmos y la necesidad de establecer un marco adecuado para vigilar la calidad de los datos y aprovechar el potencial de la Inteligencia Artificial para el sector público, es recomendable conocer y analizar las distintas iniciativas que se han llevado a cabo por el Reino Unido: la aprobación de un marco de referencia por la Information Commissioner’s Office (ICO), la definición de una Estrategia Nacional de los Datos ( National Data Strategy ), la reflexión sobre qué se debe entender por calidad de los datos ( data quality ) y la creación de una Oficina para la Inteligencia Artificial ( Artificial Intelligence Office ) como organismo específico dedicado a estos asuntos dentro del Ministerio con competencia en asuntos digitales. 6. Daly, P. (2019): “Artificial Administration: Administrative Law in the Era of Machines”. Working Paper, Ottawa University. He utilizado esta misma referencia en Benítez Palma (2021).