Auditoría Pública nº 77. Revista de los órganos autonómicos de control externo

35 Auditores de algoritmos que, al menos en los Estados Unidos, es la gente más desfavorecida la que se relaciona con la administración pública, lo que introduce un llamativo sesgo en el manejo de la información disponible, que no abarca al conjunto de la población, ni incorpora todas las variables relevantes, sino que presenta carencias que además influyen en la decisión que se toma. Para introducir la cuestión, podemos partir de cuatro ideas aportadas por los profesores Michael Kearns y Aaron Roth en su libro “El algoritmo ético”. Se trata de una obra de lectura amena y recomendable que permite a las personas interesadas afrontar desde la curiosidad una aproximación a los problemas derivados del uso de algoritmos mal diseñados para tomar decisiones que afecten a nuestras vidas. Las cuatro ideas mencionadas son las siguientes: 1. “A medida que prolifera la captura y el análisis de datos, no sólo nos preocupa la privacidad, porque los algoritmos, esas pequeñas secuencias de código máquina que interfieran cada vez más en nuestros comportamientos a través de los teléfonos e internet, no se limitan a analizar los datos que generamos con cada uno de nuestros desplazamientos. También los emplean activamente para tomar decisiones que influyen en nuestras vidas” (Kearns y Roth, p. 13). 2. “¿Qué es un algoritmo? En su nivel más fundamental, no es más que una serie de instrucciones especificadas con gran precisión para llevar a cabo una tarea concreta” (Ibidem, p. 14). 3. “Sin embargo, los algoritmos, especialmente los mo- delos derivados directamente de datos a través de un aprendizaje automático, plantean retos diferentes. No solo permiten a un número importante de agentes tomar decisiones sin intervención humana, sino que, por su naturaleza tan compleja y opaca, ni siquiera sus diseñadores pueden prever cómo se comportarán en muchas situaciones” (Ibidem, p. 19). Esta afirmación enlaza con las advertencias realizadas hace unos años por Frank Pasquale en otro libro importante 4 , o más recientemente por Ryan Calo y Danielle Citron, cuando afirman que “los sistemas automatizados del Estado administrativo ponen de manifiesto hasta qué punto los funcionarios de los organismos han delegado sus responsabilidades en sistemas de terceros que son poco comprendidos incluso por sus creadores (little understood even by their creators ) 5 . 4. “El resultado es que la toma de decisiones complejas automatizada que aporta el aprendizaje de las máquinas tiene un perfil propio, diferente del de su diseñador. Tal vez éste conozca bien el algoritmo que se utilizó para encontrar el modelo de toma de decisiones, pero no el modelo en sí” (Kearns y Roth, p. 23). En definitiva, una cosa es el diseño de los algoritmos y otra muy diferente el control del funcionamiento de estos algoritmos una vez que se introduce en ellos un componente de aprendizaje autónomo. Esta divergencia es la que está en la base de la preocupación de las instituciones europeas de control externo cuando llaman la atención sobre la necesidad de auditar este tipo de sistemas. Por lo tanto, hay dos cuestiones que fundamentan o explican la necesidad de controlar y vigilar el buen uso de algoritmos en el proceso de toma de decisiones en las administraciones públicas. Por un lado, están los sesgos derivados de la utilización de grandes bases de datos mal definidas, o incompletas, o que se basan en la experiencia histórica, lo que lleva a tomar decisiones que incorporan implícitamente mecanismos de discriminación (en los Estados Unidos si eres de raza negra un algoritmo puede tener la capacidad de clasificarte como una persona en situación de riesgo, o como un potencial criminal). Y por otro lado está la propia explicabilidad y fundamentación, es decir, la motivación administrativa, de las decisiones tomadas a partir del uso de un algoritmo concreto. Por utilizar de nuevo un ejemplo reciente y conocido, en los Países Bajos el gobierno tuvo que dimitir tras reconocer que un algoritmo de lucha contra el fraude había obligado a miles de familias de origen inmigrante a devolver ayudas sociales porque había categorizado erróneamente que esas familias estaban cometiendo fraude al acceder a las ayudas del Estado. Es decir, que en efecto se están tomando decisiones basadas en algoritmos que influyen en las vidas de los ciudadanos, en estos casos para perjudicarlas y causar un grave daño económico y reputacional. En el Reino Unido, la utilización de un algoritmo para establecer las notas de los estudiantes de cara al acceso a la universidad, a partir de sus expedientes académicos y escuelas de procedencia, resultó ser un enorme fiasco que salpicó a la propia confianza de la sociedad en el sistema. El escándalo animó al gobierno a encomendar al Centre for Data Ethics and Innovation (CDEI) un informe sobre los sesgos algorítmicos, de obligada lectura para comprender la situación, publicado en noviembre de 2020: Review into Bias in Algorithmic Decision-Making. 4. The Black Box Society: The Secret Algorithms That Control Money and Information. Harvard University Press, 2015. 5. Calo, R. & D. K. Citron (2020): “The Automated Administrative State: A Crisis of Legitimacy”. Boston University School of Law. He citado ya esta referencia en Benítez Palma (2021).