Enrique Benítez Palma ha sido Consejero de la Cámara de Cuentas de Andalucía durante seis años, tras otros muchos como alto funcionario de la Junta de Andalucía. Sus líneas de investigación y más recientes publicaciones están vinculadas al mundo de la burocracia digital y el nuevo papel del auditor, a los y la ciberseguridad como nuevos riesgos en el control interno del sector público. Es, quizás, la persona de nuestro mundo fiscalizador que está más «al día» de lo que se publica en todo el mundo al respecto.

A continuación, el propio Enrique nos hace un resumen de su contundente ponencia presentada durante la reunión profesional celebrada hace unos días en Santiago de Compostela y organizada por el Consello de Contas de Galicia.

En los recién celebrados Encuentros Técnicos de la Asociación de Órganos de Control Externo (ASOCEx), que ya han alcanzado su XV edición y que han tenido lugar en Santiago de Compostela, con excelente organización y notables aportaciones, llamé la atención sobre la creciente aplicación de algoritmos o soluciones basadas en inteligencia artificial para la toma de decisiones públicas. Se trata de un terreno controvertido en el que España va con retraso con respecto a los principales países de su entorno. Primero porque la regulación nacional sobre las llamadas “actuaciones administrativas automatizadas” es parca y requiere mejor desarrollo: perdida la oportunidad de hacerlo en el RD 203/2021, merece la pena prestar atención a la redacción y requisitos que se incluyen en el Decreto 622/2019 de la Junta de Andalucía.

Pero, sobre todo, el retraso puede achacarse también a la falta de madurez tecnológica del sector público español. En los países anglosajones existe ya un amplio catálogo de normas -muchas de ellas de soft law– referidas al denominado “Automated Decision-Making”, sin que quede muy claro si este desarrollo ha favorecido la adopción de este tipo de herramientas, o si ha sido la realidad de su implantación la que ha llevado a remolque a la redacción y aprobación de marcos de uso (frameworks) y similares. Lo cierto es que la experiencia de diversos países, muy especialmente Holanda y el Reino Unido, pueden y deben servir para ver qué se puede hacer en España. Aprender de sus aciertos y, sobre todo, de sus errores.

El Reino Unido ha desplegado un amplísimo catálogo de normas e instrumentos. Sería largo y prolijo describir o enumerar la documentación básica de referencia, pero sí que es importante mencionar la creación ad-hoc de la Office for Statistics Regulation, cuya visión es sencilla:

“Las estadísticas deben estar al servicio del bien público. Como reguladores, nuestro papel es apoyar la confianza en las estadísticas abordando los daños [derivados de su mal uso] y asegurando que las estadísticas sirvan al bien público”

 Esta oficina, junto al Ada Lovelace Institute, ha investigado uno de los casos más sonados de mal uso de algoritmos en el sector público: el escándalo Ofqual, que, ante la imposibilidad de celebrar el equivalente a nuestra EBAU (prueba de selectividad para el acceso a la universidad), decidió asignar calificaciones a los estudiantes en función de bases de datos históricas. El resultado fue que alumnos mediocres de buenas escuelas y distritos de renta alta fueron sobrepuntuados, y que buenos alumnos de malos institutos y distritos menos favorecidos fueron sistemáticamente calificados a la baja.

La aplicación de este tipo de herramientas en el sector local británico ha revelado, además, que miles de familias han tenido dificultades de acceso a sus legítimas y correspondientes ayudas públicas, aumentando las sospechas de fraude y multiplicando los controles de manera desproporcionada.

Algo muy similar ha ocurrido en Holanda. En enero de 2021, el gobierno liderado por Mark Rutte se vio obligado a dimitir por un escándalo relacionado con el uso de algoritmos para vigilar y castigar -Foucault dixit- las percepciones de determinadas prestaciones públicas. Miles de familias de origen extranjero sufrieron las consecuencias: muchas tuvieron que endeudarse para devolver lo que supuestamente habían percibido de manera incorrecta; otras optaron por volver a sus países de origen; se investigaron varios suicidios e incluso hubo familias que perdieron la custodia de sus hijos. Un verdadero drama basado en los sesgos de un algoritmo diseñado para perseguir el fraude a pequeña escala.

En estos días se ha sabido que la agencia holandesa de protección de datos ha multado con casi 3 millones de euros a la administración tributaria holandesa por introducir la nacionalidad como factor de discriminación en el diseño de sus algoritmos de apoyo a la lucha contra el fraude. Una decisión valiente que invita a reflexionar.

Los Órganos de Control Externo deben estar muy atentos a estas noticias. Los PGE 2022 incluyen la creación de una agencia de nueva creación dedicada a la supervisión del uso de algoritmos en las administraciones públicas. Existen, como mínimo tres riesgos derivados de un posible uso creciente de este tipo de herramientas, tanto para el apoyo a la toma de decisiones (detectando posibles bolsas de fraude en Hacienda o la Inspección de Trabajo), como para la asignación de bienes públicos (desde una subvención a una plaza universitaria). El primer riesgo tiene que ver con la necesaria modernización del control externo (capital humano y tecnológico) para seguir el ritmo de los tiempos, en un contexto de apuesta decidida de la Unión Europea por la administración pública basada en datos (data driven public administration).

El segundo riesgo tiene que ver con la irrupción de nuevas agencias públicas especializadas en supervisión algorítmica, sí, pero ajenas a la experiencia acreditada del control externo en la realización de fiscalizaciones de cumplimiento y operativas. Algunas experiencias españolas apuntan, por ejemplo, al uso de RPA (Robot Processing Automation) en diversos procedimientos públicos. Sin ánimo de mezclar conceptos diferentes como IA, algoritmos o RPA, estas experiencias de automatización se han hecho a veces con ignorancia de la normativa administrativa, y con resultados alejados de la eficacia prometida (Harry Boyte habla del “credo de la eficiencia”, al hablar de la IA en lo público).

El tercer riesgo consiste en ceder a la sociedad civil el protagonismo en la supervisión de los resultados del uso de algoritmos en las decisiones públicas. Organizaciones como Algorithm Watch, Amnesty International, Human Rights Watch, Saidot y otras muchas están liderando el debate europeo de respuesta a los casos detectados de discriminación y sesgos al aplicar este tipo de herramientas. Si, por ejemplo, la misión del Tribunal de Cuentas Europeo es “contribuir a mejorar la gestión financiera de la UE, fomentar la transparencia y la rendición de cuentas”, parece obvio que hay que prestar atención al proceso en curso de “automatización del Estado del Bienestar” (Thewissen y Rueda, 2019). Los tribunales nacionales de Alemania, Holanda, Reino Unido, Noruega y Finlandia ya lo han entendido: en octubre de 2020 publicaron un documento conjunto titulado “Auditing machine learning algorithms”. España debe subirse cuanto antes a ese carro, sin dudas ni dilaciones.