La utilización intensiva de las nuevas tecnologías por parte de las Administraciones Públicas es una realidad innegable. En nuestra vida cotidiana, tanto en el sector privado como en el público, aparecen cada vez más herramientas de inteligencia artificial. Entre ellos, destacan los algoritmos como principal herramienta.

Un algoritmo es un conjunto de reglas e instrucciones que ejecuta una computadora. Esto permite combinar y analizar grandes cantidades de datos.  Hoy presentamos en la bitácora la preocupación por su control, tanto desde el punto de vista doctrinal como fiscalizador, pues empiezan a ser objeto de las primeras auditorias.

El sector privado empieza a utilizar algoritmos en muchas facetas. Así, algunas de las primeras fases de reclutamiento de personal, para que sean llevadas a cabo no por una persona, sino por una máquina, con todo lo que ello puede conllevar. Enrique Dans nos cuenta algunas interesantes experiencias que ya se están llevando a cabo en la corrección de exámenes e incluso apunta algunos de sus sesgos habituales.

En el sector público, su implantación también llega a ser habitual, para automatizar acciones, resolver algún problema o hacer una predicción. La doctrina española viene estudiando durante los últimos años las oportunidades e incertidumbres de los algoritmos como tecnologías transformadoras en la Administración. La preocupación por sus posibles sesgos, para Conchi Campos, exige garantizar un marco ético coherente con la misión de servicio público y el interés general.

Concepción Campos: “la tecnología no esperará a las decisiones del sector público, sino que continuará avanzando (según los valores del sector privado) a un ritmo difícil de seguir en una administración tradicional«.

El ámbito de la contratación, la inteligencia artificial tiene todo un campo de trabajo en relación con los datos. La magnífica plataforma de contratación del sector público, convertida en un buen gestor de expedientes, permitirá explotarla mediante algoritmos, en relación con los criterios automáticos, lo que requiere un marco jurídico que garantice el interés general y la seguridad pública, con el objetivo de asegurar que este tipo de actividades no comprometan los derechos y libertades de los ciudadanos.

En materia tributaria ya son muy habituales aportando una actuación administrativa automatizada. El auditor del siglo XXI tampoco debe estar al margen, preparado para lidiar con la evidencia digital. La transformación sufrida en nuestra sociedad y en nuestra economía ha puesto los datos en el centro de todas las organizaciones (¡incluso en la pandemia!)

Regulación de los algoritmos

 

Durante el mes pasado, la Fundación Ramón Areces organizó un interesante debate online para analizar ‘La regulación de los algoritmos’. Participaron los juristas Jesús Mercader, catedrático de Derecho del Trabajo y de la Seguridad Social en la Universidad Carlos III y Alejandro Huergo, catedrático de Derecho Administrativo en la Universidad de Oviedo, con la moderación de María Emilia Casas, miembro del Consejo de Ciencias Sociales de la Fundación Ramón Areces.

En este diálogo se analizaron distintos aspectos jurídicamente relevantes de la aplicación práctica de los algoritmos, así como las bases necesarias para encauzarlos en derecho, de forma que se aprovechen las oportunidades que plantean y se limiten los riesgos inherentes.

Control de los algoritmos

Un sector doctrinal argumenta que estos algoritmos empleados en la adopción efectiva de decisiones han de ser considerados reglamentos por cumplir una función material estrictamente equivalente a la de las normas jurídicas. Esta afirmación conllevaría consecuencias jurídicas inusitadas, como en sus procedimientos de elaboración y aprobación, en la necesidad de publicación e incluso en la exigencia de mecanismos de recurso directo e indirecto. Hay otro gran sector doctrinal que discrepa de este planteamiento.

En un ameno artículo en la Revista Presupuesto y Gasto Público, el magistrado Chaves entiende que sería prematuro y desorbitado asimilar reglamentos y algoritmos pues la esencia de estos es “su vinculación a la discrecionalidad política, no su sustrato técnico, unida a su elaboración participativa, transparente y con reflejo imperativo, que además se publica y vincula de forma universal”. En ese sentido propone el establecimiento de dos medidas de control como un registro de algoritmos acompañado de un sistema de certificación de idoneidad de los sistemas que cumplan con la normativa y códigos imperantes. Por otro, la realización de inspecciones periódicas o auditorías para comprobar el funcionamiento de los algoritmos. Presentaremos a continuación la experiencia en esta linea.

Nuestra Agencia de Protección de Datos ha aprobado una interesante guía con un conjunto de controles que podrían incorporarse a las auditorías de tratamientos de datos personales que hacen uso de componentes basados en inteligencia artificial.

El algoritmo holandés

La Cámara de Cuentas de los Países Bajos está integrada actualmente por tres  miembros. Acaba de hacer público el informe ‘Atención a los algoritmos‘ donde ha investigado cómo el gobierno central utiliza estas herramientas y destaca sus oportunidades, amenazas y mitos. Incluye un video divulgativo.

El uso de algoritmos afecta los intereses de los ciudadanos y las empresas. Por el momento, son algoritmos simples en procesos o servicios operativos. Sin embargo, los auditores constatan que esporádicamente, el gobierno nacional utiliza algoritmos innovadores, con o sin el uso de inteligencia artificial. Por eso pidieron a los ministerios que les proporcionaran una lista de algoritmos sin detectar algoritmos de autoaprendizaje completo (que implementan políticas sin intervención humana).

También buscaron posibles debilidades en su uso, como salvaguardas de privacidad, la calidad de los controles generales de TI (quién tiene acceso y cómo se manejan las copias de seguridad) así como las importantes cuestiones éticas. El marco de evaluación se incluye en el informe y está disponible en formato digital.

Conclusiones de la investigación

La Cámara de Cuentas señala que los algoritmos no se centran en el ciudadano, sino en el gobierno. El gobierno presta atención a la privacidad de los ciudadanos, pero los aspectos éticos reciben poca atención. Los ciudadanos deben poder comprender el uso y el funcionamiento de un algoritmo. También deben saber a dónde dirigirse con preguntas u objeciones. Las inquietudes o dudas sobre los algoritmos merecen una atención seria.

Todavía na hay suficiente claridad y uniformidad de conceptos en los algoritmos y no están exentos de riesgos. El uso incorrecto de una recopilación de datos puede tener un efecto discriminatorio si contiene prejuicios.

Al utilizar algoritmos, el gobierno puede volverse dependiente de proveedores externos (derechos de propiedad, procesamiento de datos personales) por lo que se debe asegurar los datos de manera suficiente (prevenir el sabotaje, el espionaje y la delincuencia) así como su gestión y mantenimiento.

La investigación ha demostrado que los algoritmos estudiados pueden analizarse y no son una caja negra.

Recomendaciones

El gobierno debe garantizar un lenguaje común inequívoco y unos requisitos de calidad concretos para los algoritmos, que exigirían un seguimiento continuo. Actualmente, este aspecto no está lo suficientemente sistematizado.

Por su parte, los ciudadanos deberían poder obtener información sobre la aplicación de los algoritmos y tener un lugar al que acudir con sus preguntas. Este aspecto merece una atención seria, para los auditores.

Una preocupación mundial

El pasado mes de noviembre, las ICEx de Finlandia, Alemania, los Países Bajos, Noruega y el Reino Unido difundieron en este tema un libro blanco para auditores públicos que permita realizar auditorías sobre los algoritmos aplicados por agencias públicas. Está diseñado para auditores con cierto conocimiento de métodos cuantitativos y les permite elegir entre una gran cantidad de preguntas así como crear un cuestionario personalizado que sea adecuado para su auditoría específica.

Los auditores concluyen que se debe poder auditar las aplicaciones de inteligencia artificial basadas en aprendizaje automático para cumplir con su misión legal y evaluar si su uso contribuye a lograr unos servicios públicos eficientes y eficaces, de conformidad con normativa.

Estas auditorías requieren conocimientos y habilidades especiales y las ICEx deben desarrollar esas competencias de sus auditores. El grupo de trabajo aporta documentos y plantillas muy útiles al respecto.