Evaluaciones de impacto de derechos fundamentales sobre sistemas de IA de alto riesgo en el RIA

20 de mayo de 2024

1. Introducción

El Reglamento de Inteligencia Artificial (RIA) establece entre sus objetivos “mejorar el funcionamiento del mercado interior” y “promover la adopción de la inteligencia artificial centrada en el ser humano y digna de confianza” y, añade, que ello debe de ser “garantizando al mismo tiempo un elevado nivel de protección de la salud, la seguridad y los derechos fundamentales consagrados en la Carta”. Por ello la referencia a los derechos fundamentales es una constante en el mismo.

El objetivo de este artículo es realizar una aproximación a alto nivel a una de las obligaciones que dispone el RIA para gestionar los riesgos que la Inteligencia Artificial (IA) puede suponer sobre los derechos fundamentales: las Evaluaciones de impacto sobre los derechos fundamentales en ciertos sistemas de IA de alto riesgo (también conocidas como evaluaciones de impacto algorítmico, AIA; o fundamental rights and algorithm impact assessment, FRAIA, abreviatura que utilizaremos).

Estas tienen como objetivo que el responsable del despliegue identifique los riesgos específicos para los derechos de las personas o grupos de personas que puedan verse afectados, e identifique las medidas que deben adoptarse en caso de que se materialicen estos riesgos.

No abordaremos las diversas intersecciones con protección de datos que serán objeto de otros artículos de esta serie, algunas de ellas también se proyectan sobre las FRAIA y las PIA (Privacy Impact Assestment).

Aunque la reciente eclosión de la IA ha supuesto la necesidad de adopción de una regulación a nivel europeo (el RIA, del que ya pudimos ver una introducción en el primer artículo de esta serie dedicada al mismo, “Una introducción al Reglamento de Inteligencia Artificial (RIA)”), ya hace tiempo que los derechos humanos existen y hay precedentes de evaluaciones de impacto tanto sobre los derechos humanos (EIDH), de impacto social (EIS), éticas (EIE), así como sobre algún derecho concreto, como el ampliamente conocido ejemplo de la protección de datos de carácter personal. También ha habido ya metodologías y herramientas específicamente aplicadas a los sistemas de IA, pero el RIA ha apostado por un modelo concreto en su artículo 27: las FRAIA.

El RIA se basa en un enfoque basado en riesgos que consiste, resumidamente, en: “prohibir determinadas prácticas inaceptables de inteligencia artificial, establecer requisitos para los sistemas de IA de alto riesgo y obligaciones para los operadores correspondientes, y establecer obligaciones de transparencia para determinados sistemas de IA”.

El sistema de gestión de riesgos establecido para toda solución de IA de Alto Riesgo (artículo 9 RIA), exige al proveedor tener los riesgos documentados, pero evidentemente no podrán ser aterrizados al caso de uso concreto de la empresa que los despliegue, sino a nivel de lo razonablemente previsiblemente y que deberá actualizarse conforme la monitorización del mercado.

En cambio, las FRAIA (artículo 27) sí que parecen orientadas a analizar los riesgos al caso de uso concreto, aunque únicamente conectado con el ejercicio de funciones públicas y otros supuestos concretos que después se indican.

Una vez realizada esta introducción, centrémonos en las FRAIA.

2. Obligados a llevar a cabo las FRAIA

En cuanto a los obligados a llevarla a cabo, el RIA matiza que esta obligación aplica a determinados responsables del despliegue concretos:

Por un lado deberán realizarla los organismos de Derecho Público (importante tener en cuenta las Leyes 39 y 40/2015) respecto de todos los sistemas de IA que sean de alto riesgo.
Por otro lado, los operadores privados que presten servicios públicos (de nuevo importante considerar las Leyes 39 y 40/2015) respecto de los sistemas de IA referidos a esos servicios públicos. De hecho, el Considerando 96 pone algunos ejemplos pero que no pueden entenderse como un numerus clausus.
Y por otro lado (independientemente del carácter público o privado de dichas entidades) y por razón del objetivo de los sistemas, los responsables del despliegue de sistemas de alto riesgo a que se refiere el punto 5 letras b) y c) del anexo III que son:
1. Sistemas de IA destinados a ser utilizados para evaluar la solvencia de personas físicas o establecer su puntuación crediticia, con la excepción de los sistemas de IA utilizados con el fin de detectar fraudes financieros. El considerando 96 pone como ejemplos las “entidades bancarias o aseguradoras”.
2. Sistemas de IA destinados a ser utilizados para la evaluación de riesgos y la fijación de precios en relación con las personas físicas en el caso de los seguros de vida y de salud.

3. Cuándo se debe de realiza r la FRAIA

El apartado primero del artículo 27 del RIA dispone que esta debe de realizarse “antes de desplegar un sistema de IA de alto riesgo” y el apartado segundo añade que la misma “aplica al primer uso del sistema de IA de alto riesgo”.

Asimismo, el artículo 27 en su apartado dos añade: “Si, durante el uso del sistema de IA de alto riesgo, el implantador considera que alguno de los factores enumerados en el apartado 1 cambian o ya no están actualizados, el responsable del despliegue tomará las medidas necesarias para actualizar la información”.

4. Propuesta de pasos a realizar en una FRAIA

A continuación, comentamos sucintamente una serie de pasos sugeridos para realizar una FRAIA que es, en sí misma, un proceso que tiene diversas fases dispuestas en un PDCA (acrónimo en inglés que hace referencia al ciclo de planificar, hacer, controlar y actuar) y que a su vez se pueden integrar en el plan de acción en un sistema de gestión de inteligencia artificial; y este, a su vez, podrá y será habitual que se integre en otros sistemas de gestión, por ejemplo, en un sistema de gestión de seguridad de la información (como por ejemplo una ISO 27001 o un ENS). No obstante, aquí hacemos referencia al PDCA en sí mismo que constituye la propia FRAIA.

Fase Preliminar: ¿una pre FRAIA?

La necesidad de acotar el alcance de los posibles derechos afectados por el sistema de IA nos lleva a la conveniencia de realizar una PreFRAIA, de forma similar a como en protección de datos venimos realizando prePIAs para, no solo acotar los derechos afectados, sino incluso plantearnos si la relevancia o peso desmedido de alguno de ellos en el proyecto aconseja realizar una evaluación de impacto específica sobre esa materia, separada de la general FRAIA; sin perjuicio de que en mi opinión debería de intentar tenderse a realizar FRAIA integradas.

Fase 1: Análisis preliminar sobre la necesidad de realizar una FRAIA y concreción de los Sistemas y derechos afectados (determinación inicial del alcance)

En primer lugar, dispondremos de un inventario de los sistemas dentro del alcance. En cuanto a los sistemas que deben de ser objeto de FRAIA son los de alto riesgo.

Por lo que respecta al análisis de los derechos fundamentales en los que debe de centrarse la evaluación se puede realizar sobre la base del conocimiento del Sistema de IA, del RIA y a nivel operativo con un check list sin mucho trabajo de campo ni implicación de las partes interesadas.

Fase 2: Contexto, planificación y detalle dentro del alcance

Antes de iniciar una FRAIA debemos de disponer de la información necesaria sobre el contexto del sistema de IA, determinar el equipo que la va a llevar a cabo, la metodología y las fuentes de requisitos a utilizar. Asimismo, y aunque no lo exija el RIA, dado que cabe la posibilidad de realizar una EIPD (Evaluación de Impacto en la Protección de Datos) conjuntamente con una FRAIA, debería de disponerse al menos de una descripción del tratamiento de los datos personales realizado.

Fase 3: Necesidad, proporcionalidad y calidad de los datos

A diferencia de los sistemas de IA de alto riesgo que traten datos personales, que conllevan un análisis sobre necesidad y proporcionalidad, el RIA no contempla esta obligación en las FRAIA.

No obstante, en mi opinión, al igual que se ha realizado por parte de algunas metodologías, en todos los sistemas de IA de alto riesgo (traten datos personales o no) sí que requiere que haya un “momento” en el que se analicen la necesidad y proporcionalidad, valorando los aspectos que se han tenido en cuenta para implantar el sistema de IA, considerando aspectos tales como: qué criterios se han adoptado para tomar la decisión de utilizar dichos sistemas de IA de alto riesgo, por qué se ha decidido precisamente esa IA y no otra, enumerar alternativas no algorítmicas que se hayan barajado, que se ha realizado una aproximación previa sobre los beneficios y sacrificios que ello supone (ponderación que tiene grandes diferencias entre el ámbito público y el privado), etc.

Fase 4. Gestión de riesgos

La gestión de riesgos es la parte central de cualquier evaluación de impacto y, por tanto, también de las FRAIA. Atendiendo a la naturaleza del riesgo, deberán adoptarse salvaguardas o controles, que pueden incorporar medidas para bajar dicho riesgo inicial hasta el umbral de riesgo aceptable de tal forma que la conclusión a la que deberá de llegar la FRAIA es si, dados unos riesgos iniciales, aplicando las medidas o controles oportunos, seremos capaces de que el riesgo residual sea inferior al riesgo aceptable.

5. Comunicación a la autoridad

Una vez realizada la FRAIA “el responsable del despliegue notificará a la autoridad de vigilancia del mercado los resultados de la evaluación, presentando la plantilla cumplimentada a que se refiere el apartado 5 como parte de la notificación” (Artículo 27.3).

6. Posible comunicación a las partes interesadas y publicación

El RIA no contempla la comunicación a las partes interesadas ni la publicación de los resultados de la FRAIA, pero si se pretende conseguir confianza, transparencia y, en el caso del sector público y la participación ciudadana, quizá debe considerarse buena práctica la publicación y comunicación a las partes interesadas, lo que podría contribuir a mejorar los sistemas como la reducción de sesgos.

Como es posible que haya información que bien por cuestiones de confidencialidad del negocio, propiedad intelectual o seguridad no quieran o deban publicarse, cabría publicar una versión resumida o suprimiendo dichos aspectos.

◾ MÁS DE ESTA SERIE