Daniel Murcia

Resulta innegable la existencia de una estrecha relación entre los modelos de IA y la protección de datos de carácter personal, siendo esperable que esta relación se explore cada vez con mayor profundidad conforme se extienda el uso de la IA. En este sentido, recientemente El Comisario de Hamburgo para la Protección de Datos y la Libertad de Información publicó un documento de debate en el que analiza y se pronuncia al respecto de la aplicabilidad del Reglamento General de Protección de Datos (RGPD) a modelos de lenguaje de gran escala (LLM). La Autoridad argumenta que estos modelos no almacenan datos en su formato original, ya que la información en formato texto utilizados en su entrenamiento se transforman en tokens o fragmentos de texto, lo que hace que no puedan ser identificados directamente. Consideraciones en el uso de modelos de IA La 'tokenización' es un proceso mediante el cual el texto se convierte en secuencias de fragmentos más pequeños que no contienen la información original en su totalidad, lo que hace prácticamente imposible identificar a una persona de manera directa a partir de estos fragmentos. Una vez finalizado el entrenamiento, el modelo únicamente conserva patrones matemáticos representados por los pesos de las conexiones neuronales, sin almacenar el texto original. En base a lo anterior, afirma que el mero almacenamiento de información por un LLM no constituye un tratamiento de datos personales en el sentido del RGPD. Los LLM pueden comprometer la privacidad al generar información que coincida con datos personales, incluso sin almacenar textos completos. Sin embargo, este enfoque ha sido criticado por expertos como David Rosenthal que señalan que, aunque los LLM no memoricen datos explícitamente, sí son capaces de generar información coherente que coincida con datos personales si estas han aparecido repetidamente en los datos de entrenamiento, lo cual plantea riesgos asociados con el uso de la IA incluso aunque no haya un almacenamiento directo. Identificar los riesgos En términos de cumplimiento normativo, un punto común de la regulación europea sobre privacidad (RGPD) y la reciente regulación sobre IA es el enfoque orientado a la gestión del riesgo, lo cual va a exigir a las organizaciones adecuar esta gestión a nuevas realidades que surgen de la mano de la adopción de tecnologías emergentes como la Inteligencia Artificial. La falta de transparencia e interpretabilidad en los LLM dificulta el análisis de cómo se procesan los datos personales y complica la auditoría conforme al RGPD. Un marco de referencia a la hora de identificar riesgos en este contexto es el desarrollado por el Massachusetts Institute of Technology (MIT) en su Repositorio de Riesgos de IA, una base de datos completa y viva de más de 700 riesgos de IA categorizados por su causa y dominio de riesgo sobre la base de 43 marcos de trabajo de riesgos relacionados con IA. Entre estos riesgos destacan: Compromiso de la privacidad por filtración de información sensible: como ya hemos indicado, aunque los LLM no almacenan textos completos, pueden generar información que coincida con datos personales. Información falsa o engañosa: los LLM pueden generar contenido incorrecto o malinterpretado sobre personas, afectando su reputación y la integridad de los datos personales tratados. Desinformación y manipulación: los LLM pueden ser utilizados en campañas malintencionadas para manipular información personal o influir en el comportamiento de las personas, lo que, aunque no sea intencional, puede derivar en un tratamiento indebido de datos. Falta de transparencia e interpretabilidad: los LLM funcionan como «cajas negras», lo que dificulta el análisis de cómo se procesan los datos personales y complica la auditoría en términos de cumplimiento del RGPD. Vulnerabilidades de seguridad: los LLM pueden ser vulnerables a ataques que explotan debilidades en su infraestructura, lo que podría resultar en accesos no autorizados y la exposición de datos personales. Cumplimiento normativo y reducción de riesgos Sobre la base de estos riesgos generales tomados de un marco de referencia, pueden surgir dudas respecto al cumplimiento de los principios relativos al tratamiento recogidos en el artículo 5 del RGPD, como por ejemplo el principio de exactitud: si los LLM pueden generar información incorrecta basada en los datos con los que fueron entrenados, podría producirse una propagación de datos personales inexactos. Además, no existe un mecanismo fácil para corregir errores en los datos generados por el modelo, lo que contraviene el principio de exactitud. Otra duda que puede plantearse es qué encaje tiene el principio de minimización cuando estos modelos suelen estar entrenados con ingentes cantidades de datos (muchas veces provenientes de 'datasets' no estructurados y de difícil control) y si es posible determinar que la información personal utilizada en el entrenamiento del modelo era únicamente la necesaria para lograr los objetivos del modelo. La integración de principios de minimización de datos y limitación de acceso desde el diseño puede identificar y mitigar riesgos de forma preventiva. Lo anterior refuerza la idea de que los sistemas de gestión de riesgo en IA van a necesitar estar alineados con los que ya vienen desarrollándose en materia de cumplimiento del RGPD. Por ello será clave tener presente el principio de privacidad desde el diseño y por defecto (PbD) para aplicar medidas que aseguran que solo se traten los datos personales necesarios para cada propósito específico. Integrar principios de minimización de datos, limitación de acceso y conservación adecuada desde el inicio del diseño de sistemas y procesos, permite identificar y mitigar riesgos de forma preventiva. ✅ Desde Govertis, parte de Telefónica Tech, recomendamos la consideración de la aplicación práctica del principio de privacidad desde el diseño y por defecto (PbD) en la adopción de tecnología que incluya IA. Imagen: DC Studio / Freepik.

En este nuevo artículo de la serie que estamos publicando nos centraremos en los Sistemas de IA de alto riesgo en el contexto del Reglamento Euopeo de Inteligencia Artificial (RIA). Como ya adelantábamos en anteriores entregas, este Reglamento establece un marco regulatorio específico para aquellos sistemas de IA que representan un alto riesgo con impacto en ámbitos como la salud, la seguridad y los derechos fundamentales de las personas. Todo ello con el propósito de salvaguardar los valores y principios de la Unión. El Reglamento de Inteligencia Artificial (RIA) vela por los derechos de los ciudadanos de la Unión Europea, al mismo tiempo que orienta a las entidades hacia el uso responsable y seguro de la Inteligencia Artificial. El objetivo de esta publicación es enunciar y describir aquellos aspectos que esta regulación novedosa ha considera como Alto Riesgo y sus principales implicaciones. Condiciones para la Clasificación de Alto Riesgo en IA Conforme al artículo 6 del RIA, la clasificación de un sistema de inteligencia artificial como alto riesgo obedece a condiciones que suponen que nos encontremos ante dos posibilidades: Que se trate de un componente o producto de seguridad: el sistema debe estar diseñado para ser utilizado como componente de seguridad en productos que están especificados en la legislación de la UE (Anexo I), o que el propio sistema de IA sea uno de dichos productos. Esto abarca una amplia gama de productos, desde juguetes hasta dispositivos médicos, todos los cuales están sujetos a normativas de seguridad estrictas. Además, el sistema de IA deberá someterse a una evaluación de la conformidad realizada por un organismo independiente para su introducción en el mercado o puesta en servicio, según los actos legislativos de armonización de la Unión enumerados en el Anexo I (art 6.1). O que se trate de alguno de los sistemas de IA de alto riesgo contemplados en el Anexo III (Art 6.2). Por otro lado, en el caso de que un sistema de IA recaiga dentro de uno de los ámbitos del Anexo III, podrá no ser considerado de alto riesgo si su influencia en la toma de decisiones no es sustancial y se cumple alguna o varias de las siguientes condiciones: el sistema lleva a cabo una tarea de procedimiento limitada, mejora actividades humanas previas, detecta patrones de decisión o desviación sin reemplazar la evaluación humana, o lleva a cabo tareas preparatorias (Art 6.3). Delimitando los ámbitos de Alto Riesgo Los sistemas de IA clasificados como alto riesgo se distinguen, no solo por su capacidad técnica avanzada, sino también por las profundas implicaciones que tienen en la sociedad y en la vida individual: Autonomía y complejidad: estos sistemas pueden tomar decisiones y ejecutar acciones de manera independiente, lo cual es especialmente crítico en sectores como la medicina y la justicia, donde los errores pueden tener consecuencias severas. Impacto social y personal: pueden afectar significativamente los derechos fundamentales, como la privacidad, la igualdad y la no discriminación. Además, tienen el potencial de perpetuar o introducir sesgos, impactando desproporcionadamente a grupos vulnerables. Seguridad en infraestructuras críticas: Su aplicación en sectores esenciales como la energía y el transporte puede resultar en fallos o manipulaciones que provoquen daños graves y extensos. Por ello, estos sistemas deben operar dentro de un conjunto estricto de normas éticas y legales y de seguridad, diseñadas para proteger a la sociedad y fomentar un ambiente de confianza y seguridad en el desarrollo tecnológico. El Reglamento contempla que los sistemas enumerados en el Anexo III que cubren los siguientes ámbitos, se consideran de alto riesgo: Biometría Identificación biométrica remota: Sistemas que identifican a personas a distancia, pudiendo ser utilizados en múltiples contextos y representar riesgos para la privacidad. Categorización biométrica: Sistemas que clasifican a individuos según atributos sensibles, lo cual puede conducir a discriminación o tratamientos injustos. Reconocimiento de emociones: Implica analizar expresiones faciales o modulaciones de voz para inferir estados emocionales, pudiendo interpretarse de manera errónea o mal utilizada. Infraestructuras críticas Utilización en sistemas de seguridad para la gestión de infraestructuras críticas como energía, transporte y suministros básicos, donde un fallo o manipulación puede implicar graves consecuencias. Educación y formación profesional Admisión y distribución en centros educativos: Decisiones que afectan el futuro académico y profesional de los individuos. Evaluación de resultados de aprendizaje: Puede influir significativamente en la trayectoria educativa y profesional. Seguimiento de comportamientos durante exámenes: Vigilancia que puede invadir la privacidad del estudiante. Empleo, gestión de trabajadores y acceso al autoempleo Sistemas usados en contratación y evaluación de empleados, lo que implica un impacto directo en las oportunidades laborales y condiciones de trabajo. Acceso a servicios privados esenciales y públicos Evaluación para la admisibilidad a servicios públicos esenciales, lo cual es crucial ya que afecta el acceso a necesidades básicas como salud y bienestar. Evaluación de solvencia y riesgos para seguros, que puede determinar la accesibilidad a servicios financieros y seguros. Aplicación de la ley Herramientas utilizadas por las autoridades para evaluar riesgos de criminalidad o comportamientos, lo que afecta directamente los derechos civiles y puede llevar a vigilancia o discriminación. Migración, asilo y gestión del control fronterizo Sistemas utilizados para evaluar riesgos en la gestión de fronteras y asilo, afectando significativamente a individuos en situaciones vulnerables. Administración de justicia y procesos democráticos Apoyo en la interpretación de hechos y leyes, influenciando potencialmente decisiones judiciales. Influencia en elecciones o referendos, lo que podría alterar la integridad de procesos democráticos. Anticipación y flexibilidad: claves para enfrentar la rápida evolución de la IA Por su parte, el Artículo 7 del RIA ilustra una evolución proactiva y adaptable del Derecho frente a la rápida evolución tecnológica en el ámbito de la IA, una esfera donde tradicionalmente el desarrollo legislativo ha luchado por mantener el ritmo con los avances tecnológicos. Este precepto establece un mecanismo dinámico para la revisión y actualización del citado Anexo III, concediendo a la Comisión Europea la potestad de modificar su contenido mediante la adición de sistemas que se ajusten a los criterios preestablecidos de riesgo y ámbito de aplicación, así como la eliminación de aquellos que ya no representen un riesgo considerable. La adición de nuevos sistemas a este listado considerará si dichos sistemas están destinados a ser utilizados en ámbitos ya contemplados en el Anexo III y si presentan un riesgo de perjuicio para la salud y la seguridad o de tener repercusiones negativas en los derechos fundamentales, que sea equivalente o mayor al de los sistemas previamente reconocidos como de alto riesgo. La inclusión de nuevos sistemas de IA en la lista de Alto Riesgo tendrá en cuenta si suponen un riesgo para la salud y seguridad o un impacto negativo en los derechos fundamentales. Requisitos específicos para los Sistemas de IA de Alto Riesgo Con carácter general, los sistemas de alto riesgo deben cumplir con los requisitos específicos de la normativa, considerando sus finalidades previstas y el estado actual de la tecnología en IA. En los artículos 8 a 49 se desarrollan las principales obligaciones que estos sistemas deben cumplir: Gestión de riesgos: deben establecer y mantener un sistema de gestión de riesgos que aborde aquellos conocidos y previsibles a la salud, seguridad o derechos fundamentales. Este sistema debe ser un proceso continuo y revisado periódicamente. Datos y gobernanza de datos: aquellos sistemas que utilizan técnicas de entrenamiento de modelos con datos deben desarrollarse a partir de conjuntos de datos que cumplan con altos estándares de calidad y gestionarse adecuadamente para evitar sesgos y errores. Documentación técnica: debe elaborarse y mantenerse actualizada una documentación técnica que demuestre el cumplimiento de los requisitos normativos y sea accesible para las autoridades competentes. Conservación de registros: los sistemas deben permitir el registro técnico de eventos significativos para asegurar la trazabilidad y la gestión de riesgos. Transparencia y comunicación: deben diseñarse para funcionar con un nivel adecuado de transparencia y venir acompañados de instrucciones claras y completas para su uso seguro y efectivo. Vigilancia humana: deben incluir medidas para ser supervisados efectivamente por humanos para minimizar riesgos asociados con su uso. Precisión, solidez y ciberseguridad: deben diseñarse para alcanzar niveles adecuados de precisión y robustez y ser resistentes a manipulaciones externas. Obligaciones de los proveedores: los proveedores de estos sistemas deben asegurarse de que los sistemas cumplen con todos los requisitos y regulaciones, incluyendo el establecimiento de un sistema de gestión de la calidad y el cumplimiento de los procedimientos de evaluación de la conformidad, antes de su introducción en el mercado. Cooperación con autoridades: los proveedores deben cooperar con las autoridades competentes para garantizar la conformidad y gestionar cualquier incidente relacionado con los sistemas de IA de alto riesgo. Los proveedores tienen un papel muy importante en relación a los sistemas de alto riesgo, pero también los responsables del despliegue, ya que tendrán adoptar las medidas técnicas y organizativas adecuadas para garantizar que utilizan dichos sistemas con arreglo a las instrucciones de uso, deberán encomendar la supervisión humana a personas físicas que tengan la competencia, la formación y la autoridad necesarias y, en el caso de tener control sobre los datos, deberán asegurarse de que los datos de entrada sean pertinentes y suficientemente representativos para la finalidad prevista del sistema de IA de alto riesgo. Asimismo, los responsables del despliegue tendrán una labor fundamental en cuanto a la vigilancia del funcionamiento del sistema de IA de alto riesgo. De hecho una de las principales obligaciones que tienen estos, que se ha introducido en el RIA en la versión del parlamento es la obligación de realización de evaluaciones de impacto en derechos fundamentales, cuestión que trataremos en otro artículo próximo de esta serie. Conclusión El Reglamento Europeo de Inteligencia Artificial es una pieza clave en el marco de responsabilidad y seguridad en la era digital, proporcionando un enfoque sistemático para mitigar los posibles impactos que presentan los sistemas de IA de alto riesgo, estableciendo obligaciones para todos los integrantes de la cadena de valor. Con su visión proactiva y adaptable, no solo protege los intereses de la ciudadanía, sino que también guía a las organizaciones hacia un futuro más seguro y ético. ◾ MÁS DE ESTA SERIE Cyber Security AI of Things Una introducción al Reglamento de Inteligencia Artificial (RIA) 8 de abril de 2024 Cyber Security AI of Things El ámbito de aplicación del Reglamento de Inteligencia Artificial (RIA) 16 de abril de 2024 Cyber Security AI of Things Prácticas de IA prohibidas en el Reglamento de Inteligencia Artificial (RIA) 2 de mayo de 2024 Imagen de Freepik.