Sesgos en la IA (IV): Gestión de los riesgos e impacto

Como hemos visto en los anteriores capítulos de esta serie, los sesgos son uno de los principales riesgos que pueden tener los sistemas de IA.

Si tenemos en cuenta que la tecnología basada en la IA ya tiene y tendrán aún más conexiones e impactos más amplios en la sociedad que el software tradicional, pues seguro que ganan capilaridad en casi todos los sectores y contextos, bien sea de forma directa o en procesos instrumentales, eso supone de entrada y de forma general, un efecto multiplicador de los posibles riesgos derivados de los sesgos de la IA.

Dicho lo anterior es fundamental acudir al concepto de riesgo y a su medición para avanzar en la relación entre sesgos y riesgos. Como sabemos, la forma de medir el riesgo es tener en cuenta la probabilidad de que se materialice una amenaza combinada con el impacto que tendría si ésta se produjera. Existen – por tanto – dos factores en la ecuación: probabilidad e impacto.

Los sesgos son uno de los principales riesgos que pueden tener los sistemas de IA.

1. Impactos producidos por sistemas de IA y su cálculo

Centrándonos en el cálculo del impacto, deberán tenerse en cuenta para las especificidades del RIA, prácticas basadas en criterios aceptados como estándares globales.

En este caso de la ISO 31000:2009 Gestión del Riesgo - Principios y Directrices, de la que el resto de las normas ISO se inspiran y adecúan a entornos concretos, además de las ISO específicas en IA , particularmente la ISO/IEC 23894:2023, guidance on risk management in AI.

Particularmente relevante es el trabajo desarrollado por el Massachusetts Institute of Technology (MIT) con el marco AI Risk Repository, que ofrece una base de datos dinámica que recopila más de 1000 riesgos de IA, extraídos de 56 marcos.

El concepto de impacto en el ámbito de los sistemas de IA se utiliza en diferentes frentes: para los análisis de riesgos en sistemas de IA en el artículo 9 RIA, para las FRAIA en el artículo 29 bis; y también hay ejemplos como la pionera Ley 1/2022, de 13 de abril, de Transparencia y Buen Gobierno de la Comunitat Valenciana que, al abordar cuando se considera un elemento esencial para que deba o no hacerse publicidad activa de los sistemas de IA, hace referencia al hecho de “que tengan impacto en los procedimientos administrativos o la prestación de los servicios públicos”.

La tecnología de IA tiene un impacto más amplio en la sociedad que el software tradicional, lo que amplifica los posibles riesgos derivados de sus sesgos.

Con base en lo anterior, deberán analizarse los impactos que la IA puede tener en las personas, cuando se utilice de acuerdo con su finalidad prevista y también, cuando se le dé un uso indebido razonablemente previsible. Estos impactos pueden clasificarse de diferentes formas, como por ejemplo en:

a) Legales, afectando a Derechos Fundamentales como, por ejemplo:

• Discriminación: los sesgos pueden perpetuar la discriminación en diferentes actividades tanto del ámbito público como privado.
• Desigualdad: los algoritmos sesgados pueden agravar la desigualdad en lugar de reducirla.
• Injusticia: efectos jurídicos o significativos en las personas a través de la denegación de subvenciones, sospechas de incumplimiento de la normativa vigente etc.

b) Sociales, tales como:

• Pérdida de criterio propio, confianza en uno mismo.
• Perpetuación de los sesgos: riesgos estructurales.
• Pérdida de confianza en la propia tecnología.

2. La falta de explicabilidad y su impacto en la gestión de los sesgos

La explicabilidad es la capacidad de entender y, por ende, poder explicar cómo toma sus decisiones un sistema de IA. Por tanto, si un sistema de IA no es explicable es complicado identificar los posibles sesgos y gestionarlos.

Nos referimos a sistemas como, por ejemplo:

• Los de redes neuronales profundas o deep learning donde esas capas de neuronas crean una caja negra dónde cuesta entender cómo se ha llegado a una decisión concreta. Pensemos por ejemplo en un modelo de reconocimiento de imágenes en el que el modelo clasifica un animal, pero no sabemos qué elementos o características concretas utiliza para ello. En supuestos vinculados a reconocimiento facial han llevado a supuestos de discriminación.
• Los sistemas de autoaprendizaje, entre los que se encuentran por ejemplo los sistemas de aprendizaje por refuerzo (en los que el agente aprender a tomar decisiones óptimas al interactuar con el entorno y la recepción de recompensas) y en donde hay estrategias que utilizan que pueden ser difíciles de entender y explicar.. Pensemos por ejemplo en un coche autónomo que ante una situación en la que no hay un obstáculo visible decide parar porque sus sensores han identificado uno.
• En los modelos de clasificación de datos, como los que clasifican las operaciones en fraudulentas o no y en los que los patrones utilizados pueden ser complejos de entender. En estos casos si el Sistema clasifica erróneamente como ilegítimas las operaciones de determinados colectivos (por ejemplo, teniendo en cuenta su ubicación demográfica u otro elemento) puede ser discriminatoria.

Es fundamental acudir al concepto de riesgo y a su medición para avanzar en la relación entre sesgos y riesgos.

Sin perjuicio de lo antedicho, existen diversas técnicas para solucionar la falta de explicabilidad tales como, por ejemplo:

• Modelos interpretables: consiste en utilizar modelos de IA que sean inherentemente más fáciles de interpretar, como los árboles de decisión, regresiones lineales y redes neuronales simples y que permiten entender cómo se toman las decisiones basadas en las entradas aplicando reglas claras y limitaciones para guiar su funcionamiento y asegurar que las decisiones sean comprensibles y justificables.
• Métodos post-hoc: se trata de aplicar técnicas que expliquen las decisiones de modelos complejos después de que se hayan hecho., como por ejemplo LIME (Local Interpretable Model-agnostic Explanations) que genera explicaciones locales para predicciones individuales o SHAP (SHapley Additive exPlanations) que asigna valores de importancia a cada característica de entrada, basándose en la teoría de juegos.
• Educación y capacitación: formar a los equipos en la comprensión y gestión de las decisiones de la IA. Esto incluye la capacitación en el uso de herramientas de explicabilidad y en la interpretación de los resultados.
• Auditorías y evaluaciones: realizar auditorías regulares y evaluaciones externas para revisar y validar las decisiones de los sistemas de IA, asegurando que sean transparentes y equitativas.

El impacto de la IA debe tenerse en cuenta tanto para usos previstos como para usos indebidos razonablemente previsibles.

3. Criterios para medir el impacto

Las normas no son ajenas a los posibles impactos y para ello ciertas disposiciones legales ya aportan criterios.

El Artículo 22 del Reglamento General de Protección de Datos (RGPD) prohíbe decisiones automatizadas con efectos jurídicos significativos (como la denegación de créditos o evaluaciones de riesgo penal) sin intervención humana relevante. Los sesgos algorítmicos que afecten derechos fundamentales, como el acceso equitativo a servicios públicos podrían ser objeto de impugnación legal.

La sentencia SCHUFA del Tribunal de Justicia de la UE amplió este concepto, adoptando un criterio garantista, al considerar que incluso la generación automática de un valor predictivo (como un score crediticio) constituye una decisión automatizada si influye de manera determinante en la decisión final de un tercero. Este criterio obliga a reevaluar sistemas que combinan procesamiento automático con revisión humana superficial.

En este sentido, La STJUE expande, mediante una interpretación amplia del artículo 22, el alcance del término decisiones automatizadas abarcando los siguientes supuestos: (i) decisiones “semi-automatizadas” basadas en la decisión automatizada, pero con mayor o menor participación humana; (ii) las predicciones de probabilidades o los perfilados que se configuran como determinantes para la adopción de la decisión por un tercero.

Por su parte, el Artículo 14 del Reglamento de Inteligencia Artificial (RIA) exige que la intervención humana sea significativa, evitando automatizaciones ciegas. No se trata solo de una revisión superficial, sino de una evaluación real y sustantiva de todos los factores relevantes.

Para valorar el impacto hay que tener especialmente en cuenta, de un lado, la finalidad del uso o propósito del sistema de IA. Es un buen punto de partida seguir los usos de IA de “alto riesgo” del RIA.

Como sabemos el RIA tiene una aproximación a riesgos y en ella ya se ve que tiene en cuenta los sesgos como elementos a considerar. Por ejemplo, dice expresamente el considerando 61:

“En particular, a fin de hacer frente al riesgo de posibles sesgos, errores y opacidades, procede clasificar como de alto riesgo aquellos sistemas de IA destinados a ser utilizados por una autoridad judicial o en su nombre para ayudar a las autoridades judiciales a investigar e interpretar los hechos y el Derecho y a aplicar la ley a unos hechos concretos…”.

Los sistemas de alto riesgo en el RIA (artículo 6) se dará en dos escenarios:

• Bien cuando se trate de un componente o producto de seguridad.
• O cuando que se trate de alguno de los sistemas de IA de alto riesgo contemplados en el Anexo III. Asimismo, si un sistema de IA recae dentro de uno de los ámbitos del Anexo III, podrá no ser considerado de alto riesgo si su influencia en la toma de decisiones no es sustancial y se cumple alguna o varias de las siguientes condiciones: el sistema lleva a cabo una tarea de procedimiento limitada, mejora actividades humanas previas, detecta patrones de decisión o desviación sin reemplazar la evaluación humana, o lleva a cabo tareas preparatorias.

La relación de sistemas de IA de alto riesgo atiende a criterios como la autonomía y complejidad, impacto social y personal y seguridad en infraestructuras críticas.

En el Anexo III del RIA se relacionan los sistemas que se consideran de alto riesgo.

Todo lo anterior habría que aterrizarlo además al uso en el sector público o privado, donde puede haber elementos que hagan “ponderar” el riesgo e incluso recalibrarlo. En el caso del sector público la propuesta que realiza Cotino en relación con los criterios y variables para determinar el impacto, nivel de riesgo y relevancia jurídica de los sistemas algorítmicos públicos en la que esboza los siguientes criterios:

• Que produzca efectos jurídicos en él o le afecte significativamente, criterio normativo que sigue por ejemplo otra norma como es el art. 22 del RGPD.
• Que el sistema tome decisiones individualizadas respecto de personas, suponga la toma de decisiones internas administrativas o para la elaboración de políticas y su impacto colectivo.
• Que se trate de sistemas de alto riesgo, siendo crítico con la enumeración de los sistemas que cataloga como de alto riesgo el IA por considerarlo incompleto el citado autor por existir sistemas públicos de IA especialmente impactantes que no están en el citado listado.
• Que se trate de usos masivos, lo que supone que “que habrá de ponderarse el peligro que supone un error o sesgo masivo en innumerables casos futuros, así como el beneficio significativo de evitar que se replique en miles o millones de decisiones” y concluye que por ello para los sistemas de IA de alto riesgo públicos que aplican masivamente hay que “recalibrar” estos umbrales aceptables y las garantías aplicables. Y concluye – opinión con la que estoy de acuerdo - que para dichos sistemas “en general hay que ser mucho menos tolerantes”.

Medir el riesgo implica considerar la probabilidad de que se materialice una amenaza combinada con el impacto que tendría.

En el caso del sector privado algunos criterios pueden aplicarse con las peculiaridades correspondientes:

• Que produzcan efectos jurídicos significativos: al igual que en el ámbito público, los sistemas de IA privados que produzcan efectos jurídicos significativos o afecten considerablemente a las personas deben ser evaluados con mayor rigor, como sucede con las decisiones que puedan impactar derechos fundamentales, como sucede por ejemplo con el acceso a servicios financieros, empleo, o vivienda.
• Que el sistema tome decisiones individualizadas: los sistemas de IA que toman decisiones individualizadas sobre personas, como en procesos de contratación, evaluación de crédito, o personalización de servicios, deben ser cuidadosamente monitoreados para asegurar transparencia y equidad, de tal forma que las decisiones automatizadas deben de ser explicable y justificables.
• Que se trate de sistemas de alto riesgo: en el ámbito privado, los sistemas de IA de alto riesgo pueden referirse por ejemplo a los utilizados en sectores críticos como la salud, finanzas, y transporte.

El MIT desarrolla el AI Risk Repository, una base de datos dinámica que compila más de 1000 riesgos de IA.

En conclusión, los sesgos en la IA constituyen un desafío multidimensional que requiere un enfoque riguroso, combinando análisis normativo, ético y técnico. La explicabilidad no solo facilita la detección de sesgos, sino que es un requisito legal esencial.

Los marcos legales y estándares mencionados ofrecen herramientas claras para gestionar riesgos, aunque es preciso señalar que su éxito dependerá de una implementación efectiva y de la colaboración interdisciplinaria entre juristas, técnicos y expertos en ética.