Eduard Chaveli Donet

Finalizando esta serie de artículos en el que hemos abordado los sesgos relacionados con el uso de Sistema de Inteligencia Artificial (IA), en este artículo explicaremos como existen diversos riesgos en los que el factor humano es la causa y al mismo tiempo puede ser parte de la solución. Como hemos comentado, el factor humano está en la base de los sesgos en los sistemas de IA, pero paradójicamente también el “elemento humano” puede ayudar a reducir los riesgos derivados de los sesgos. A continuación, resumimos los principales errores humanos y las medidas de vigilancia que los mitigan: Errores de programación: por parte de los desarrolladores que produzcan comportamientos inesperados la vigilancia humana podría consistir en la revisión del código por otros “pares” así como la realización de pruebas exhaustivas antes de la puesta en producción o despliegue. Datos de entrenamiento defectuosos: el sistema de IA puede aprender conjuntos de datos incorrectos o insuficientes que inducen patrones erróneos, sin embargo, la supervisión experta podría asegurar su precisión y suficiencia. Mala interpretación de los resultados: se pueden tomar decisiones incorrectas basadas en dichas interpretaciones. En estos casos, una buena formación de los usuarios que toman las decisiones y una correcta documentación del proceso y los resultados pueden ayudar a los usuarios a entender correctamente los resultados y a tomar decisiones informadas y, por tanto, mejores. Veámoslo con un ejemplo relacionado con el diagnóstico médico: —Un IA ofrece un 75 % de probabilidad de enfermedad. Si el médico lo toma como certeza, podría recetar un tratamiento excesivo. Para evitarlo, conviene una formación específica y un manual accesible que explique el significado real de esa probabilidad. De esta manera, los médicos podrán entender mejor los resultados y tomar decisiones más informadas. También derivado de errores humanos los sistemas de IA pueden recopilar y utilizar datos que infrinjan la legislación sobre protección de datos de carácter personal, y los roles especializados en dicho ámbito (particularmente los Delegados de Protección de Datos) pueden ayudar en el cumplimiento de las obligaciones en esta materia. Obviamente hay otros ejemplos de errores humanos que pueden impactar en la IA y para los que a su vez la vigilancia humana puede ayudar a gestionar. Pero como hemos avanzado, el elemento humano, que está en la base de los sesgos, también puede contribuir a reducir sus riesgos. Y ello puede hacerlo de dos maneras: Mediante vigilancia humana. A través de la participación de las partes interesadas contando con los profesionales correspondientes. La vigilancia humana Según el artículo 14 del Reglamento de Inteligencia Artificial (RIA), la vigilancia humana es obligatoria en sistemas de alto riesgo y debe ser proporcional al nivel de riesgo, autonomía y contexto. Para ello es fundamental que las personas físicas a quienes se encomiende la vigilancia humana “puedan, en función de las circunstancias y de manera proporcionada a estas”: a) Conocer capacidades y límites del sistema b) Evitar el sesgo de automatización c) Interpretar correctamente la información de salida d) Desestimar o revocar resultados erróneos e) Detener el sistema ante anomalías En algún caso esta supervisión humana está reforzada como en sistemas de identificación críticos mencionados en el punto 1, letra a), del anexo III1 del RIA, donde se exige que dos personas con competencia, formación y autoridad necesarias confirmen por separado cualquier decisión basada en la IA. Una vez analizado el tema del factor humano en general haremos referencia ahora a en concreto a lo relativo al factor humano en los sesgos, teniendo en cuenta el momento de su introducción y posibles soluciones en cada fase del ciclo de vida de la IA, para lo que tenemos en cuenta las consideraciones del NIST así como otras como la guía citada de Rhite: 1. Prediseño Definir objetivos con expertos en ética y derechos humanos. Evitar trampas de abstracción (p. ej., solucionismo). 2. Diseño y desarrollo Adoptar un enfoque deliberado y modesto en colaboración con expertos y usuarios. Controlar sesgos de constructo, etiquetado y algoritmo. 3. Verificación y validación Involucrar a usuarios diversos en evaluaciones de usabilidad. Formar a desarrolladores y usuarios en identificación y mitigación de sesgos. Establecer feedback continuo. Usar simulaciones para distintos contextos. 4. Despliegue Asegurar que el entorno real coincida con el de entrenamiento. Supervisar para detectar sesgos de implementación. 5. Monitorización y reevaluacion Combatir sesgos humanos como la falacia del costo hundido o el sesgo de statu quo. Realizar validaciones periódicas. 6. Retiro Finalmente, incluso los sesgos que se producen en la fase de retiro tienen un elemento humano, como el sesgo histórico o de legado, ya que de las personas que toman las decisiones depende que se perpetúe ese sesgo. Intervención de expertos y partes interesadas Los individuos y grupos que toman las decisiones en los sistemas de IA (especialmente relevante en las fases de prediseño y diseño) pueden contener puntos de vista limitados. Para prevenir los riesgos derivados de ello hay que involucrar a una variedad de partes interesadas (stakeholders) y asegurar la diversidad teniendo en cuenta diversos factores (diversidad racial, de género, de edad y de capacidad física). Si nos centramos en el RIA vemos que dispone alguna referencia general como la relativa a animar a los Estados miembros a promover la IA que mejore la accesibilidad, combata desigualdades socioeconómicas y contribuya a la sostenibilidad medioambiental. Para ello, destaca la cooperación interdisciplinaria entre: Desarrolladores de IA. Expertos en desigualdad y no discriminación. Especialistas en accesibilidad y derechos del consumidor. Profesionales medioambientales, digitales y académicos. No obstante, también la aterriza a dos obligaciones muy concretas: Gestión de riesgos (Considerando 65): el proveedor debe documentar las medidas escogidas según el estado de la técnica e incorporar “cuando proceda” la participación de expertos y stakeholders externos. Evaluaciones de impacto relativas a derechos fundamentales (FRAIA) (Considerando 96): en especial para el sector público, es recomendable contar con representantes de grupos potencialmente afectados, expertos independientes u organizaciones de la sociedad civil, tanto en la realización de la evaluación como en el diseño de las medidas de mitigación. Aunque la versión final del RIA ha suavizado algunos mandatos —por ejemplo, ya no se exige notificar a la autoridad de supervisión ni publicar los resultados de consulta a organismos de igualdad, consumidores o protección de datos—, mantener esas prácticas sigue siendo una buena idea para garantizar transparencia y confianza. Si nos centramos en expertos y roles especializados conviene decir que habrá roles que serán necesarios siempre; y, en cambio, otros serán contingentes en función del sistema de IA al que se refiera. Por otro lado, que habrá algunos perfiles estarán especializados en la materia; y otros transversales que aportarán su visión desde su ámbito de competencia. Por último, La intensidad de su participación puede variar: algunos actúan en cada fase del ciclo de vida; otros, solo en momentos puntuales (por ejemplo, revisión de accesibilidad o pruebas de usabilidad). Un buen ejemplo de propuesta con esta visión aterrizada lo podemos ver en el FRAIA2 de la que, destacaría que, además de los diversos perfiles que cita, contempla que el responsable de proyecto (cosa obvia), y al responsable del área de conocimiento a la que se refiera el algoritmo (lo que podemos entender referido al área propietaria del mismo si tiene un propósito concreto) también implica al legal advisor implica en todas las fases. En mi opinión, creo que también un científico de datos debiera de participar en todo el proceso puesto que, su comprensión de las capacidades y limitaciones de la IA resulta esencial para analizar y gestionar los riesgos que puedan afectar a derechos fundamentales. Desde luego la intervención de asesores éticos es un rol que, heredado de aproximaciones éticas hacia la IA ha ido calando y algunas empresas ya han nombrado asesores o comités éticos y aprobado directrices éticas adicionales y normalmente en consonancia con otros principios internacionales. Qué duda cabe de la importancia de considerar la ética, pero no es una aproximación de la exigencia del RIA, Y esto dependerá del enfoque y consecuente alcance que se acuerde para la EI, si se centra solo los derechos humanos o abraza también los aspectos éticos. Otro aspecto para considerar es si nos encontramos con un sistema de IA para uso interno (donde deberemos de considerar los roles y áreas internas, sin perjuicio obviamente de poder contar con asesores externos y siempre deberemos de considerar a las partes interesadas, como indica el Considerando 643 a semejanza de lo que hace el RGPD4, y que - en materia de IA y en términos de la ISO /IEC 42001:2023 y en consonancia con la ISO/IEC 22989:2022 - los define como la “persona u organización que puede afectar, verse afectada o percibirse afectada por una decisión o actividad”. Por último, hay que considerar si se trata de un sistema de IA como un producto para clientes. En estos casos, será necesario adaptar el equipo de trabajo al perfil del servicio y de sus usuarios; por ejemplo, un asistente educativo basado en IA (como ocurría en el famoso caso de Hello Barbie) podría requerir la colaboración de psicopedagogos o psicólogos infantiles para asegurar que la tecnología responde adecuadamente a las necesidades del entorno formativo. Conclusión En definitiva, esta serie nos ha mostrado que, más allá de la sofisticación técnica de la IA, son el compromiso humano, la diversidad de miradas y la colaboración de expertos y usuarios quienes garantizan sistemas más justos, seguros y alineados con nuestros valores. Solo mediante una gobernanza transparente, una vigilancia responsable y una participación inclusiva podremos aprovechar todo el potencial de la inteligencia artificial sin renunciar al respeto de los derechos y la ética que nos definen como sociedad. ______ 1. ANEXO III. Los sistemas de IA de alto riesgo con arreglo al artículo 6, apartado 2, son los sistemas de IA que formen parte de cualquiera de los ámbitos siguientes: 1. Biometría, en la medida en que su uso esté permitido por el Derecho de la Unión o nacional aplicable: a) Sistemas de identificación biométrica remota. Quedan excluidos los sistemas de IA destinados a ser utilizados con fines de verificación biométrica cuya única finalidad sea confirmar que una persona física concreta es la persona que afirma ser. 2. El FRAIA menciona diversos perfiles en función de las fases, Los perfiles que menciona son: Interest Group, Management, Citizen panel, CISO o CIO, Communications specialist, Data scientist, Data controller or data source owner, Data protection officer, HR staff member, Domain Expert, Legal Advisor, Algorith developer, Commissioning client, Project leader, Strategic ethics consultant y Other project team members. 3. El Considerando 64 a del RIA indica que, a la hora de identificar las medidas de gestión de riesgos más adecuadas, el proveedor deberá documentar y explicar las decisiones tomadas y, cuando proceda, implicar a expertos y partes interesadas externas. 4. Artículo 35.9. RGPD: “Cuando proceda, el responsable recabará la opinión de los interesados o de sus representantes en relación con el tratamiento previsto, sin perjuicio de la protección de intereses públicos o comerciales o de la seguridad de las operaciones de tratamiento”.

Continuando con el artículo anterior donde explorábamos las fases iniciales del ciclo de vida de la IA, en esta segunda fase abordamos las fases que se inician con la puesta en producción del Sistema de IA: el despliegue, la operación, la validación continua, la reevaluación y, finalmente, su retirada. Fase 4. Fase de despliegue o implementación Es en esta fase donde los responsables del despliegue ya trabajan con esta tecnología pues pasan del desarrollo a su implantación en el entorno de producción. El sesgo de implementación se produce si el sistema se implementa en un entorno que no refleja las condiciones del entrenamiento, ya que puede comportarse de manera sesgada. Por ejemplo, un sistema de traducción automática entrenado principalmente con textos formales puede no funcionar bien con lenguaje coloquial. Las trampas de abstracción también son propias de esta fase. El sesgo de implementación ocurre si el entorno de producción no refleja las condiciones del entrenamiento. Fase 5. Fase de operación y monitorización En esta etapa con los sistemas en producción (operando) se requiere una supervisión constante y ajustes en hardware, software, algoritmos y datos para mantener su rendimiento óptimo. En el caso de sistemas que utilizan aprendizaje continuo como los asistentes virtuales y vehículos autónomos, aprenden y se actualizan continuamente a partir de las interacciones de los usuarios y nuevas experiencias. Este aprendizaje constante puede aumentar el riesgo de introducir o amplificar sesgos en comparación con sistemas basados en reglas predefinidas que no aprenden de forma continua. El aprendizaje continuo puede aumentar el riesgo de sesgos en comparación con sistemas basados en reglas predefinidas. Un desafío crítico en esta fase es el bucle de retroalimentación de refuerzo que ocurre cuando un sistema de IA es reentrenado con datos que contienen sesgos no corregidos, perpetuando y amplificando dichos sesgos en futuras decisiones, por ejemplo, el sesgo de automatización que puede tener un efecto multiplicador. Para ello hay que establecer mecanismos de retroalimentación continua para identificar posibles sesgos y corregirlos en tiempo real. Fase 6. Validación continua La 'validación continua' consiste en evaluar regularmente el modelo con nuevos datos para ver si continúa siendo preciso. Por tanto, la validación continua se puede realizar en sistemas de IA donde no aplica el aprendizaje continuo para, por ejemplo, “detectar desviaciones de datos, de conceptos o para detectar cualquier mal funcionamiento técnico” (ISO/IEC 5338), pero es especialmente relevante con nuevos datos por lo que es fundamental en los supuestos de aprendizaje continuo donde el reentrenamiento existe aunque no sea explícito. En los sistemas con aprendizaje continuo, los modelos integran nuevos datos de forma continua sin un reentrenamiento explícito, por lo que es fundamental tanto comprobar la coherencia de los datos en producción con los iniciales del entrenamiento como tener que actualizar los propios datos de prueba. Por tanto, los principales sesgos en esta fase son los sesgos de los datos, de entre los que cabe destacar los de representación, selección, medición, el de etiquetado y el de proxies, por lo que habrá que poner especial foco en las medidas para gestionarlos en esta fase. El bucle de retroalimentación de refuerzo perpetúa y amplifica sesgos en futuras decisiones. Fase 7. Reevaluación A diferencia del monitoreo y validación continua que se refieren a ajustes constantes cada uno con la finalidad que hemos visto, la de reevaluación es un proceso más profundo y exhaustivo. Aparte de los sesgos de evaluación y las trampas de abstracción que ya conocemos, y que en estas fases pueden servir para refinar el sistema con decisiones, hay varios propios de esta fase: la falacia del costo volcado a la suma (continuar invirtiendo recursos en una decisión pasada debido a las inversiones ya realizadas, aunque abandonarla sería más beneficioso); o el sesgo de statu quo (preferencia por mantener la situación actual, evitando cambios incluso cuando las alternativas podrían ser más favorables). ■ En ambos casos, es fundamental que las partes interesadas lo conozcan, reconozcan y tomen decisiones al respeto. Fase 8. Retiro Incluso si se toma la decisión de retirar el sistema, lo que puede deberse a diferentes motivos (no sirve a los propósitos, se ha buscado otra solución, se entiende que no es justo, etc.) ello puede producir un sesgo conocido como sesgo histórico dado que el sistema se ha entrenado con datos históricos sesgados que se replican. —Un ejemplo son los algoritmos de recomendación de noticias que se puedan basar en aquellas más relevantes, aunque quizá no sean más verídicas o contrastadas. Obviamente al que era usuario de ese sistema ya no le afectará, pero que les afectará a otros usuarios del sistema de IA que lo adquieran o usen. En conclusión, podemos observar la importancia de identificar los sesgos que pueden introducirse en las distintas fases del ciclo de vida de la IA con el objetivo de corregirlos y mitigarlos. En este sentido, en cada fase se pueden presentar diferentes tipos de sesgos que serán tratados de forma específica según la fase y su tipo.

En el artículo anterior de esta serie y después de habernos introducido en el concepto de sesgos y su taxonomía, así como analizado diversos conceptos “cercanos” empezamos a abordar los aspectos relativos a la gestión de los riesgos asociados a los mismos, empezando por lo relativo a los impactos. No obstante, al hablar de gestión de riesgos, el primer paso en cualquier estrategia de gestión de riesgos es identificarlos, para lo cual —aplicado a los sesgos— se trata de identificar las fuentes de sesgo y estas se pueden introducir en diversas fases del sistema de IA, por lo que es necesario entender como “entran” dichos sesgos en las diferentes etapas del ciclo de vida de los sistemas de IA. Como dice el Instituto Nacional de Estándares y Tecnología (NIST por sus siglas en inglés) las organizaciones que diseñan y desarrollan la tecnología de IA utilizan el ciclo de vida de la IA para realizar un seguimiento de sus procesos y asegurar que la tecnología sea funcional, pero no necesariamente para identificar posibles riesgos y daños y su gestión. Las organizaciones que desarrollan tecnología de IA usan el ciclo de vida de la IA para asegurar su funcionalidad, pero no necesariamente para identificar riesgos y daños. Asimismo, y cuando se abordan los sesgos, los enfoques actuales tienden a clasificar el sesgo por tipo ( estadístico, cognitivo, etc.), o caso de uso y sector industrial (contratación, atención sanitaria, etc.), pero con ello es posible que no proporcionen la amplia perspectiva necesaria para gestionar eficazmente el sesgo como el fenómeno específico del contexto que es. Por ello, el documento del NIST propone un enfoque para gestionar y reducir los efectos de los sesgos perjudiciales en todos los contextos teniendo en cuenta los lugares clave dentro de las etapas del ciclo de vida de un sistema de IA. Fases del ciclo de vida de los sistemas de IA Identificar las fuentes de sesgo es el primer paso en cualquier estrategia de mitigación de sesgos y como hemos indicado las fuentes de sesgos se pueden introducir en diversas fases del sistema de IA. Para ello debemos de conocer cuáles son sus fases y a su vez esto habría que ponerlo en relación con los diferentes operadores. El desarrollo de un sistema de IA tiene tres fases básicas, que son: prediseño, diseño y desarrollo y, prueba y evaluación (tal y como las define el NIST). A su vez, se pueden considerar otras fases, tal como hace la ISO 22989: Inicio, diseño y desarrollo, verificación y validación, despliegue/implementación, operación y monitorización, validación continua, reevaluación y retiro. ■ El hecho de que ISO 22989 añada otras fases no significan que NIST ignore su importancia; más bien, estas pueden estar implícitas o consideradas dentro de un marco operativo más amplio. Fase 1. Fase de inicio: prediseño o definición del alcance Los sistemas de IA comienzan en la fase de prediseño, clave para establecer las bases que determinarán su eficacia y equidad, en la que se incluyen los siguientes hitos: El primer paso consiste en definir claramente el problema que se pretende resolver con el sistema de IA y establecer sus objetivos. Si los objetivos del sistema están influenciados por prejuicios, el sistema reflejará esos sesgos. —Por ejemplo, si se decide que un sistema de contratación debe priorizar candidatos de ciertas universidades que podemos calificar como prestigiosas, puede excluir a candidatos igualmente cualificados de otras universidades. Este tipo de sesgo se conoce como sesgo institucional o sistémico, para mitigarlos es recomendable revisar esos posibles perjuicios introduciendo diversas medidas que van desde la revisión de los datos utilizados y evaluar los posibles impactos y para ello hay que involucrar a expertos en áreas como por ejemplo ética y derechos humanos. Identificar las fuentes de sesgo es el primer paso en cualquier estrategia de mitigación de sesgos En esta etapa, se determinan los requisitos funcionales (qué debe de hacer el sistema) y no funcionales del sistema (cómo debe de comportarse). Esto incluye la recopilación de datos en cuanto al análisis de requisitos (determinar qué datos son necesarios para resolver el problema) y la recopilación preliminar (obtener datos iniciales para entender mejor el ámbito y los desafíos a los que se enfrenta). Si los datos no son lo suficientemente representativos de la población objetivo, el modelo podría aprender patrones incorrectos. —Por ejemplo, entrenar un sistema de salud con datos de una sola región puede limitar su eficacia en otras áreas con características distintas. Esta situación puede dar lugar a trampas de abstracción, que ocurren cuando se simplifica en exceso la realidad al traducirla en entradas y salidas para el sistema de IA. Las principales trampas de abstracción incluyen: Trampas del formalismo: asumir que los modelos IA capturan completamente la complejidad del mundo real. Trampa del efecto dominó: no anticipar como pequeños cambios en el sistema pueden tener consecuencias amplificadas en su funcionamiento. Trampa del solucionismo: creer que todos los problemas pueden resolverse únicamente Si los datos no son lo suficientemente representativos de la población objetivo, el modelo podría aprender patrones incorrectos. Se evalúa la viabilidad técnica, económica y operativa del proyecto para determinar si es factible desarrollar el sistema de IA propuesto. Se seleccionan las herramientas y plataformas tecnológicas más adecuadas para el desarrollo del sistema de IA propuesto. Se elabora un plan detallado que incluye cronogramas, asignación de recursos y definición de hitos, asegurando una gestión eficiente y efectiva. Fase 2. Fase de diseño y desarrollo Esta fase incluye a su vez las siguientes: Diseño Comprensión y preparación de datos Desarrollo En esta etapa del ciclo de vida de la IA se llevan a cabo decisiones de calado como si se van a realizar determinados desarrollos o se van a adquirir, si se utilizarán soluciones de código abierto o propietario, etc. Dada la importancia del diseño en el resultado, los sesgos de validez del constructo (de la construcción teórica para entender el problema) son especialmente importantes en esta fase. Este se produce cuando una variable no mide con previsión el constructo que se quiere representar para la construcción del sistema de IA, cuando hablamos de problemas complejos. —Por ejemplo: imaginemos que confundimos el estatus socioeconómico con un elemento único como los ingresos, cuando realmente hay otros que pueden afectarlo como la educación, la riqueza, ocupación o prestigio, entre otros. Por tanto, hay que tener en cuenta diversas medidas de dichos elementos complejos y considerar diversas “formas” de interpretarlos, como las derivadas de diferentes visiones culturales. Por otro lado, aquí también se procede a la comprensión y preparación de los datos, siendo en esta fase un sesgo muy común y el más tratado es el sesgo de representación. Para ello hay que garantizar la representación correcta, pudiendo utilizar por ejemplo técnicas de muestreo. Otros sesgos importantes en esta fase son el de sesgo de medición, el sesgo histórico, sesgo de etiquetado o el de sesgo de selección. Durante la fase de desarrollo se construyen los modelos seleccionados y se entrenan los datos. Al final de la fase de diseño y antes del despliegue es necesaria una evaluación exhaustiva de la mitigación de sesgo para garantizar que el sistema se mantenga dentro de los límites preespecificados. Los principales sesgos de esta fase son los sesgos de algoritmo. La principal característica de este sesgo es que no está en los datos sino en el propio algoritmo. Ejemplos como un algoritmo de selección de personas, aunque utilice datos de entrenamiento equilibrados asigna más peso a algún criterio que no tenga que ver con el posible rendimiento. Hay diversos tipos de sesgos de algoritmo, pero en esta fase algunos que inciden en el desarrollo son los siguientes: el sesgo de agregación, el sesgo de variable omitida y el sesgo de aprendizaje. Como dice el NIST, al final de la fase de diseño y antes del despliegue es necesaria una evaluación exhaustiva de la mitigación de sesgo para garantizar que el sistema se mantenga dentro de los límites preespecificados, lo que debe de incluir: Las fuentes de sesgo identificadas. Las técnicas de mitigación implementadas. Evaluaciones de desempeño relacionadas antes de que el modelo pueda lanzarse para su implementación. Como medidas para solucionar dichos riesgos el NIST en su informe citado menciona por ejemplo el "desafío cultural efectivo" (cultural effective challenge), una práctica que busca crear un entorno en el que los desarrolladores de tecnología puedan desafiar y cuestionar activamente los pasos en el modelado y la ingeniería para ayudar a erradicar los sesgos estadísticos y los sesgos inherentes a la toma de decisiones humanas. Aunque lo hemos incardinado en esta fase debería ser iterativo. ■ Por nuestra parte pensamos que la existencia de una “parada formal”, quizá incluso su constancia en un informe como sucede por ejemplo en las Evaluaciones de impacto en protección de datos conforme al Reglamento General de Protección de Datos (RGPD) o las Evaluaciones de Impacto Algorítmico (FRAIA) del Reglamento de Inteligencia Artificial (RIA) sería una buena forma de “obligar a realizar dicha parada” y a que tuviese el calado oportuno. Si derivado de ello se constatase el sesgo en los algoritmos y el impacto que ello podría tener podría/debería incluso evitarse su salida a producción. Fase 3. Fase de prueba y evaluación (verificación y validación) La etapa de prueba y evaluación es un proceso continuo durante todo el ciclo de desarrollo de la IA. En esta fase: Monitorización del rendimiento del modelo en producción (es decir, monitoreo post despliegue) y realizan el mantenimiento continuo. Si las métricas de evaluación no consideran la equidad, el modelo puede parecer preciso, pero ser injusto, perpetuando y amplificando, una vez desplegado, los sesgos existentes. —Por ejemplo, un sistema de recomendación de préstamos que ha sido entrenado con datos históricos puede continuar discriminando a ciertos grupos si esos datos reflejan prácticas discriminatorias pasadas. Actualización del modelo con nuevos datos y proceden a las mejoras necesarias. Si las actualizaciones del sistema no consideran la equidad, pueden introducir o reforzar los sesgos existentes. —Por ejemplo, al actualizar un sistema de recomendación de productos, si se utilizan datos de compras recientes que reflejan una tendencia temporal, el sistema puede sesgarse hacia esos productos y no ofrecer una variedad equilibrada. El informe del NIST resalta la necesidad del "desafío cultural efectivo" para eliminar los sesgos en la toma de decisiones y mejorar continuamente los modelos. En esta fase se puede producir un sesgo denominado “sesgo de evaluación” cuando los procedimientos o métricas utilizadas para evaluar el modelo no están alineados con el contexto real de implementación. Esto puede llevar a conclusiones erróneas sobre el rendimiento y la equidad del sistema. Por tanto, hay que adoptar medidas como, revisar y ajustar métricas, comparar los resultados del modelo con criterios externos y datos del mundo real, y fomentar la participación de todas las partes interesadas para garantizar que todos los problemas previamente identificados se resuelvan a satisfacción de todos. ■ En este artículo hemos analizado cómo los sesgos pueden introducirse en las fases iniciales del ciclo de vida de los sistemas de IA. En el próximo artículo de esta serie abordaremos el resto de fases, profundizando en los riesgos y mecanismos de control asociados a su implementación, operación y eventual reevaluación.

Como hemos visto en los anteriores capítulos de esta serie, los sesgos son uno de los principales riesgos que pueden tener los sistemas de IA. Si tenemos en cuenta que la tecnología basada en la IA ya tiene y tendrán aún más conexiones e impactos más amplios en la sociedad que el software tradicional, pues seguro que ganan capilaridad en casi todos los sectores y contextos, bien sea de forma directa o en procesos instrumentales, eso supone de entrada y de forma general, un efecto multiplicador de los posibles riesgos derivados de los sesgos de la IA. Dicho lo anterior es fundamental acudir al concepto de riesgo y a su medición para avanzar en la relación entre sesgos y riesgos. Como sabemos, la forma de medir el riesgo es tener en cuenta la probabilidad de que se materialice una amenaza combinada con el impacto que tendría si ésta se produjera. Existen – por tanto – dos factores en la ecuación: probabilidad e impacto. Los sesgos son uno de los principales riesgos que pueden tener los sistemas de IA. 1. Impactos producidos por sistemas de IA y su cálculo Centrándonos en el cálculo del impacto, deberán tenerse en cuenta para las especificidades del RIA, prácticas basadas en criterios aceptados como estándares globales. En este caso de la ISO 31000:2009 Gestión del Riesgo - Principios y Directrices, de la que el resto de las normas ISO se inspiran y adecúan a entornos concretos, además de las ISO específicas en IA , particularmente la ISO/IEC 23894:2023, guidance on risk management in AI. Particularmente relevante es el trabajo desarrollado por el Massachusetts Institute of Technology (MIT) con el marco AI Risk Repository, que ofrece una base de datos dinámica que recopila más de 1000 riesgos de IA, extraídos de 56 marcos. El concepto de impacto en el ámbito de los sistemas de IA se utiliza en diferentes frentes: para los análisis de riesgos en sistemas de IA en el artículo 9 RIA, para las FRAIA en el artículo 29 bis; y también hay ejemplos como la pionera Ley 1/2022, de 13 de abril, de Transparencia y Buen Gobierno de la Comunitat Valenciana que, al abordar cuando se considera un elemento esencial para que deba o no hacerse publicidad activa de los sistemas de IA, hace referencia al hecho de “que tengan impacto en los procedimientos administrativos o la prestación de los servicios públicos”. La tecnología de IA tiene un impacto más amplio en la sociedad que el software tradicional, lo que amplifica los posibles riesgos derivados de sus sesgos. Con base en lo anterior, deberán analizarse los impactos que la IA puede tener en las personas, cuando se utilice de acuerdo con su finalidad prevista y también, cuando se le dé un uso indebido razonablemente previsible. Estos impactos pueden clasificarse de diferentes formas, como por ejemplo en: a) Legales, afectando a Derechos Fundamentales como, por ejemplo: Discriminación: los sesgos pueden perpetuar la discriminación en diferentes actividades tanto del ámbito público como privado. Desigualdad: los algoritmos sesgados pueden agravar la desigualdad en lugar de reducirla. Injusticia: efectos jurídicos o significativos en las personas a través de la denegación de subvenciones, sospechas de incumplimiento de la normativa vigente etc. b) Sociales, tales como: Pérdida de criterio propio, confianza en uno mismo. Perpetuación de los sesgos: riesgos estructurales. Pérdida de confianza en la propia tecnología. 2. La falta de explicabilidad y su impacto en la gestión de los sesgos La explicabilidad es la capacidad de entender y, por ende, poder explicar cómo toma sus decisiones un sistema de IA. Por tanto, si un sistema de IA no es explicable es complicado identificar los posibles sesgos y gestionarlos. Nos referimos a sistemas como, por ejemplo: Los de redes neuronales profundas o deep learning donde esas capas de neuronas crean una caja negra dónde cuesta entender cómo se ha llegado a una decisión concreta. Pensemos por ejemplo en un modelo de reconocimiento de imágenes en el que el modelo clasifica un animal, pero no sabemos qué elementos o características concretas utiliza para ello. En supuestos vinculados a reconocimiento facial han llevado a supuestos de discriminación. Los sistemas de autoaprendizaje, entre los que se encuentran por ejemplo los sistemas de aprendizaje por refuerzo (en los que el agente aprender a tomar decisiones óptimas al interactuar con el entorno y la recepción de recompensas) y en donde hay estrategias que utilizan que pueden ser difíciles de entender y explicar.. Pensemos por ejemplo en un coche autónomo que ante una situación en la que no hay un obstáculo visible decide parar porque sus sensores han identificado uno. En los modelos de clasificación de datos, como los que clasifican las operaciones en fraudulentas o no y en los que los patrones utilizados pueden ser complejos de entender. En estos casos si el Sistema clasifica erróneamente como ilegítimas las operaciones de determinados colectivos (por ejemplo, teniendo en cuenta su ubicación demográfica u otro elemento) puede ser discriminatoria. Es fundamental acudir al concepto de riesgo y a su medición para avanzar en la relación entre sesgos y riesgos. Sin perjuicio de lo antedicho, existen diversas técnicas para solucionar la falta de explicabilidad tales como, por ejemplo: Modelos interpretables: consiste en utilizar modelos de IA que sean inherentemente más fáciles de interpretar, como los árboles de decisión, regresiones lineales y redes neuronales simples y que permiten entender cómo se toman las decisiones basadas en las entradas aplicando reglas claras y limitaciones para guiar su funcionamiento y asegurar que las decisiones sean comprensibles y justificables. Métodos post-hoc: se trata de aplicar técnicas que expliquen las decisiones de modelos complejos después de que se hayan hecho., como por ejemplo LIME (Local Interpretable Model-agnostic Explanations) que genera explicaciones locales para predicciones individuales o SHAP (SHapley Additive exPlanations) que asigna valores de importancia a cada característica de entrada, basándose en la teoría de juegos. Educación y capacitación: formar a los equipos en la comprensión y gestión de las decisiones de la IA. Esto incluye la capacitación en el uso de herramientas de explicabilidad y en la interpretación de los resultados. Auditorías y evaluaciones: realizar auditorías regulares y evaluaciones externas para revisar y validar las decisiones de los sistemas de IA, asegurando que sean transparentes y equitativas. El impacto de la IA debe tenerse en cuenta tanto para usos previstos como para usos indebidos razonablemente previsibles. 3. Criterios para medir el impacto Las normas no son ajenas a los posibles impactos y para ello ciertas disposiciones legales ya aportan criterios. El Artículo 22 del Reglamento General de Protección de Datos (RGPD) prohíbe decisiones automatizadas con efectos jurídicos significativos (como la denegación de créditos o evaluaciones de riesgo penal) sin intervención humana relevante. Los sesgos algorítmicos que afecten derechos fundamentales, como el acceso equitativo a servicios públicos podrían ser objeto de impugnación legal. La sentencia SCHUFA del Tribunal de Justicia de la UE amplió este concepto, adoptando un criterio garantista, al considerar que incluso la generación automática de un valor predictivo (como un score crediticio) constituye una decisión automatizada si influye de manera determinante en la decisión final de un tercero. Este criterio obliga a reevaluar sistemas que combinan procesamiento automático con revisión humana superficial. En este sentido, La STJUE expande, mediante una interpretación amplia del artículo 22, el alcance del término decisiones automatizadas abarcando los siguientes supuestos: (i) decisiones “semi-automatizadas” basadas en la decisión automatizada, pero con mayor o menor participación humana; (ii) las predicciones de probabilidades o los perfilados que se configuran como determinantes para la adopción de la decisión por un tercero. Por su parte, el Artículo 14 del Reglamento de Inteligencia Artificial (RIA) exige que la intervención humana sea significativa, evitando automatizaciones ciegas. No se trata solo de una revisión superficial, sino de una evaluación real y sustantiva de todos los factores relevantes. Para valorar el impacto hay que tener especialmente en cuenta, de un lado, la finalidad del uso o propósito del sistema de IA. Es un buen punto de partida seguir los usos de IA de “alto riesgo” del RIA. Como sabemos el RIA tiene una aproximación a riesgos y en ella ya se ve que tiene en cuenta los sesgos como elementos a considerar. Por ejemplo, dice expresamente el considerando 61: “En particular, a fin de hacer frente al riesgo de posibles sesgos, errores y opacidades, procede clasificar como de alto riesgo aquellos sistemas de IA destinados a ser utilizados por una autoridad judicial o en su nombre para ayudar a las autoridades judiciales a investigar e interpretar los hechos y el Derecho y a aplicar la ley a unos hechos concretos…”. Los sistemas de alto riesgo en el RIA (artículo 6) se dará en dos escenarios: Bien cuando se trate de un componente o producto de seguridad. O cuando que se trate de alguno de los sistemas de IA de alto riesgo contemplados en el Anexo III. Asimismo, si un sistema de IA recae dentro de uno de los ámbitos del Anexo III, podrá no ser considerado de alto riesgo si su influencia en la toma de decisiones no es sustancial y se cumple alguna o varias de las siguientes condiciones: el sistema lleva a cabo una tarea de procedimiento limitada, mejora actividades humanas previas, detecta patrones de decisión o desviación sin reemplazar la evaluación humana, o lleva a cabo tareas preparatorias. La relación de sistemas de IA de alto riesgo atiende a criterios como la autonomía y complejidad, impacto social y personal y seguridad en infraestructuras críticas. En el Anexo III del RIA se relacionan los sistemas que se consideran de alto riesgo. Todo lo anterior habría que aterrizarlo además al uso en el sector público o privado, donde puede haber elementos que hagan “ponderar” el riesgo e incluso recalibrarlo. En el caso del sector público la propuesta que realiza Cotino en relación con los criterios y variables para determinar el impacto, nivel de riesgo y relevancia jurídica de los sistemas algorítmicos públicos en la que esboza los siguientes criterios: Que produzca efectos jurídicos en él o le afecte significativamente, criterio normativo que sigue por ejemplo otra norma como es el art. 22 del RGPD. Que el sistema tome decisiones individualizadas respecto de personas, suponga la toma de decisiones internas administrativas o para la elaboración de políticas y su impacto colectivo. Que se trate de sistemas de alto riesgo, siendo crítico con la enumeración de los sistemas que cataloga como de alto riesgo el IA por considerarlo incompleto el citado autor por existir sistemas públicos de IA especialmente impactantes que no están en el citado listado. Que se trate de usos masivos, lo que supone que “que habrá de ponderarse el peligro que supone un error o sesgo masivo en innumerables casos futuros, así como el beneficio significativo de evitar que se replique en miles o millones de decisiones” y concluye que por ello para los sistemas de IA de alto riesgo públicos que aplican masivamente hay que “recalibrar” estos umbrales aceptables y las garantías aplicables. Y concluye – opinión con la que estoy de acuerdo - que para dichos sistemas “en general hay que ser mucho menos tolerantes”. Medir el riesgo implica considerar la probabilidad de que se materialice una amenaza combinada con el impacto que tendría. En el caso del sector privado algunos criterios pueden aplicarse con las peculiaridades correspondientes: Que produzcan efectos jurídicos significativos: al igual que en el ámbito público, los sistemas de IA privados que produzcan efectos jurídicos significativos o afecten considerablemente a las personas deben ser evaluados con mayor rigor, como sucede con las decisiones que puedan impactar derechos fundamentales, como sucede por ejemplo con el acceso a servicios financieros, empleo, o vivienda. Que el sistema tome decisiones individualizadas: los sistemas de IA que toman decisiones individualizadas sobre personas, como en procesos de contratación, evaluación de crédito, o personalización de servicios, deben ser cuidadosamente monitoreados para asegurar transparencia y equidad, de tal forma que las decisiones automatizadas deben de ser explicable y justificables. Que se trate de sistemas de alto riesgo: en el ámbito privado, los sistemas de IA de alto riesgo pueden referirse por ejemplo a los utilizados en sectores críticos como la salud, finanzas, y transporte. El MIT desarrolla el AI Risk Repository, una base de datos dinámica que compila más de 1000 riesgos de IA. En conclusión, los sesgos en la IA constituyen un desafío multidimensional que requiere un enfoque riguroso, combinando análisis normativo, ético y técnico. La explicabilidad no solo facilita la detección de sesgos, sino que es un requisito legal esencial. Los marcos legales y estándares mencionados ofrecen herramientas claras para gestionar riesgos, aunque es preciso señalar que su éxito dependerá de una implementación efectiva y de la colaboración interdisciplinaria entre juristas, técnicos y expertos en ética.

En los anteriores capítulos de esta serie hemos podido analizar el concepto de sesgos y otros relacionados y la clasificación de los sesgos en relación con la IA, y corresponde abordar en esta entrega la clasificación de la discriminación para, a partir de ahí, entender los riesgos y poder tratarlos. 1. Derecho a la no discriminación La no discriminación se articula como un principio básico de la Declaración Universal de Derechos Humanos, adoptada por la Asamblea General de las Naciones Unidas en 1948. Dentro del marco de Naciones Unidas hay que destacar también dos importantes instrumentos jurídicos adoptados en 1966, el Pacto de Derechos Sociales, Económicos y Culturales y el Pacto Internacional de Derechos Civiles y Políticos, cuyo artículo 26 configura la no discriminación como un derecho de carácter autónomo y general. Existen otras Convenciones de las Naciones Unidas que tienen por finalidad evitar la discriminación en distintos campos como la raza, religión o las convicciones, discriminar a personas con discapacidad, la discriminación en el trabajo o la discriminación a las personas por razón de su edad. A nivel internacional, hay países que reconocen otros atributos como motivos protegidos, como el origen étnico o social, el embarazo, las características genéticas, el idioma, la pertenencia a una minoría nacional, la propiedad y el nacimiento. Estos son los casos, entre otros, de EE. UU., Canadá y Australia. Por su parte, el artículo 19 del Tratado de Funcionamiento de la Unión Europea recoge una serie de motivos protegidos, que incluyen el sexo, el origen racial o étnico, la religión o las creencias, la discapacidad, la edad, y la orientación sexual. Sobre la base de estos se han aprobado diferentes directivas de la UE centradas en garantizar la igualdad de trato en todos los Estados miembros. Asimismo, la Carta de los Derechos Fundamentales de la Unión Europea en su artículo 21 prohíbe toda discriminación, incluyendo otros motivos como las características genéticas, lengua, pertenencia a una minoría nacional, patrimonio y nacimiento. A nivel nacional, algunos países europeos, como los Países Bajos, han ampliado sus listas de motivos protegidos para cubrir más áreas que las que cubre el Tratado. En España el artículo 14 de la Constitución de 1978 proclama el derecho a la igualdad y a la no discriminación, citando como motivos especialmente rechazables el nacimiento, la raza, el sexo, la religión u opinión, y prohibiendo la discriminación por cualquier otra circunstancia personal o social. La Ley 15/2022, de 12 de julio, integral para la igualdad de trato y la no discriminación, que entró en vigor el 14 de julio de 2022, detalla más motivos de posible discriminación en su artículo 2, que define el ámbito subjetivo de aplicación: nacimiento, origen racial o étnico, sexo, religión, convicción u opinión, edad, discapacidad, orientación o identidad sexual, expresión de género, enfermedad o condición de salud, estado serológico y/o predisposición genética a sufrir patologías y trastornos, lengua, situación socioeconómica, o cualquier otra condición o circunstancia personal o social. En su ámbito objetivo (artículo 3.1.) menciona los ámbitos en que es de aplicación, incluyendo en su letra “o” la “Inteligencia Artificial y gestión masiva de datos, así como otras esferas de análoga significación”. Por otro lado, esta ley se compone de cinco títulos: I. El primer título establece una serie de definiciones y recoge el derecho a la igualdad de trato y la no discriminación en diferentes ámbitos de “la vida política, económica, cultural y social”. El capítulo segundo de este título regula estos derechos en áreas específicas, incluyendo la inteligencia artificial y mecanismos de toma de decisiones automatizados. II. El segundo título establece medidas de la promoción de la igualdad de trato y las medidas de acción positiva. III. El tercer título se dedica exclusivamente a la creación y establecimiento de la Autoridad Independiente para la igualdad de trato y la no discriminación. IV. El cuarto título establece las infracciones y sanciones en materia de igualdad de trato. V. El quinto título, y último, establece una serie de medidas en relación con la atención, el apoyo e información a las víctimas de la discriminación e intolerancia. ■ Esta Ley es un importante paso dentro del marco jurídico español, dado que enfatiza de forma más clara la discriminación y otorga por primera vez dentro del ordenamiento jurídico español, una mayor relevancia a la discriminación por razón de edad. Además, no solo proclama derechos, sino que se crean mecanismos para proteger a las víctimas de la discriminación en sus múltiples dimensiones. 2. Tipos de discriminación Para realizar una clasificación de la discriminación seguimos la que realiza la citada Ley 15/2022 en su artículo 6: a. Discriminación directa (art. 6. 1º Ley Orgánica 3/2007, de 22 de marzo y art. 6. 1º Ley 15/2022): se produce cuando una persona recibe un trato menos favorable por alguna de las circunstancias especialmente sospechosas de discriminación (raza, género, edad, etc.) lo que se producirá tanto cuando se introduzcan en el sistema de IA datos sobre la pertenencia a un colectivo especialmente discriminado y a dicha pertenencia se asocia un factor negativo como si los algoritmos y variables se diseñan para perjudicar a estos colectivos. —Por ejemplo, si un sistema de IA de selección de personal rechaza directamente a candidatos de una etnia, o de una raza o a partir de una edad sin tener en cuenta otras características. b. Discriminación indirecta: se produce cuando una disposición, criterio o práctica aparentemente neutros ocasiona o puede ocasionar a una o varias personas una desventaja particular con respecto a otras personas. —Por ejemplo, pensemos en un sistema de IA para conceder créditos que utilice un elemento que aparentemente es neutral, como el código postal, pero que perjudica indirectamente a personas que viven en determinados barrios o zonas donde viven ciertas etnias o colectivos. c. Discriminación por asociación: se produce cuando una persona o grupo en que se integra, debido a su relación con otra sobre la que concurra alguna de las causas de discriminación, es objeto de un trato discriminatorio. —Por ejemplo, imaginemos un sistema de IA utilizado para la evaluación de rendimiento que penaliza a empleados que tienen a algún familiar con una enfermedad crónica. d. Discriminación por error: es aquella que “se funda en una apreciación incorrecta acerca de las características de la persona o personas discriminadas” (art. 6. 2º b Ley 15/2022). Es decir, porque se le atribuye una característica protegida que se le atribuye erróneamente y le penaliza. —Por ejemplo, un sistema de IA de reconocimiento facial que le niega el acceso a una persona porque lo asocia erróneamente a una determinada etnia a la que le niega el acceso. e. Discriminación múltiple o interseccional: se produce discriminación múltiple cuando una persona es discriminada de manera simultánea o consecutiva por dos o más causas de las previstas en esta ley, como por ejemplo cuando se juntan el hecho de ser mujer y de determinada etnia. A dichos supuestos de discriminación podemos añadir supuestos que podríamos decir “agravados” que son: i. Acoso: cuando con la discriminación se tiene la intención de crear sobre dicha persona o colectivo que tienen dicha característica protegida un entorno intimidatorio, hostil, degradante, humillante u ofensivo. —Imaginemos un chatbot que teniendo en cuenta el género de los usuarios hace comentarios insultantes a las personas de dicho género, debido a un sesgo. ii. Represalias: cuando una persona sufre una represalia por haber presentado una queja o haber participado en un proceso relacionado con una discriminación. —Pensemos en un sistema de IA utilizado para la promoción de empleados que penaliza a la hora de promocionar a los empleados que han presentado quejas o participado en dichos procesos. A lo largo de este capítulo hemos repasado el encaje del derecho a la igualdad de trato y la no discriminación en el ámbito internacional, regional y local, para luego realizar una clasificación en base a lo establecido en la Ley 15/2022 en su artículo 6, que incluye: la discriminación directa, indirecta, por asociación, por error, múltiple o interseccional. En definitiva, la importancia de identificar los tipos de discriminación que pueden surgir como consecuencia de los sesgos radica en que nos permite comprender los posibles riesgos y poder tratarlos. ■ Con este tercer capítulo de esta serie de artículos hemos trazado una línea que nos permite tener un mayor entendimiento de la importancia de identificar y clasificar los sesgos que suelen formar parte de los sistemas de IA y con ello las posibles consecuencias que puede tener para las personas y la sociedad en general.

Ya hemos visto en el primer capítulo de esta serie el concepto de sesgos y otros conceptos afines, como por ejemplo uno particularmente relevante: la discriminación. Una vez analizados los citados conceptos es fundamental identificarlos y clasificarlos para poder tratar los riesgos derivados. Empezamos por los sesgos. El National Institute of Standards and Technology (NIST) —agencia del gobierno de los EE. UU. encargada de promover la innovación y la competencia industrial— publicó en marzo de 2022 la NIST Special Publication 1270 con el título Towards a Standard for Identifying and Managing Bias in Artificial Intelligence cuyo objetivo es ofrecer una guía para futuro estándares en identificación y gestión de sesgos. Este documento: Por un lado describe lo que está en juego y el desafío del sesgo en la IA y proporciona ejemplos de cómo y por qué puede socavar la confianza pública; Por otro lado identifica tres categorías de sesgos en la IA (sistémico, estadístico y humano) y describe cómo y dónde contribuyen a los daños; Y por último describe tres grandes desafíos para mitigar el sesgo: conjuntos de datos, pruebas y evaluación, y factores humanos, e introduce orientaciones preliminares para abordar a ellos. Como decíamos y según el NIST, existen tres tipos de sesgos que afectan a los sistemas basados en Inteligencia Artificial: los sesgos computacionales o estadísticos, los sesgos humanos y los sesgos sistémicos. Fuente: https://doi.org/10.6028/NIST.SP.1270 Vamos a desarrollar dichos tres tipos de sesgos que indica el NIST, complementando dicha clasificación con más detalle y puntos de vista propios. 1. Los sesgos computacionales Son aquellos que podemos medir a partir de un modelo de Inteligencia Artificial ya entrenado. Son la punta del iceberg y, aunque se pueden tomar medidas para subsanarlos, no constituyen todas las fuentes de posibles sesgos que intervienen. Los sesgos estadísticos o computacionales surgen a partir de errores que resultan cuando la muestra no es representativa de la población. Estos sesgos surgen de factores sistemáticos y no aleatorios. El error puede ocurrir sin que haya prejuicio, parcialidad o intención discriminatoria. En los sistemas de IA, estos sesgos están presentes en los conjuntos de datos y procesos algorítmicos utilizados en el desarrollo de aplicaciones de IA y, a menudo, surgen cuando los algoritmos se entrenan en un tipo de datos y no puede extrapolar más allá de esos datos. Aquí podemos encontrar varios tipos a su vez: a. Sesgo de Selección de Datos: se produce cuando los datos utilizados para entrenar un modelo no representan de manera equitativa la realidad. —Por ejemplo, si un algoritmo de contratación se entrena principalmente con currículos de hombres, podría sesgar las decisiones hacia candidatos masculinos. b. Sesgo Algorítmico: se produce cuando los algoritmos favorecen ciertos resultados o a ciertos grupos. —Por ejemplo, un sistema de crédito que penaliza automáticamente a personas de bajos ingresos debido a su historial financiero podría tener un sesgo algorítmico. 2. Los sesgos humanos Son aquellos que tenemos cada uno de nosotros de manera implícita y que afectan a cómo percibimos e interpretamos la información que recibimos. Los prejuicios humanos reflejan errores sistemáticos en el pensamiento humano basados en un número limitado de principios heurísticos y predicción de valores hasta operaciones de juicio más simples. Se conocen también como sesgos cognitivos al estar relacionados con la forma en que los seres humanos procesamos información y en cómo tomamos decisiones a partir de ella. Dentro del sesgo humano podemos encontrar diversas categorías: a. Sesgo de Confirmación: se produce cuando el sistema de IA se basa en creencias o asunciones preexistentes en los datos, ya que existe una tendencia a buscar, interpretar y recordar aquellos datos que refuerzan dichas creencias u opiniones preexistentes. —Por ejemplo, si un algoritmo de recomendación de películas solo sugiere géneros específicos a un usuario, podría reforzar sus preferencias anteriores. b. Sesgo de Anclaje: se produce cuando hay una dependencia excesiva de la primera información o ancla. —Por ejemplo, si un sistema de precios en línea muestra un precio inicial alto, los usuarios pueden percibir como 'oferta' o precio barato cualquier precio inferior a ese anclaje inicial. c. Efecto Halo: valorar a una persona o cosa en función de una característica sobresaliente. —Por ejemplo, asumir que un candidato con una universidad prestigiosa en su currículo es automáticamente más competente. d. Sesgo de Negatividad: se produce cuando se da un peso mayor a la información negativa que a la positiva. —Por ejemplo, imaginemos un sistema de detección de fraudes podría ser más propenso a identificar falsos positivos debido a este sesgo derivado de que está entrenado con información 'negativa'. Estos sesgos humanos se introducen en los sistemas de IA de diversas formas: Durante su desarrollo (por ejemplo, al programar un sistema de crédito introduciendo perjuicios humanos existentes). En el entrenamiento (por ejemplo, por utilizar datos de entrenamiento masculinos en un proceso de selección). En el etiquetado (si hay errores o sesgos en el etiquetado humano que introducen dicho sesgo en los datos). Por las funciones de pérdida y optimización (si penaliza más unos errores que otros también puede penalizar a ciertos grupos o a ciertas características). 3. Los sesgos sistémicos Y, por último, los sesgos sistémicos son aquellos que se encuentran integrados en la sociedad y en las instituciones por razones históricas. No tiene por qué ser el resultado de ningún prejuicio o prejuicio consciente sino más bien de que la mayoría siga reglas o normas existentes. Estos sesgos están presentes en los conjuntos de datos utilizados en IA, y las normas, prácticas y procesos institucionales a lo largo del ciclo de vida de la IA y en cultura y sociedad más amplias. El racismo y el sexismo son los ejemplos más comunes. Por su parte, en la guía práctica de Rhite, se distinguen las dos principales categorías de sesgos que existen: Por un lado el sesgo social, relativo a los prejuicios, estereotipos o inclinaciones arraigados en una cultura o sociedad, de los que el sesgo histórico es un ejemplo. y por otro lado el sesgo estadístico que supone una diferencia sistemática entre un parámetro estimado en los datos y su valor real en el mundo real y se produce cuando los datos no logran capturar con precisión las variables o fenómenos previstos, lo que genera resultados de IA defectuosos, como los sesgos de representación, y de medición. Asimismo, añade los sesgos cognitivos que: "Son errores sistemáticos en el pensamiento que pueden afectar el juicio y la toma de decisiones". Entre estos se encuentram por ejemplom el más común que es el sesgo de confirmación, en el que las personas tienden a buscar o dar más peso a los datos que confirman sus ideas o hipótesis preexistentes. A su vez, el RIA en su artículo 14.4.b) recoge el sesgo de automatización que consiste en "Posible tendencia a confiar automáticamente o en exceso en los resultados de salida generados por un sistema de IA (…)”. Este tipo de sesgo está estrechamente relacionado con los sesgos de confirmación y de anclaje, categorías pertenecientes a los sesgos cognitivos/humanos: Con respecto al sesgo de confirmación, la tendencia a buscar información que confirme nuestras creencias previas puede reforzar la confianza en los resultados de los sistemas de IA, incluso cuando estos cometan errores. En relación con el sesgo de anclaje, la dependencia excesiva en la información inicial podría conllevar una predisposición a confiar automáticamente en las sugerencias del sistema de IA (que funcionarían como un 'ancla'). Fuente: Rhite. Conclusión La identificación y clasificación de los sesgos que afectan a la IA es de relevante importancia para poder prevenir y gestionar los riesgos derivados de aquellos sesgos que pueden producir daños y vulnerar los derechos y libertades de las personas. En este sentido, en este capítulo hemos identificado las principales categorías de sesgos con implicancias en los sistemas de IA, siendo estos: los sesgos computacionales que provienen de errores en los resultados de los sistemas de IA; los sesgos humanos que provienen de las personas que participan en los procesos de un sistema de IA (programación, clasificación, etc.) y los sistémicos que afectan a la sociedad en su conjunto. ■ En el siguiente capitulo nos adentraremos en la clasificación de los tipos de discriminación. MÁS DE ESTA SERIE Telefónica Tech Sesgos en la IA (I): La necesaria distinción entre sesgos y conceptos afines 11 de febrero de 2025

La Inteligencia Artificial (IA) supone muchas oportunidades y también tiene, como es normal, riesgos que hay que gestionar. Y uno de ellos tiene que ver con los sesgos y las posibles consecuencias que pueden tener, como es la discriminación. En la serie de capítulos siguientes vamos a abordar diversas cuestiones alrededor de los sesgos, y es fundamental empezar clarificando conceptos. No solo debemos de comprender el concepto de sesgo, sino también distinguirlo de otros 'cercanos' y ponerlos en relación con los sistemas de IA. 1. El algoritmo como parte de un sistema de IA Según la RAE un algoritmo es un "conjunto ordenado y finito de operaciones que permite hallar la solución de un problema". Podríamos decir que es como una receta, pero a diferencia de esta que se aplica para un propósito concreto (cocinar) el algoritmo puede servir para muchos propósitos diferentes. Es decir: son instrucciones precisas que a partir de unos inputs y mediante un proceso general generan unos resultados (outputs) consistentes. En informática es habitual encontrar ejemplos de algoritmos, como el de búsqueda binaria utilizado por buscadores, el de PageRank diseñado por Google para determinar la posición de una página web en función de la cantidad y calidad de los enlaces que dirigen a ella o los de los sistemas de IA. Respecto a la definición de IA, si bien hubo intentos anteriores a la publicación del Reglamento de Inteligencia Artificial (RIA) de establecer una definición concreta para este concepto, finalmente se ha adoptado en el artículo 3.1 del RIA la siguiente definición: "Un sistema basado en una máquina diseñado para funcionar con distintos niveles de autonomía, que puede mostrar capacidad de adaptación tras el despliegue y que, para objetivos explícitos o implícitos, infiere de la información de entrada que recibe la manera de generar información de salida, como predicciones, contenidos, recomendaciones o decisiones, que puede influir en entornos físicos o virtuales". Por su parte, la Comisión Europea ha publicado recientemente unas directrices sobre la definición de sistema de IA, donde se explica la aplicación práctica del concepto jurídico recogido en el RIA. Un tercer concepto, relacionado pero distinto al de sistema IA, es el de modelo de IA. En los estándares ISO/IEC 22989 (conceptos y terminología de IA) se define como modelo a la "Representación física, matemática o lógica de un sistema, entidad, fenómeno, proceso o dato". Por su parte, la Organización de Cooperación y Desarrollo Económico (OECD) en su Paper de Inteligencia Artificial Nro. 8 describe a los modelos de IA como "Un componente central de un sistema de IA utilizado para hacer inferencias a partir de entradas para producir salidas [que] incluyen, entre otros, modelos estadísticos y varios tipos de funciones de entrada-salida (como árboles de decisión y redes neuronales)". Por lo tanto y en resumen: Todos los sistemas de IA utilizan algoritmos, que son parte de un sistema de IA. No obstante, un sistema de IA tiene otros elementos: hardware, datos etc. 2. Concepto de sesgos Ahora vamos a poner foco en los sesgos, que pueden y suelen formar parte de un sistema de IA y también pueden ser generados por el propio algoritmo. Para ello hay que abordar ahora el concepto de sesgos, así como el de otros conceptos cercanos, pero distintos. La RAE define sesgado/da como relacionado con información 'tendenciosa' y ésta a su vez como "que manifiesta parcialidad, obedeciendo a una tendencia o idea determinadas". Por su parte, y como indica Carlos B. Fernández en el Artículo Herramientas para eliminar o reducir los sesgos en los sistemas automatizados de toma de decisiones, la Organización Internacional de Normalización (ISO) define sesgos como "el grado en que un valor de referencia se desvía de la verdad". "En este contexto, se dice que un sistema de IA está sesgado cuando muestra un comportamiento sistemáticamente inexacto". A su vez, en los estándares ISO/IEC 22989 se define a los sesgos como la "diferencia sistemática de trato de determinados objetos, personas o grupos en comparación con otros" . Por tratamiento, el estándar considera cualquier tipo de acción, incluida la percepción, observación, representación, predicción o decisión. Cuando vemos un resultado inexacto puede ser que este se derive bien de un sesgo o bien de un error. Los sesgos en Inteligencia Artificial no son simples errores aleatorios, sino que obedecen a patrones sistemáticos. Como dice el NIST: "El sesgo es un efecto que priva a un resultado estadístico de representatividad al distorsionarlo, a diferencia de un error aleatorio, que puede distorsionarlo en cualquier ocasión, pero se equilibra en promedio". Por tanto, podemos decir que, si hay predeterminación o parcialidad, y el resultado está distorsionado, hay sesgo. 3. Discriminación Igual que no debemos de confundir los errores con los sesgos tampoco debemos de confundir los sesgos con la discriminación, que es una de las posibles consecuencias de los sesgos. Y decimos una de las posibles consecuencias porque de ciertos sesgos no se habla porque no producen discriminación, pero los sesgos pueden tener efectos en decisiones que supongan consecuencias negativas, constituyan discriminación o no. La desviación de la verdad que se produce en los sesgos puede contribuir a resultados diversos: perjudiciales o discriminatorios, ser neutra, o incluso puede ser beneficiosa. —Por ejemplo: en el ámbito de la selección de personas los sistemas de IA pueden tener muchos beneficios, pero los sesgos, pueden suponer consecuencias que pueden ser tanto negativas, positivas como neutras. Un caso de sesgo negativo que podría llegar a discriminación por razón del sexo podría ser el siguiente: un sistema de IA en el que se hayan utilizado datos de entrenamiento sesgados (por ejemplo, la búsqueda de un perfil que ha desempeñado históricamente mayormente un sexo) utilizará ese sesgo en la fase de inferencia y, por tanto, producirá un resultado discriminatorio hacia ese sexo puesto que el hecho de que históricamente hayan desempeñado ese rol en un sexo no significa que lo vayan o deban desempeñar mejor en el futuro las personas de ese sexo. Pero es posible también que dicho sesgo genere un resultado positivo. —Por ejemplo, si el sistema de IA se ha entrenado con perfiles muy cualificados, el resultado (desde esa óptica) puede ser positivo pues ofrece a los candidatos más capacitados. Ahora bien, es posible que dicho 'sesgo positivo de capacitación' al beber de datos históricos de una profesión basculada históricamente hacia un sexo o una clase social pueda producir un sesgo que sea negativo y discriminatorio. Si para distinguir sesgos de errores hemos acudido a un contexto estadístico, debemos de acudir a un contexto jurídico para distinguir sesgos de discriminación. Todos los sesgos no son discriminatorios ni producen injusticias, como se cita en esta guía práctica de Rhite: "El sesgo se refiere a una diferencia sistemática en el tratamiento de ciertas personas o grupos, sin implicar necesariamente si esta diferencia es 'correcta' o 'incorrecta'. Por el contrario, la discriminación y la equidad introducen un juicio de valor sobre los resultados de un tratamiento sesgado. Un sistema de IA sesgado puede producir resultados que pueden considerarse 'discriminatorios' o 'injustos', según el contexto y los valores aplicados". El sesgo discriminatorio inadmisible generalmente se define por los tribunales como consistente en un trato desigual, entendido en términos generales como una decisión que trata a un individuo de manera menos favorable que a individuos en situación similar debido a una situación protegida. Característica como raza, sexo u otro rasgo, o como impacto dispar, que en términos generales definida como una política o práctica aparentemente neutral que daña desproporcionadamente a un grupo en un rasgo protegido. Se puede citar, entre otras, las Sentencias del Tribunal Constitucional Español (TCE) 1/2021; 253/2004; 181/2000; o las recogidas en la Guía sobre el artículo 14 del Convenio Europeo de Derechos Humanos y sobre el artículo 1 del Protocolo nº 12 del Convenio del Tribunal Europeo de Derechos Humanos. 4. Exclusión Un concepto relacionado con la discriminación, pero diferente es el de exclusión. Si la discriminación como hemos visto supone una situación de desventaja (por ejemplo considerar que alguien con una discapacidad no relacionada con el trabajo pueda ser peor candidato que otro que no tiene dicha discapacidad); la exclusión es una forma de desigualdad pero que se materializa en que impide a la persona o grupo acceder a ciertos servicios o recursos (por ejemplo pensemos en un sistema de IA que no contempla opciones de vehículos adaptados para personas con determinadas discapacidades y los excluye). Por tanto, todos los errores no son sesgos y todos los sesgos no son negativos ni todos los sesgos negativos son discriminatorios, ni toda discriminación produce exclusión. La discriminación en el ámbito de la IA se produce cuando un sistema de IA trata de manera injusta a ciertos grupos o individuos, lo que puede deberse al sesgo, bien en los datos utilizados, en el algoritmo y/o en las personas que lo programan, nutren y/o supervisan. 5. Equidad Finalmente hay otro concepto diferente y relacionado que es la equidad o justicia. Como se expone en la guía de Rhite después de indicar que en el contexto de la IA, la injusticia puede entenderse como el "trato diferencial injustificado que beneficia preferentemente a ciertos grupos sobre otros" (ISO/IEC 22989:2022, 2022) "la equidad, por lo tanto, es la ausencia de tal trato diferencial injustificado o prejuicio hacia cualquier individuo o grupo". La equidad no significa que deba de tratarse de forma distinta a diferentes personas o grupos pero que sí que es posible que deba de hacerse ese trato diferente para precisamente conseguir corregir desequilibrios o una representación incorrecta que suponen una injusticia. Robert Wood Johnson Foundation | RWJF Telefónica Tech Sesgos en la IA (II): Clasificación de los sesgos 24 de febrero de 2025 Telefónica Tech Sesgos en la IA (III): Clasificación de la discriminación 12 de marzo de 2025 Telefónica Tech Sesgos en la IA (IV): Gestión de los riesgos e impacto 25 de marzo de 2025 Telefónica Tech Sesgos en la IA (V): Introducción de los riesgos en el ciclo de vida de los sistemas de IA (parte 1) 7 de abril de 2025 Telefónica Tech Sesgos en la IA (VI): Introducción de los riesgos en el ciclo de vida de los sistemas de IA (parte 2) 22 de abril de 2025 Telefónica Tech Sesgos en la IA (VII): El factor humano 7 de mayo de 2025

1. Introducción El Reglamento de Inteligencia Artificial (RIA) establece entre sus objetivos “mejorar el funcionamiento del mercado interior” y “promover la adopción de la inteligencia artificial centrada en el ser humano y digna de confianza” y, añade, que ello debe de ser “garantizando al mismo tiempo un elevado nivel de protección de la salud, la seguridad y los derechos fundamentales consagrados en la Carta”. Por ello la referencia a los derechos fundamentales es una constante en el mismo. El objetivo de este artículo es realizar una aproximación a alto nivel a una de las obligaciones que dispone el RIA para gestionar los riesgos que la Inteligencia Artificial (IA) puede suponer sobre los derechos fundamentales: las Evaluaciones de impacto sobre los derechos fundamentales en ciertos sistemas de IA de alto riesgo (también conocidas como evaluaciones de impacto algorítmico, AIA; o fundamental rights and algorithm impact assessment, FRAIA, abreviatura que utilizaremos). Estas tienen como objetivo que el responsable del despliegue identifique los riesgos específicos para los derechos de las personas o grupos de personas que puedan verse afectados, e identifique las medidas que deben adoptarse en caso de que se materialicen estos riesgos. No abordaremos las diversas intersecciones con protección de datos que serán objeto de otros artículos de esta serie, algunas de ellas también se proyectan sobre las FRAIA y las PIA (Privacy Impact Assestment). Aunque la reciente eclosión de la IA ha supuesto la necesidad de adopción de una regulación a nivel europeo (el RIA, del que ya pudimos ver una introducción en el primer artículo de esta serie dedicada al mismo, “Una introducción al Reglamento de Inteligencia Artificial (RIA)”), ya hace tiempo que los derechos humanos existen y hay precedentes de evaluaciones de impacto tanto sobre los derechos humanos (EIDH), de impacto social (EIS), éticas (EIE), así como sobre algún derecho concreto, como el ampliamente conocido ejemplo de la protección de datos de carácter personal. También ha habido ya metodologías y herramientas específicamente aplicadas a los sistemas de IA, pero el RIA ha apostado por un modelo concreto en su artículo 27: las FRAIA. El RIA se basa en un enfoque basado en riesgos que consiste, resumidamente, en: “prohibir determinadas prácticas inaceptables de inteligencia artificial, establecer requisitos para los sistemas de IA de alto riesgo y obligaciones para los operadores correspondientes, y establecer obligaciones de transparencia para determinados sistemas de IA”. El sistema de gestión de riesgos establecido para toda solución de IA de Alto Riesgo (artículo 9 RIA), exige al proveedor tener los riesgos documentados, pero evidentemente no podrán ser aterrizados al caso de uso concreto de la empresa que los despliegue, sino a nivel de lo razonablemente previsiblemente y que deberá actualizarse conforme la monitorización del mercado. En cambio, las FRAIA (artículo 27) sí que parecen orientadas a analizar los riesgos al caso de uso concreto, aunque únicamente conectado con el ejercicio de funciones públicas y otros supuestos concretos que después se indican. Una vez realizada esta introducción, centrémonos en las FRAIA. 2. Obligados a llevar a cabo las FRAIA En cuanto a los obligados a llevarla a cabo, el RIA matiza que esta obligación aplica a determinados responsables del despliegue concretos: Por un lado deberán realizarla los organismos de Derecho Público (importante tener en cuenta las Leyes 39 y 40/2015) respecto de todos los sistemas de IA que sean de alto riesgo. Por otro lado, los operadores privados que presten servicios públicos (de nuevo importante considerar las Leyes 39 y 40/2015) respecto de los sistemas de IA referidos a esos servicios públicos. De hecho, el Considerando 96 pone algunos ejemplos pero que no pueden entenderse como un numerus clausus. Y por otro lado (independientemente del carácter público o privado de dichas entidades) y por razón del objetivo de los sistemas, los responsables del despliegue de sistemas de alto riesgo a que se refiere el punto 5 letras b) y c) del anexo III que son: Sistemas de IA destinados a ser utilizados para evaluar la solvencia de personas físicas o establecer su puntuación crediticia, con la excepción de los sistemas de IA utilizados con el fin de detectar fraudes financieros. El considerando 96 pone como ejemplos las “entidades bancarias o aseguradoras”. Sistemas de IA destinados a ser utilizados para la evaluación de riesgos y la fijación de precios en relación con las personas físicas en el caso de los seguros de vida y de salud. 3. Cuándo se debe de realiza r la FRAIA El apartado primero del artículo 27 del RIA dispone que esta debe de realizarse “antes de desplegar un sistema de IA de alto riesgo” y el apartado segundo añade que la misma “aplica al primer uso del sistema de IA de alto riesgo”. Asimismo, el artículo 27 en su apartado dos añade: “Si, durante el uso del sistema de IA de alto riesgo, el implantador considera que alguno de los factores enumerados en el apartado 1 cambian o ya no están actualizados, el responsable del despliegue tomará las medidas necesarias para actualizar la información”. 4. Propuesta de pasos a realizar en una FRAIA A continuación, comentamos sucintamente una serie de pasos sugeridos para realizar una FRAIA que es, en sí misma, un proceso que tiene diversas fases dispuestas en un PDCA (acrónimo en inglés que hace referencia al ciclo de planificar, hacer, controlar y actuar) y que a su vez se pueden integrar en el plan de acción en un sistema de gestión de inteligencia artificial; y este, a su vez, podrá y será habitual que se integre en otros sistemas de gestión, por ejemplo, en un sistema de gestión de seguridad de la información (como por ejemplo una ISO 27001 o un ENS). No obstante, aquí hacemos referencia al PDCA en sí mismo que constituye la propia FRAIA. Fase Preliminar: ¿una pre FRAIA? La necesidad de acotar el alcance de los posibles derechos afectados por el sistema de IA nos lleva a la conveniencia de realizar una PreFRAIA, de forma similar a como en protección de datos venimos realizando prePIAs para, no solo acotar los derechos afectados, sino incluso plantearnos si la relevancia o peso desmedido de alguno de ellos en el proyecto aconseja realizar una evaluación de impacto específica sobre esa materia, separada de la general FRAIA; sin perjuicio de que en mi opinión debería de intentar tenderse a realizar FRAIA integradas. Fase 1: Análisis preliminar sobre la necesidad de realizar una FRAIA y concreción de los Sistemas y derechos afectados (determinación inicial del alcance) En primer lugar, dispondremos de un inventario de los sistemas dentro del alcance. En cuanto a los sistemas que deben de ser objeto de FRAIA son los de alto riesgo. Por lo que respecta al análisis de los derechos fundamentales en los que debe de centrarse la evaluación se puede realizar sobre la base del conocimiento del Sistema de IA, del RIA y a nivel operativo con un check list sin mucho trabajo de campo ni implicación de las partes interesadas. Fase 2: Contexto, planificación y detalle dentro del alcance Antes de iniciar una FRAIA debemos de disponer de la información necesaria sobre el contexto del sistema de IA, determinar el equipo que la va a llevar a cabo, la metodología y las fuentes de requisitos a utilizar. Asimismo, y aunque no lo exija el RIA, dado que cabe la posibilidad de realizar una EIPD (Evaluación de Impacto en la Protección de Datos) conjuntamente con una FRAIA, debería de disponerse al menos de una descripción del tratamiento de los datos personales realizado. Fase 3: Necesidad, proporcionalidad y calidad de los datos A diferencia de los sistemas de IA de alto riesgo que traten datos personales, que conllevan un análisis sobre necesidad y proporcionalidad, el RIA no contempla esta obligación en las FRAIA. No obstante, en mi opinión, al igual que se ha realizado por parte de algunas metodologías, en todos los sistemas de IA de alto riesgo (traten datos personales o no) sí que requiere que haya un “momento” en el que se analicen la necesidad y proporcionalidad, valorando los aspectos que se han tenido en cuenta para implantar el sistema de IA, considerando aspectos tales como: qué criterios se han adoptado para tomar la decisión de utilizar dichos sistemas de IA de alto riesgo, por qué se ha decidido precisamente esa IA y no otra, enumerar alternativas no algorítmicas que se hayan barajado, que se ha realizado una aproximación previa sobre los beneficios y sacrificios que ello supone (ponderación que tiene grandes diferencias entre el ámbito público y el privado), etc. Fase 4. Gestión de riesgos La gestión de riesgos es la parte central de cualquier evaluación de impacto y, por tanto, también de las FRAIA. Atendiendo a la naturaleza del riesgo, deberán adoptarse salvaguardas o controles, que pueden incorporar medidas para bajar dicho riesgo inicial hasta el umbral de riesgo aceptable de tal forma que la conclusión a la que deberá de llegar la FRAIA es si, dados unos riesgos iniciales, aplicando las medidas o controles oportunos, seremos capaces de que el riesgo residual sea inferior al riesgo aceptable. 5. Comunicación a la autoridad Una vez realizada la FRAIA “el responsable del despliegue notificará a la autoridad de vigilancia del mercado los resultados de la evaluación, presentando la plantilla cumplimentada a que se refiere el apartado 5 como parte de la notificación” (Artículo 27.3). 6. Posible comunicación a las partes interesadas y publicación El RIA no contempla la comunicación a las partes interesadas ni la publicación de los resultados de la FRAIA, pero si se pretende conseguir confianza, transparencia y, en el caso del sector público y la participación ciudadana, quizá debe considerarse buena práctica la publicación y comunicación a las partes interesadas, lo que podría contribuir a mejorar los sistemas como la reducción de sesgos. Como es posible que haya información que bien por cuestiones de confidencialidad del negocio, propiedad intelectual o seguridad no quieran o deban publicarse, cabría publicar una versión resumida o suprimiendo dichos aspectos. ◾ MÁS DE ESTA SERIE Cyber Security AI of Things El ámbito de aplicación del Reglamento de Inteligencia Artificial (RIA) 16 de abril de 2024 Cyber Security AI of Things Prácticas de IA prohibidas en el Reglamento de Inteligencia Artificial (RIA) 2 de mayo de 2024 Cyber Security AI of Things Los sistemas de IA de Alto Riesgo en el Reglamento de Inteligencia Artificial (RIA) 9 de mayo de 2024 Imagen de DC Studio / Freepik.

La irrupción de la Inteligencia Artificial (IA) Generativa ha supuesto un punto de inflexión a todos los niveles, no sólo por las posibilidades que ofrece sino también por su acceso de forma masiva. En la actualidad, prácticamente todas las grandes empresas tecnológicas están trabajando en soluciones de IA Generativa e incluso ya aparece de forma integrada en diversos productos (como por ejemplo, Bard en Google y ChatGPT en Bing y Office). La gran característica de la IA Generativa consiste en la capacidad de crear contenido nuevo, de proporcionar una solución o resultado a partir de otros problemas o situaciones, sin que se le haya enseñado o entrenado específicamente sobre ese problema. Para las empresas la cuestión no debe centrarse en si adoptar o no la IA Generativa, sino en cómo adoptarla. Ya hemos hablado del cambio de paradigma que supone la IA Generativa, tanto para la sociedad como para la industria. Un estudio realizado por KPMG afirma que el 77% de los líderes empresariales considera que la IA generativa es la tecnología emergente que tendrá el mayor impacto en el negocio en los próximos 3 a 5 años, por delante de otras capacidades tecnológicas como la robótica avanzada, la computación cuántica, la realidad aumentada/realidad virtual (AR/VR), 5G y Blockchain. A la par, el estudio también refleja que, a pesar de todo el entusiasmo que suscita la IA generativa, la mayoría de líderes empresariales no se sienten preparados para adoptar la tecnología o aprovechar todo su potencial. Según se indica, el 69% prevé pasar los próximos 6 a 12 meses centrados en aumentar la comprensión de los objetivos y estrategias para la adopción generativa, como prioridad absoluta. Nos centraremos en el presente artículo en analizar las cuestiones que deben tener en cuenta las empresas a la hora de tomar la decisión de utilizar este tipo de herramientas basadas en IA Generativa para poder aprovechar sus beneficios pero gestionando los riesgos que conllevan. Guía para implantar en las empresas herramientas basadas en IA Generativa (como ChatGPT) El equipo que lidera el Centro de Competencia de Tecnologías Emergentes de Govertis (y que es parte de Telefónica Tech) ha podido percibir una importante falta de planificación y estudio a la hora de decidir e incorporar este tipo de soluciones en el catálogo de herramientas corporativas, por lo que diseñó una hoja de ruta a modo de guía con los pasos que debería seguir toda entidad que esté pensando en implantar Chat GPT u otras soluciones basadas en IA Generativa. Se trata de una decisión que no puede tomarse de forma aislada, sino que se ha de adoptar de forma meditada, desarrollando una planificación e implementando un sistema de gobernanza, que permita la gestión de riesgos, tanto técnicos, como legales y también, reputacionales. En esta línea, el estudio The power of AI and generative AI: what boards should know (2023) de PWC destaca la importancia de desarrollar un enfoque a nivel de Consejo de dirección en materia de IA, precisamente porque existen riesgos que deben ser supervisados y gestionados a nivel de estrategia corporativa. El 69% de los directivos no se sienten preparados para adoptar la IA Generativa o aprovechar todo su potencial. Aunque con un ámbito de aplicación determinado, recordemos que la Directiva relativa a las medidas destinadas a garantizar un elevado nivel común de Ciberseguridad y por la que se deroga la Directiva (UE) 2016/1148, conocida como Directiva NIS 2, que actualiza las deficiencias que ha puesto de manifiesto la Directiva NIS ante los nuevos retos fruto de la transformación digital de la sociedad. Entre sus novedades ha incluido la responsabilidad de los órganos de dirección de las entidades esenciales e importantes en cuanto a la gestión de riesgos de Ciberseguridad, debiendo supervisar su puesta en práctica y responder por el incumplimiento por parte de las entidades de dichas obligaciones. Incluso se establece la obligación de que los miembros de los órganos de dirección de las entidades esenciales e importantes asistan a formaciones sobre la materia. Por tanto, a la hora de integrar una solución de IA Generativa en la compañía, a nuestro entender deben abordarse las siguientes cuestiones: 1. Enfoque integral y liderazgo a alto nivel La IA no se trata de una cuestión que debe abordar un determinado departamento o área de la compañía, sino que debe ser liderada al más alto nivel y abordada a partir de una estrategia corporativa que establezca los medios para gestionar los riesgos derivados de su implementación y supervise su gestión. 2. Implantación de las bases necesarias Adoptar una herramienta de IA generativa implica necesariamente una serie de pasos previos que sienten las bases necesarias para poner en marcha su utilización, tanto a nivel estratégico de Dirección, de capacidades tecnológicas que puedan soportar dicho sistema, como de formación del personal y configuración de equipos. Resulta muy importante la comunicación interna, de forma que todo el personal de la compañía sea conocedor y partícipe de la estrategia corporativa y de las normas de uso de estas herramientas. 3. Sistema de gobernanza La adopción de una herramienta de IA Generativa implica múltiples riesgos, de diferente naturaleza, que deben ser gestionados de forma periódica y sistémica. Ello implicará establecer las bases necesarias, a nivel humano y tecnológico, que permitan la toma de decisiones e implantación de un sistema de gobernanza para poder gestionar todos los riesgos asociados. 4. Cumplimiento normativo Son múltiples las normas que confluyen en un sistema de gobernanza y no es tarea fácil cumplir de manera eficiente con el mapa normativo. Es por ello que debe establecerse una coordinación clara entre los diversos roles responsables del cumplimiento, como el Delegado de Protección de Datos, Responsable de cumplimiento o Compliance Officer, director de seguridad de la información y Ciberseguridad o CISO y sus respectivas áreas de actuación. Destacar en este punto la propuesta de Reglamento europeo en materia de Inteligencia Artificial que establece diferentes requerimientos normativos en función del sistema de IA que se adopte. En relación a las soluciones de IA Generativa el texto actual establece obligaciones muy similares a las requeridas para los sistemas de alto riesgo. 5. Riesgos que deben gestionarse Sin ánimo de exhaustividad, los principales riesgos que deben ser abordados son: Ciberseguridad: Ante el aumento exponencial de las vulnerabilidades de seguridad y la sofisticación de las mismas, la Ciberseguridad ocupa un lugar primordial en la gestión de riesgos. Protección de datos: Resulta imprescindible establecer las bases necesarias respecto a la información que pueda ser utilizada por el sistema de IA Generativa, para garantizar la no inclusión de datos personales. Propiedad intelectual e industrial, secretos comerciales: Además de cumplir con la normativa de protección de datos, la información de la compañía es un activo muy importante que debe ser adecuadamente protegido y que debe de asegurarse a la hora de utilizar esta tecnología. Responsabilidad legal: El uso de IA Generativa puede suscitar cuestiones en materia de propiedad intelectual e Industrial por el uso no autorizado de contenidos protegidos por dicha normativa. De hecho, Microsoft recientemente ha anunciado la ampliación de sus compromisos con el cliente en materia de IA, incluyendo las demandas o reclamaciones en materia de propiedad intelectual por el uso de Copilot. Información incorrecta o sesgada: Es imprescindible formar a los empleados en el uso de las herramientas de IA Generativa que se pongan a su disposición mediante unas normas de uso claras que especifiquen en qué casos pueden utilizarse y cómo utilizar e interpretar sus resultados. Riesgos reputacionales: En el caso de que ocurra un problema que impacte directamente en la reputación de la entidad, deben existir planes que gestionen dicha crisis, especialmente a nivel de comunicación. No hay duda sobre las posibilidades que ofrece la IA Generativa a nivel corporativo, por lo que las cuestiones deben centrarse, no en si abrazar o no el avance tecnológico, sino en cómo abordarlo. Para ello, es imprescindible que los órganos de gobierno de las empresas lideren y supervisen la adopción e implementación de este tipo de herramientas, desarrollando la debida estrategia, disponiendo los medios necesarios y contando con el asesoramiento y supervisión de los correspondientes responsables internos y profesionales externos que se requieran. Foto de Steve Johnson en Unsplash. IA & Data La responsabilidad desde el diseño aplicado a la IA 10 de julio de 2023

Ante la transposición de la conocida Directiva Whistleblowing, a través de la Ley 2/2023, de 20 de febrero, reguladora de la protección de las personas que informen sobre infracciones normativas y de lucha contra la corrupción y su inminente entrada en aplicación para las organizaciones de mayor volumen a mediados del mes de junio debemos plantearnos cómo se debe implantar un Sistema Interno de Información que sirva para el cumplimiento de los objetivos de compliance que la organización (Administración Pública o empresa privada) se haya establecido. Una de las principales cuestiones que deben de abordarse en cualquier sistema interno de información para que sea eficaz es la siguiente: ¿quién debería tener acceso al “canal de denuncias”? Y, relacionado con lo anterior, ¿cómo y dónde debe de publicarse? Con carácter previo a la existencia de la Ley 2/2023, la Agencia Española de Protección de Datos (en adelante AEPD) ya se había preocupado de los criterios de transparencia que deberían regir el Sistema Interno de Información. Si bien ceñido a los empleados, por lo que trató este tema en la Guía de “Protección de Datos en las relaciones laborales”. En ella, y refiriéndose a “la existencia de estos sistemas y del tratamiento de los datos que conlleva la formulación de una denuncia”, señalaba que “la información reviste en este caso un carácter primordial”. La AEPD fijaba que dicha información podría ofrecerse desde distintas vías: En el propio contrato de trabajo. En circulares informativas. De forma individual o colectiva al implementar o modificar el sistema. Ahora la Ley 2/2023 establece un criterio para garantizar la eficacia del sistema de información, y no hablamos únicamente del tratamiento de los datos personales, pero de nuevo nos lleva a la información y, por tanto, a la transparencia. Es decir, no solamente debe informarse en los términos de los artículos 13 y/o 14 del RGPD, sino que debe informarse de cómo se debe usar el canal y qué principios lo rigen. Si la AEPD comentaba distintas vías de información, el legislador ha dado un paso más y obliga a que las entidades lo publiquen en su propia página web, y no de cualquier manera, sino enlazada a su página de inicio “en una sección separada y fácilmente identificable”. Foto: Anh Tuan To / Unsplash Análisis del artículo 25 de la Ley 2/2023 de 20 de febrero, reguladora de la protección de las personas que informen sobre infracciones normativas y de lucha contra la corrupción El artículo 25 establece que: “Los sujetos comprendidos dentro del ámbito de aplicación de esta ley proporcionarán la información adecuada de forma clara y fácilmente accesible, sobre el uso de todo canal interno de información que hayan implantado, así como sobre los principios esenciales del procedimiento de gestión. En caso de contar con una página web, dicha información deberá constar en la página de inicio, en una sección separada y fácilmente identificable.” Lo que podemos entender de la literalidad del artículo, es que todos los sujetos obligados —cualquiera que sea su naturaleza jurídica— deben de publicar la información que permita el uso de su canal de denuncias en la página web. ¿Está señalando la Ley que deba publicarse el enlace o el formulario desde donde hacer la denuncia? Si atendemos a la literalidad de la norma, consideramos que NO. En esa sección “separada y fácilmente identificable” se deben incluir las instrucciones necesarias para que las partes interesadas hagan uso de los canales de los que dispone el sistema interno de información y poder comunicar los hechos que puedan ser o bien constitutivos de una infracción grave penal o administrativa, o bien de cualesquiera infracciones del derecho de la UE, así como los principios esenciales del procedimiento de gestión del canal de conformidad con el artículo 9 de esta Ley. Por tanto, si no existe obligación de publicar el canal en la página web y debe de facilitarse información sobre el mismo y también su acceso, habría que analizar, teniendo en cuenta los posibles informantes, cuáles son los medios más idóneos sobre su ubicación según las diversas personas informantes. Foto: Anh Tuan To / Unsplash ¿Cuáles son los posibles espacios de ubicación del canal según los diversos posibles informantes? Haciendo un análisis de todos los posibles informantes que pueden hacer uso del canal, entendemos que se podrían plantear, al menos, los siguientes mecanismos: Para todos los trabajadores o empleados públicos, becarios, trabajadores en período de formación, extrabajadores, etc. la mejor ubicación del canal sería ponerlo a su disposición en la Intranet de la empresa. Pero ¿qué ocurre si no tenemos intranet? ¿Qué ocurre con aquellos cuya relación laboral todavía no ha empezado o ya ha terminado? La solución más sencilla para la organización sería habilitar un espacio en la página web de la Entidad poniéndolo a disposición de todas esas personas que no guardan ninguna relación formal con la Entidad al momento de informar sobre cualquier tipo de infracción prevista en el ámbito material de la norma. Con respecto de los accionistas, partícipes y personas pertenecientes al órgano de administración, dirección o supervisión de una empresa, incluidos miembros no ejecutivos, entendemos que podríamos mantener el mismo criterio anterior. Por último, para el caso de cualquier persona que trabaje para o bajo la supervisión y la dirección de contratistas, subcontratistas y proveedores, o autónomos, podría haber varias soluciones. Como éstos no forman parte de la organización, podría ponerse a su disposición, bien la plataforma utilizada por la organización para la coordinación de actividades empresariales, bien la plataforma utilizada por la organización para la selección y control de los proveedores, o bien propia página web de la organización, con las posibles ventajas e inconvenientes como ahora veremos. Además de lo anterior y analizando punto por punto las personas que se determinan dentro del alcance de la norma, no debería perderse el foco en que, incluso el Código Penal determina, como parte del modelo de prevención de delitos, la necesidad de que exista un instrumento de comunicación para que, cualquier persona que conozca un hecho que pueda suponer responsabilidad penal a la persona jurídica, pueda ponerlo en conocimiento de la organización. Por lo que existe un alto interés de la organización de que, cualquiera que pudiera conocer de un posible hecho delictivo dentro de la misma, pueda acceder de la forma más fácil y rápida posible a los canales internos de información puestos a su disposición. Foto: Anh Tuan To / Unsplash Ventajas e inconvenientes de publicar el enlace “en abierto” Partiendo de la base de que para que Sistema funcione ha de ser conocido por todos los sujetos antes mencionados y que potencialmente pueden informar sobre hechos dentro del ámbito de aplicación de la norma, debemos preguntarnos las ventajas e inconvenientes que puede ocasionar la publicación en abierto del enlace que permita hacer una denuncia, teniendo en cuenta los medios de los que dispone cada organización para la gestión de las informaciones. La publicación en abierto del formulario que permita la comunicación del informante desde su propia página web va a tener un impacto, a nivel de transparencia, muy positivo, en tanto que va a permitir el acceso, con una simple búsqueda en internet; esto es, sin necesidad de acudir a la intranet o a otras vías por parte de aquellas personas que no pertenezcan a la organización. El principal inconveniente de la publicación en abierto del formulario de contacto del canal de denuncias es el uso incorrecto que se le puede dar a éste. Es decir, que se comuniquen hechos que no estén en el ámbito de aplicación material; que se utilice para canalizar informaciones que deberían de dirigirse a otros buzones, o recepción de spam. Cyber Security Nuestra historia con Govertis 26 de agosto de 2020 Conclusión El primer objetivo de la organización debe ser que los diversos posibles informantes conozcan la existencia de estos sistemas de información. Esto exige buscar las mejores vías para informarles de ello: ser transparentes, pero adaptándonos a cada colectivo específico. Pero también hay que alentar la confianza del informante para que haga uso del canal interno de información evitando el riesgo de que se utilice por su parte canales que no sean los establecidos por la organización, que lo comuniquen a miembros del personal no responsable del tratamiento, hagan uso de canales externos o que, al no ver satisfechas sus pretensiones recurran a la revelación pública de los hechos. Es por ello, que la exposición del formulario o enlace al canal será un criterio que favorezca la eficacia de la implantación del modelo o sistema interno de información, pero que exigirá gestionar los riesgos que hemos indicado, En todo caso, resulta indispensable que se determine de forma adecuada los criterios de uso y los principios que han de regir el sistema interno de información, de cuya publicación, cualquier entidad está obligada a establecer. Desde Govertis-Telefónica Tech, ponemos ayudar a cualquier organización, pública o privada a establecer el Sistema Interno de Información, facilitando incluso, a través de Sandas, una herramienta alineada con las mejores prácticas y estándares, como, por ejemplo, UNE-ISO 37002 así como los requisitos establecidos en la citada Ley 2/2023 y la Directiva. Foto de apertura: Anh Tuan To / Unsplash