Sesgos en la IA (V): Introducción de los riesgos en el ciclo de vida de los sistemas de IA (parte 1)

En el artículo anterior de esta serie y después de habernos introducido en el concepto de sesgos y su taxonomía, así como analizado diversos conceptos “cercanos” empezamos a abordar los aspectos relativos a la gestión de los riesgos asociados a los mismos, empezando por lo relativo a los impactos.

No obstante, al hablar de gestión de riesgos, el primer paso en cualquier estrategia de gestión de riesgos es identificarlos, para lo cual —aplicado a los sesgos— se trata de identificar las fuentes de sesgo y estas se pueden introducir en diversas fases del sistema de IA, por lo que es necesario entender como “entran” dichos sesgos en las diferentes etapas del ciclo de vida de los sistemas de IA.

Como dice el Instituto Nacional de Estándares y Tecnología (NIST por sus siglas en inglés) las organizaciones que diseñan y desarrollan la tecnología de IA utilizan el ciclo de vida de la IA para realizar un seguimiento de sus procesos y asegurar que la tecnología sea funcional, pero no necesariamente para identificar posibles riesgos y daños y su gestión.

Las organizaciones que desarrollan tecnología de IA usan el ciclo de vida de la IA para asegurar su funcionalidad, pero no necesariamente para identificar riesgos y daños.

Asimismo, y cuando se abordan los sesgos, los enfoques actuales tienden a clasificar el sesgo por tipo ( estadístico, cognitivo, etc.), o caso de uso y sector industrial (contratación, atención sanitaria, etc.), pero con ello es posible que no proporcionen la amplia perspectiva necesaria para gestionar eficazmente el sesgo como el fenómeno específico del contexto que es.

Por ello, el documento del NIST propone un enfoque para gestionar y reducir los efectos de los sesgos perjudiciales en todos los contextos teniendo en cuenta los lugares clave dentro de las etapas del ciclo de vida de un sistema de IA.

Fases del ciclo de vida de los sistemas de IA

Identificar las fuentes de sesgo es el primer paso en cualquier estrategia de mitigación de sesgos y como hemos indicado las fuentes de sesgos se pueden introducir en diversas fases del sistema de IA. Para ello debemos de conocer cuáles son sus fases y a su vez esto habría que ponerlo en relación con los diferentes operadores.

El desarrollo de un sistema de IA tiene tres fases básicas, que son: prediseño, diseño y desarrollo y, prueba y evaluación (tal y como las define el NIST). A su vez, se pueden considerar otras fases, tal como hace la ISO 22989: Inicio, diseño y desarrollo, verificación y validación, despliegue/implementación, operación y monitorización, validación continua, reevaluación y retiro.

■ El hecho de que ISO 22989 añada otras fases no significan que NIST ignore su importancia; más bien, estas pueden estar implícitas o consideradas dentro de un marco operativo más amplio.

Fase 1. Fase de inicio: prediseño o definición del alcance

Los sistemas de IA comienzan en la fase de prediseño, clave para establecer las bases que determinarán su eficacia y equidad, en la que se incluyen los siguientes hitos:

• El primer paso consiste en definir claramente el problema que se pretende resolver con el sistema de IA y establecer sus objetivos.
  
  Si los objetivos del sistema están influenciados por prejuicios, el sistema reflejará esos sesgos.
  
  —Por ejemplo, si se decide que un sistema de contratación debe priorizar candidatos de ciertas universidades que podemos calificar como prestigiosas, puede excluir a candidatos igualmente cualificados de otras universidades.
  
  Este tipo de sesgo se conoce como sesgo institucional o sistémico, para mitigarlos es recomendable revisar esos posibles perjuicios introduciendo diversas medidas que van desde la revisión de los datos utilizados y evaluar los posibles impactos y para ello hay que involucrar a expertos en áreas como por ejemplo ética y derechos humanos.

Identificar las fuentes de sesgo es el primer paso en cualquier estrategia de mitigación de sesgos

• En esta etapa, se determinan los requisitos funcionales (qué debe de hacer el sistema) y no funcionales del sistema (cómo debe de comportarse). Esto incluye la recopilación de datos en cuanto al análisis de requisitos (determinar qué datos son necesarios para resolver el problema) y la recopilación preliminar (obtener datos iniciales para entender mejor el ámbito y los desafíos a los que se enfrenta).
  
  Si los datos no son lo suficientemente representativos de la población objetivo, el modelo podría aprender patrones incorrectos.
  
  —Por ejemplo, entrenar un sistema de salud con datos de una sola región puede limitar su eficacia en otras áreas con características distintas.
  
  Esta situación puede dar lugar a trampas de abstracción, que ocurren cuando se simplifica en exceso la realidad al traducirla en entradas y salidas para el sistema de IA. Las principales trampas de abstracción incluyen:
  
  
  • Trampas del formalismo: asumir que los modelos IA capturan completamente la complejidad del mundo real.
  • Trampa del efecto dominó: no anticipar como pequeños cambios en el sistema pueden tener consecuencias amplificadas en su funcionamiento.
  • Trampa del solucionismo: creer que todos los problemas pueden resolverse únicamente

Si los datos no son lo suficientemente representativos de la población objetivo, el modelo podría aprender patrones incorrectos.

• Se evalúa la viabilidad técnica, económica y operativa del proyecto para determinar si es factible desarrollar el sistema de IA propuesto.
• Se seleccionan las herramientas y plataformas tecnológicas más adecuadas para el desarrollo del sistema de IA propuesto.
• Se elabora un plan detallado que incluye cronogramas, asignación de recursos y definición de hitos, asegurando una gestión eficiente y efectiva.

Fase 2. Fase de diseño y desarrollo

Esta fase incluye a su vez las siguientes:

• Diseño
• Comprensión y preparación de datos
• Desarrollo

En esta etapa del ciclo de vida de la IA se llevan a cabo decisiones de calado como si se van a realizar determinados desarrollos o se van a adquirir, si se utilizarán soluciones de código abierto o propietario, etc.

Dada la importancia del diseño en el resultado, los sesgos de validez del constructo (de la construcción teórica para entender el problema) son especialmente importantes en esta fase. Este se produce cuando una variable no mide con previsión el constructo que se quiere representar para la construcción del sistema de IA, cuando hablamos de problemas complejos.

—Por ejemplo: imaginemos que confundimos el estatus socioeconómico con un elemento único como los ingresos, cuando realmente hay otros que pueden afectarlo como la educación, la riqueza, ocupación o prestigio, entre otros. Por tanto, hay que tener en cuenta diversas medidas de dichos elementos complejos y considerar diversas “formas” de interpretarlos, como las derivadas de diferentes visiones culturales.

Por otro lado, aquí también se procede a la comprensión y preparación de los datos, siendo en esta fase un sesgo muy común y el más tratado es el sesgo de representación.

Para ello hay que garantizar la representación correcta, pudiendo utilizar por ejemplo técnicas de muestreo.

Otros sesgos importantes en esta fase son el de sesgo de medición, el sesgo histórico, sesgo de etiquetado o el de sesgo de selección.

Durante la fase de desarrollo se construyen los modelos seleccionados y se entrenan los datos.

Al final de la fase de diseño y antes del despliegue es necesaria una evaluación exhaustiva de la mitigación de sesgo para garantizar que el sistema se mantenga dentro de los límites preespecificados.

Los principales sesgos de esta fase son los sesgos de algoritmo. La principal característica de este sesgo es que no está en los datos sino en el propio algoritmo. Ejemplos como un algoritmo de selección de personas, aunque utilice datos de entrenamiento equilibrados asigna más peso a algún criterio que no tenga que ver con el posible rendimiento.

Hay diversos tipos de sesgos de algoritmo, pero en esta fase algunos que inciden en el desarrollo son los siguientes: el sesgo de agregación, el sesgo de variable omitida y el sesgo de aprendizaje.

Como dice el NIST, al final de la fase de diseño y antes del despliegue es necesaria una evaluación exhaustiva de la mitigación de sesgo para garantizar que el sistema se mantenga dentro de los límites preespecificados, lo que debe de incluir:

• Las fuentes de sesgo identificadas.
• Las técnicas de mitigación implementadas.
• Evaluaciones de desempeño relacionadas antes de que el modelo pueda lanzarse para su implementación.

Como medidas para solucionar dichos riesgos el NIST en su informe citado menciona por ejemplo el "desafío cultural efectivo" (cultural effective challenge), una práctica que busca crear un entorno en el que los desarrolladores de tecnología puedan desafiar y cuestionar activamente los pasos en el modelado y la ingeniería para ayudar a erradicar los sesgos estadísticos y los sesgos inherentes a la toma de decisiones humanas. Aunque lo hemos incardinado en esta fase debería ser iterativo.

■ Por nuestra parte pensamos que la existencia de una “parada formal”, quizá incluso su constancia en un informe como sucede por ejemplo en las Evaluaciones de impacto en protección de datos conforme al Reglamento General de Protección de Datos (RGPD) o las Evaluaciones de Impacto Algorítmico (FRAIA) del Reglamento de Inteligencia Artificial (RIA) sería una buena forma de “obligar a realizar dicha parada” y a que tuviese el calado oportuno.

Si derivado de ello se constatase el sesgo en los algoritmos y el impacto que ello podría tener podría/debería incluso evitarse su salida a producción.

Fase 3. Fase de prueba y evaluación (verificación y validación)

La etapa de prueba y evaluación es un proceso continuo durante todo el ciclo de desarrollo de la IA. En esta fase:

• Monitorización del rendimiento del modelo en producción (es decir, monitoreo post despliegue) y realizan el mantenimiento continuo.
  
  Si las métricas de evaluación no consideran la equidad, el modelo puede parecer preciso, pero ser injusto, perpetuando y amplificando, una vez desplegado, los sesgos existentes.
  
  —Por ejemplo, un sistema de recomendación de préstamos que ha sido entrenado con datos históricos puede continuar discriminando a ciertos grupos si esos datos reflejan prácticas discriminatorias pasadas.
• Actualización del modelo con nuevos datos y proceden a las mejoras necesarias.
  
  Si las actualizaciones del sistema no consideran la equidad, pueden introducir o reforzar los sesgos existentes.
  
  —Por ejemplo, al actualizar un sistema de recomendación de productos, si se utilizan datos de compras recientes que reflejan una tendencia temporal, el sistema puede sesgarse hacia esos productos y no ofrecer una variedad equilibrada.

El informe del NIST resalta la necesidad del "desafío cultural efectivo" para eliminar los sesgos en la toma de decisiones y mejorar continuamente los modelos.

En esta fase se puede producir un sesgo denominado “sesgo de evaluación” cuando los procedimientos o métricas utilizadas para evaluar el modelo no están alineados con el contexto real de implementación. Esto puede llevar a conclusiones erróneas sobre el rendimiento y la equidad del sistema.

Por tanto, hay que adoptar medidas como, revisar y ajustar métricas, comparar los resultados del modelo con criterios externos y datos del mundo real, y fomentar la participación de todas las partes interesadas para garantizar que todos los problemas previamente identificados se resuelvan a satisfacción de todos.

■ En este artículo hemos analizado cómo los sesgos pueden introducirse en las fases iniciales del ciclo de vida de los sistemas de IA. En el próximo artículo de esta serie abordaremos el resto de fases, profundizando en los riesgos y mecanismos de control asociados a su implementación, operación y eventual reevaluación.