Sesgos en la IA (VI): Introducción de los riesgos en el ciclo de vida de los sistemas de IA (parte 2)

Continuando con el artículo anterior donde explorábamos las fases iniciales del ciclo de vida de la IA, en esta segunda fase abordamos las fases que se inician con la puesta en producción del Sistema de IA: el despliegue, la operación, la validación continua, la reevaluación y, finalmente, su retirada.

Fase 4. Fase de despliegue o implementación

Es en esta fase donde los responsables del despliegue ya trabajan con esta tecnología pues pasan del desarrollo a su implantación en el entorno de producción.

El sesgo de implementación se produce si el sistema se implementa en un entorno que no refleja las condiciones del entrenamiento, ya que puede comportarse de manera sesgada. Por ejemplo, un sistema de traducción automática entrenado principalmente con textos formales puede no funcionar bien con lenguaje coloquial. Las trampas de abstracción también son propias de esta fase.

El sesgo de implementación ocurre si el entorno de producción no refleja las condiciones del entrenamiento.

Fase 5. Fase de operación y monitorización

En esta etapa con los sistemas en producción (operando) se requiere una supervisión constante y ajustes en hardware, software, algoritmos y datos para mantener su rendimiento óptimo.

En el caso de sistemas que utilizan aprendizaje continuo como los asistentes virtuales y vehículos autónomos, aprenden y se actualizan continuamente a partir de las interacciones de los usuarios y nuevas experiencias. Este aprendizaje constante puede aumentar el riesgo de introducir o amplificar sesgos en comparación con sistemas basados en reglas predefinidas que no aprenden de forma continua.

El aprendizaje continuo puede aumentar el riesgo de sesgos en comparación con sistemas basados en reglas predefinidas.

Un desafío crítico en esta fase es el bucle de retroalimentación de refuerzo que ocurre cuando un sistema de IA es reentrenado con datos que contienen sesgos no corregidos, perpetuando y amplificando dichos sesgos en futuras decisiones, por ejemplo, el sesgo de automatización que puede tener un efecto multiplicador. Para ello hay que establecer mecanismos de retroalimentación continua para identificar posibles sesgos y corregirlos en tiempo real.

Fase 6. Validación continua

La 'validación continua' consiste en evaluar regularmente el modelo con nuevos datos para ver si continúa siendo preciso.

Por tanto, la validación continua se puede realizar en sistemas de IA donde no aplica el aprendizaje continuo para, por ejemplo, “detectar desviaciones de datos, de conceptos o para detectar cualquier mal funcionamiento técnico” (ISO/IEC 5338), pero es especialmente relevante con nuevos datos por lo que es fundamental en los supuestos de aprendizaje continuo donde el reentrenamiento existe aunque no sea explícito.

En los sistemas con aprendizaje continuo, los modelos integran nuevos datos de forma continua sin un reentrenamiento explícito, por lo que es fundamental tanto comprobar la coherencia de los datos en producción con los iniciales del entrenamiento como tener que actualizar los propios datos de prueba.

Por tanto, los principales sesgos en esta fase son los sesgos de los datos, de entre los que cabe destacar los de representación, selección, medición, el de etiquetado y el de proxies, por lo que habrá que poner especial foco en las medidas para gestionarlos en esta fase.

El bucle de retroalimentación de refuerzo perpetúa y amplifica sesgos en futuras decisiones.

Fase 7. Reevaluación

A diferencia del monitoreo y validación continua que se refieren a ajustes constantes cada uno con la finalidad que hemos visto, la de reevaluación es un proceso más profundo y exhaustivo.

Aparte de los sesgos de evaluación y las trampas de abstracción que ya conocemos, y que en estas fases pueden servir para refinar el sistema con decisiones, hay varios propios de esta fase: la falacia del costo volcado a la suma (continuar invirtiendo recursos en una decisión pasada debido a las inversiones ya realizadas, aunque abandonarla sería más beneficioso); o el sesgo de statu quo (preferencia por mantener la situación actual, evitando cambios incluso cuando las alternativas podrían ser más favorables).

■ En ambos casos, es fundamental que las partes interesadas lo conozcan, reconozcan y tomen decisiones al respeto.

Fase 8. Retiro

Incluso si se toma la decisión de retirar el sistema, lo que puede deberse a diferentes motivos (no sirve a los propósitos, se ha buscado otra solución, se entiende que no es justo, etc.) ello puede producir un sesgo conocido como sesgo histórico dado que el sistema se ha entrenado con datos históricos sesgados que se replican.

—Un ejemplo son los algoritmos de recomendación de noticias que se puedan basar en aquellas más relevantes, aunque quizá no sean más verídicas o contrastadas. Obviamente al que era usuario de ese sistema ya no le afectará, pero que les afectará a otros usuarios del sistema de IA que lo adquieran o usen.

En conclusión, podemos observar la importancia de identificar los sesgos que pueden introducirse en las distintas fases del ciclo de vida de la IA con el objetivo de corregirlos y mitigarlos. En este sentido, en cada fase se pueden presentar diferentes tipos de sesgos que serán tratados de forma específica según la fase y su tipo.