Sesgos en la IA (VII): El factor humano

Finalizando esta serie de artículos en el que hemos abordado los sesgos relacionados con el uso de Sistema de Inteligencia Artificial (IA), en este artículo explicaremos como existen diversos riesgos en los que el factor humano es la causa y al mismo tiempo puede ser parte de la solución.

Como hemos comentado, el factor humano está en la base de los sesgos en los sistemas de IA, pero paradójicamente también el “elemento humano” puede ayudar a reducir los riesgos derivados de los sesgos.

A continuación, resumimos los principales errores humanos y las medidas de vigilancia que los mitigan:

• Errores de programación: por parte de los desarrolladores que produzcan comportamientos inesperados la vigilancia humana podría consistir en la revisión del código por otros “pares” así como la realización de pruebas exhaustivas antes de la puesta en producción o despliegue.
• Datos de entrenamiento defectuosos: el sistema de IA puede aprender conjuntos de datos incorrectos o insuficientes que inducen patrones erróneos, sin embargo, la supervisión experta podría asegurar su precisión y suficiencia.
• Mala interpretación de los resultados: se pueden tomar decisiones incorrectas basadas en dichas interpretaciones. En estos casos, una buena formación de los usuarios que toman las decisiones y una correcta documentación del proceso y los resultados pueden ayudar a los usuarios a entender correctamente los resultados y a tomar decisiones informadas y, por tanto, mejores.
  
  Veámoslo con un ejemplo relacionado con el diagnóstico médico:
  
  —Un IA ofrece un 75 % de probabilidad de enfermedad. Si el médico lo toma como certeza, podría recetar un tratamiento excesivo. Para evitarlo, conviene una formación específica y un manual accesible que explique el significado real de esa probabilidad. De esta manera, los médicos podrán entender mejor los resultados y tomar decisiones más informadas.

• También derivado de errores humanos los sistemas de IA pueden recopilar y utilizar datos que infrinjan la legislación sobre protección de datos de carácter personal, y los roles especializados en dicho ámbito (particularmente los Delegados de Protección de Datos) pueden ayudar en el cumplimiento de las obligaciones en esta materia.

Obviamente hay otros ejemplos de errores humanos que pueden impactar en la IA y para los que a su vez la vigilancia humana puede ayudar a gestionar. Pero como hemos avanzado, el elemento humano, que está en la base de los sesgos, también puede contribuir a reducir sus riesgos. Y ello puede hacerlo de dos maneras:

1. Mediante vigilancia humana.
2. A través de la participación de las partes interesadas contando con los profesionales correspondientes.

La vigilancia humana

Según el artículo 14 del Reglamento de Inteligencia Artificial (RIA), la vigilancia humana es obligatoria en sistemas de alto riesgo y debe ser proporcional al nivel de riesgo, autonomía y contexto.

Para ello es fundamental que las personas físicas a quienes se encomiende la vigilancia humana “puedan, en función de las circunstancias y de manera proporcionada a estas”:

a) Conocer capacidades y límites del sistema

b) Evitar el sesgo de automatización

c) Interpretar correctamente la información de salida

d) Desestimar o revocar resultados erróneos

e) Detener el sistema ante anomalías

En algún caso esta supervisión humana está reforzada como en sistemas de identificación críticos mencionados en el punto 1, letra a), del anexo III¹ del RIA, donde se exige que dos personas con competencia, formación y autoridad necesarias confirmen por separado cualquier decisión basada en la IA.

Una vez analizado el tema del factor humano en general haremos referencia ahora a en concreto a lo relativo al factor humano en los sesgos, teniendo en cuenta el momento de su introducción y posibles soluciones en cada fase del ciclo de vida de la IA, para lo que tenemos en cuenta las consideraciones del NIST así como otras como la guía citada de Rhite:

1. Prediseño

• Definir objetivos con expertos en ética y derechos humanos.
• Evitar trampas de abstracción (p. ej., solucionismo).

2. Diseño y desarrollo

• Adoptar un enfoque deliberado y modesto en colaboración con expertos y usuarios.
• Controlar sesgos de constructo, etiquetado y algoritmo.

3. Verificación y validación

• Involucrar a usuarios diversos en evaluaciones de usabilidad.
• Formar a desarrolladores y usuarios en identificación y mitigación de sesgos.
• Establecer feedback continuo.
• Usar simulaciones para distintos contextos.

4. Despliegue

• Asegurar que el entorno real coincida con el de entrenamiento.
• Supervisar para detectar sesgos de implementación.

5. Monitorización y reevaluacion

• Combatir sesgos humanos como la falacia del costo hundido o el sesgo de statu quo.
• Realizar validaciones periódicas.

6. Retiro

Finalmente, incluso los sesgos que se producen en la fase de retiro tienen un elemento humano, como el sesgo histórico o de legado, ya que de las personas que toman las decisiones depende que se perpetúe ese sesgo.

Intervención de expertos y partes interesadas

Los individuos y grupos que toman las decisiones en los sistemas de IA (especialmente relevante en las fases de prediseño y diseño) pueden contener puntos de vista limitados. Para prevenir los riesgos derivados de ello hay que involucrar a una variedad de partes interesadas (stakeholders) y asegurar la diversidad teniendo en cuenta diversos factores (diversidad racial, de género, de edad y de capacidad física).

Si nos centramos en el RIA vemos que dispone alguna referencia general como la relativa a animar a los Estados miembros a promover la IA que mejore la accesibilidad, combata desigualdades socioeconómicas y contribuya a la sostenibilidad medioambiental. Para ello, destaca la cooperación interdisciplinaria entre:

• Desarrolladores de IA.
• Expertos en desigualdad y no discriminación.
• Especialistas en accesibilidad y derechos del consumidor.
• Profesionales medioambientales, digitales y académicos.

No obstante, también la aterriza a dos obligaciones muy concretas:

• Gestión de riesgos (Considerando 65): el proveedor debe documentar las medidas escogidas según el estado de la técnica e incorporar “cuando proceda” la participación de expertos y stakeholders externos.
• Evaluaciones de impacto relativas a derechos fundamentales (FRAIA) (Considerando 96): en especial para el sector público, es recomendable contar con representantes de grupos potencialmente afectados, expertos independientes u organizaciones de la sociedad civil, tanto en la realización de la evaluación como en el diseño de las medidas de mitigación.

Aunque la versión final del RIA ha suavizado algunos mandatos —por ejemplo, ya no se exige notificar a la autoridad de supervisión ni publicar los resultados de consulta a organismos de igualdad, consumidores o protección de datos—, mantener esas prácticas sigue siendo una buena idea para garantizar transparencia y confianza.

Si nos centramos en expertos y roles especializados conviene decir que habrá roles que serán necesarios siempre; y, en cambio, otros serán contingentes en función del sistema de IA al que se refiera.

Por otro lado, que habrá algunos perfiles estarán especializados en la materia; y otros transversales que aportarán su visión desde su ámbito de competencia.

Por último, La intensidad de su participación puede variar: algunos actúan en cada fase del ciclo de vida; otros, solo en momentos puntuales (por ejemplo, revisión de accesibilidad o pruebas de usabilidad). Un buen ejemplo de propuesta con esta visión aterrizada lo podemos ver en el FRAIA² de la que, destacaría que, además de los diversos perfiles que cita, contempla que el responsable de proyecto (cosa obvia), y al responsable del área de conocimiento a la que se refiera el algoritmo (lo que podemos entender referido al área propietaria del mismo si tiene un propósito concreto) también implica al legal advisor implica en todas las fases.

En mi opinión, creo que también un científico de datos debiera de participar en todo el proceso puesto que, su comprensión de las capacidades y limitaciones de la IA resulta esencial para analizar y gestionar los riesgos que puedan afectar a derechos fundamentales. Desde luego la intervención de asesores éticos es un rol que, heredado de aproximaciones éticas hacia la IA ha ido calando y algunas empresas ya han nombrado asesores o comités éticos y aprobado directrices éticas adicionales y normalmente en consonancia con otros principios internacionales.

Qué duda cabe de la importancia de considerar la ética, pero no es una aproximación de la exigencia del RIA, Y esto dependerá del enfoque y consecuente alcance que se acuerde para la EI, si se centra solo los derechos humanos o abraza también los aspectos éticos.

Otro aspecto para considerar es si nos encontramos con un sistema de IA para uso interno (donde deberemos de considerar los roles y áreas internas, sin perjuicio obviamente de poder contar con asesores externos y siempre deberemos de considerar a las partes interesadas, como indica el Considerando 64³ a semejanza de lo que hace el RGPD⁴, y que - en materia de IA y en términos de la ISO /IEC 42001:2023 y en consonancia con la ISO/IEC 22989:2022 - los define como la “persona u organización que puede afectar, verse afectada o percibirse afectada por una decisión o actividad”.

Por último, hay que considerar si se trata de un sistema de IA como un producto para clientes. En estos casos, será necesario adaptar el equipo de trabajo al perfil del servicio y de sus usuarios; por ejemplo, un asistente educativo basado en IA (como ocurría en el famoso caso de Hello Barbie) podría requerir la colaboración de psicopedagogos o psicólogos infantiles para asegurar que la tecnología responde adecuadamente a las necesidades del entorno formativo.

Conclusión

En definitiva, esta serie nos ha mostrado que, más allá de la sofisticación técnica de la IA, son el compromiso humano, la diversidad de miradas y la colaboración de expertos y usuarios quienes garantizan sistemas más justos, seguros y alineados con nuestros valores. Solo mediante una gobernanza transparente, una vigilancia responsable y una participación inclusiva podremos aprovechar todo el potencial de la inteligencia artificial sin renunciar al respeto de los derechos y la ética que nos definen como sociedad.

______
1. ANEXO III. Los sistemas de IA de alto riesgo con arreglo al artículo 6, apartado 2, son los sistemas de IA que formen parte de cualquiera de los ámbitos siguientes:
1. Biometría, en la medida en que su uso esté permitido por el Derecho de la Unión o nacional aplicable:
a) Sistemas de identificación biométrica remota.
Quedan excluidos los sistemas de IA destinados a ser utilizados con fines de verificación biométrica cuya única finalidad sea confirmar que una persona física concreta es la persona que afirma ser.

2. El FRAIA menciona diversos perfiles en función de las fases, Los perfiles que menciona son: Interest Group, Management, Citizen panel, CISO o CIO, Communications specialist, Data scientist, Data controller or data source owner, Data protection officer, HR staff member, Domain Expert, Legal Advisor, Algorith developer, Commissioning client, Project leader, Strategic ethics consultant y Other project team members.

3. El Considerando 64 a del RIA indica que, a la hora de identificar las medidas de gestión de riesgos más adecuadas, el proveedor deberá documentar y explicar las decisiones tomadas y, cuando proceda, implicar a expertos y partes interesadas externas.

4. Artículo 35.9. RGPD: “Cuando proceda, el responsable recabará la opinión de los interesados o de sus representantes en relación con el tratamiento previsto, sin perjuicio de la protección de intereses públicos o comerciales o de la seguridad de las operaciones de tratamiento”.