Sesgos en la IA (I): La necesaria distinción entre sesgos y conceptos afines

11 de febrero de 2025

La Inteligencia Artificial (IA) supone muchas oportunidades y también tiene, como es normal, riesgos que hay que gestionar. Y uno de ellos tiene que ver con los sesgos y las posibles consecuencias que pueden tener, como es la discriminación.

En la serie de capítulos siguientes vamos a abordar diversas cuestiones alrededor de los sesgos, y es fundamental empezar clarificando conceptos. No solo debemos de comprender el concepto de sesgo, sino también distinguirlo de otros 'cercanos' y ponerlos en relación con los sistemas de IA.

1. El algoritmo como parte de un sistema de IA

Según la RAE un algoritmo es un "conjunto ordenado y finito de operaciones que permite hallar la solución de un problema". Podríamos decir que es como una receta, pero a diferencia de esta que se aplica para un propósito concreto (cocinar) el algoritmo puede servir para muchos propósitos diferentes. Es decir: son instrucciones precisas que a partir de unos inputs y mediante un proceso general generan unos resultados (outputs) consistentes.

En informática es habitual encontrar ejemplos de algoritmos, como el de búsqueda binaria utilizado por buscadores, el de PageRank diseñado por Google para determinar la posición de una página web en función de la cantidad y calidad de los enlaces que dirigen a ella o los de los sistemas de IA.

Respecto a la definición de IA, si bien hubo intentos anteriores a la publicación del Reglamento de Inteligencia Artificial (RIA) de establecer una definición concreta para este concepto, finalmente se ha adoptado en el artículo 3.1 del RIA la siguiente definición:

"Un sistema basado en una máquina diseñado para funcionar con distintos niveles de autonomía, que puede mostrar capacidad de adaptación tras el despliegue y que, para objetivos explícitos o implícitos, infiere de la información de entrada que recibe la manera de generar información de salida, como predicciones, contenidos, recomendaciones o decisiones, que puede influir en entornos físicos o virtuales".

Por su parte, la Comisión Europea ha publicado recientemente unas directrices sobre la definición de sistema de IA, donde se explica la aplicación práctica del concepto jurídico recogido en el RIA.

Un tercer concepto, relacionado pero distinto al de sistema IA, es el de modelo de IA. En los estándares ISO/IEC 22989 (conceptos y terminología de IA) se define como modelo a la

"Representación física, matemática o lógica de un sistema, entidad, fenómeno, proceso o dato".

Por su parte, la Organización de Cooperación y Desarrollo Económico (OECD) en su Paper de Inteligencia Artificial Nro. 8 describe a los modelos de IA como

"Un componente central de un sistema de IA utilizado para hacer inferencias a partir de entradas para producir salidas [que] incluyen, entre otros, modelos estadísticos y varios tipos de funciones de entrada-salida (como árboles de decisión y redes neuronales)".

Por lo tanto y en resumen: Todos los sistemas de IA utilizan algoritmos, que son parte de un sistema de IA. No obstante, un sistema de IA tiene otros elementos: hardware, datos etc.

2. Concepto de sesgos

Ahora vamos a poner foco en los sesgos, que pueden y suelen formar parte de un sistema de IA y también pueden ser generados por el propio algoritmo.

Para ello hay que abordar ahora el concepto de sesgos, así como el de otros conceptos cercanos, pero distintos.

La RAE define sesgado/da como relacionado con información 'tendenciosa' y ésta a su vez como "que manifiesta parcialidad, obedeciendo a una tendencia o idea determinadas".

Por su parte, y como indica Carlos B. Fernández en el Artículo Herramientas para eliminar o reducir los sesgos en los sistemas automatizados de toma de decisiones, la Organización Internacional de Normalización (ISO) define sesgos como "el grado en que un valor de referencia se desvía de la verdad".

"En este contexto, se dice que un sistema de IA está sesgado cuando muestra un comportamiento sistemáticamente inexacto".

A su vez, en los estándares ISO/IEC 22989 se define a los sesgos como la "diferencia sistemática de trato de determinados objetos, personas o grupos en comparación con otros" . Por tratamiento, el estándar considera cualquier tipo de acción, incluida la percepción, observación, representación, predicción o decisión.

Cuando vemos un resultado inexacto puede ser que este se derive bien de un sesgo o bien de un error. Los sesgos en Inteligencia Artificial no son simples errores aleatorios, sino que obedecen a patrones sistemáticos. Como dice el NIST:

"El sesgo es un efecto que priva a un resultado estadístico de representatividad al distorsionarlo, a diferencia de un error aleatorio, que puede distorsionarlo en cualquier ocasión, pero se equilibra en promedio".

Por tanto, podemos decir que, si hay predeterminación o parcialidad, y el resultado está distorsionado, hay sesgo.

3. Discriminación

Igual que no debemos de confundir los errores con los sesgos tampoco debemos de confundir los sesgos con la discriminación, que es una de las posibles consecuencias de los sesgos. Y decimos una de las posibles consecuencias porque de ciertos sesgos no se habla porque no producen discriminación, pero los sesgos pueden tener efectos en decisiones que supongan consecuencias negativas, constituyan discriminación o no.

La desviación de la verdad que se produce en los sesgos puede contribuir a resultados diversos: perjudiciales o discriminatorios, ser neutra, o incluso puede ser beneficiosa.

—Por ejemplo: en el ámbito de la selección de personas los sistemas de IA pueden tener muchos beneficios, pero los sesgos, pueden suponer consecuencias que pueden ser tanto negativas, positivas como neutras.

Un caso de sesgo negativo que podría llegar a discriminación por razón del sexo podría ser el siguiente: un sistema de IA en el que se hayan utilizado datos de entrenamiento sesgados (por ejemplo, la búsqueda de un perfil que ha desempeñado históricamente mayormente un sexo) utilizará ese sesgo en la fase de inferencia y, por tanto, producirá un resultado discriminatorio hacia ese sexo puesto que el hecho de que históricamente hayan desempeñado ese rol en un sexo no significa que lo vayan o deban desempeñar mejor en el futuro las personas de ese sexo.

Pero es posible también que dicho sesgo genere un resultado positivo.

—Por ejemplo, si el sistema de IA se ha entrenado con perfiles muy cualificados, el resultado (desde esa óptica) puede ser positivo pues ofrece a los candidatos más capacitados.

Ahora bien, es posible que dicho 'sesgo positivo de capacitación' al beber de datos históricos de una profesión basculada históricamente hacia un sexo o una clase social pueda producir un sesgo que sea negativo y discriminatorio.

Si para distinguir sesgos de errores hemos acudido a un contexto estadístico, debemos de acudir a un contexto jurídico para distinguir sesgos de discriminación. Todos los sesgos no son discriminatorios ni producen injusticias, como se cita en esta guía práctica de Rhite:

"El sesgo se refiere a una diferencia sistemática en el tratamiento de ciertas personas o grupos, sin implicar necesariamente si esta diferencia es 'correcta' o 'incorrecta'. Por el contrario, la discriminación y la equidad introducen un juicio de valor sobre los resultados de un tratamiento sesgado. Un sistema de IA sesgado puede producir resultados que pueden considerarse 'discriminatorios' o 'injustos', según el contexto y los valores aplicados".

El sesgo discriminatorio inadmisible generalmente se define por los tribunales como consistente en un trato desigual, entendido en términos generales como una decisión que trata a un individuo de manera menos favorable que a individuos en situación similar debido a una situación protegida. Característica como raza, sexo u otro rasgo, o como impacto dispar, que en términos generales definida como una política o práctica aparentemente neutral que daña desproporcionadamente a un grupo en un rasgo protegido.

Se puede citar, entre otras, las Sentencias del Tribunal Constitucional Español (TCE) 1/2021; 253/2004; 181/2000; o las recogidas en la Guía sobre el artículo 14 del Convenio Europeo de Derechos Humanos y sobre el artículo 1 del Protocolo nº 12 del Convenio del Tribunal Europeo de Derechos Humanos.

4. Exclusión

Un concepto relacionado con la discriminación, pero diferente es el de exclusión. Si la discriminación como hemos visto supone una situación de desventaja (por ejemplo considerar que alguien con una discapacidad no relacionada con el trabajo pueda ser peor candidato que otro que no tiene dicha discapacidad); la exclusión es una forma de desigualdad pero que se materializa en que impide a la persona o grupo acceder a ciertos servicios o recursos (por ejemplo pensemos en un sistema de IA que no contempla opciones de vehículos adaptados para personas con determinadas discapacidades y los excluye).

Por tanto, todos los errores no son sesgos y todos los sesgos no son negativos ni todos los sesgos negativos son discriminatorios, ni toda discriminación produce exclusión.

La discriminación en el ámbito de la IA se produce cuando un sistema de IA trata de manera injusta a ciertos grupos o individuos, lo que puede deberse al sesgo, bien en los datos utilizados, en el algoritmo y/o en las personas que lo programan, nutren y/o supervisan.

5. Equidad

Finalmente hay otro concepto diferente y relacionado que es la equidad o justicia. Como se expone en la guía de Rhite después de indicar que en el contexto de la IA, la injusticia puede entenderse como el "trato diferencial injustificado que beneficia preferentemente a ciertos grupos sobre otros" (ISO/IEC 22989:2022, 2022) "la equidad, por lo tanto, es la ausencia de tal trato diferencial injustificado o prejuicio hacia cualquier individuo o grupo".

La equidad no significa que deba de tratarse de forma distinta a diferentes personas o grupos pero que sí que es posible que deba de hacerse ese trato diferente para precisamente conseguir corregir desequilibrios o una representación incorrecta que suponen una injusticia.