Desaprendizaje automático: modelos de IA que aprenden a olvidar

31 de agosto de 2023

El desaprendizaje en Inteligencia Artificial (IA), o ‘desaprendizaje automático’, es el proceso de actualizar o modificar los conocimientos adquiridos por un modelo de IA en función de nueva información o por cambios en el ámbito de aplicación o las circunstancias. También puede estar motivado por cuestiones técnicas o por exigencias regulatorias, por ejemplo.

De este modo el desaprendizaje se refiere a ajustar o eliminar datos, reglas o conexiones existentes en un modelo de IA. Se trata de un “subcampo emergente del aprendizaje automático cuyo objetivo es eliminar la influencia de un subconjunto específico de datos de entrenamiento de un modelo entrenado, idealmente manteniendo intactos los datos y aprendizajes válidos”, explican desde Google.

El desaprendizaje en IA aborda desafíos como el sesgo de datos y la adaptación a nuevos escenarios o regulaciones.

Por qué es importante el desaprendizaje en IA

El desaprendizaje automático es necesario porque los modelos de IA a menudo se enfrentan a datos cambiantes, sesgados, contradictorios o excesivos. Y mantener conexiones previas adquiridas con esos datos puede llevar a decisiones erróneas o sesgadas.

Como explican en SemiWiki, “la adaptabilidad es fundamental para la inteligencia, tanto humana como artificial. Al igual que los humanos aprenden a adaptarse a nuevas situaciones y a los cambios, los modelos de IA también deben ser capaces de hacerlo.”

Y añade que una de las ventajas de la adaptabilidad a través del desaprendizaje automático es la mitigación de un fenómeno conocido como ‘olvido catastrófico’: cuando los modelos de IA se entrenan con nuevos datos que son inconsistentes con los datos de entrenamiento originales existe el riesgo de que se “olviden” (sobrescriban o pierdan) conocimientos valiosos.

Un desaprendizaje adecuado y controlado ayuda a resolver el olvido catastrófico al eliminar cuidadosamente información obsoleta o incorrecta, manteniendo el conocimiento previamente adquirido.

Por tanto, el desaprendizaje permite que los modelos de Inteligencia Artificial sean más flexibles y adaptables. También capaces de tomar decisiones más precisas y justas a medida que se utilizan, en tanto el desaprendizaje permite:

Corregir sesgos y errores

Los sesgos y errores en los datos de entrenamiento pueden conducir a modelos de IA sesgados o ineficaces. El desaprendizaje permite identificar y corregir estos sesgos al eliminar o modificar las conexiones que conducen a decisiones injustas o incorrectas.

Ejemplo: un modelo aplicado en selección de personal que ha adquirido sesgos de género o edad puede corregirlos mediante el desaprendizaje.

Adaptarse a los cambios

Los modelos de IA, igual que los humanos, deben adaptarse a nuevos datos, normativas o circunstancias. El desaprendizaje permite que los modelos actualicen sus conocimientos a medida que se encuentran con información actualizada o cambiante.

Ejemplo: un sistema de recomendación de noticias puede ajustar las preferencias del usuario a medida que sus intereses cambian.

Mejorar de la precisión y generalización

El desaprendizaje puede mejorar la capacidad de generalización de los modelos al eliminar información obsoleta o ruido que podría afectar a su rendimiento.

Ejemplo: un modelo de traducción automática que ha aprendido reglas gramaticales incorrectas puede desaprender esas reglas para producir traducciones precisas.

Beneficios del desaprendizaje automático

El desaprendizaje se puede utilizar para mejorar la precisión y la equidad de los modelos de IA en una variedad de aplicaciones, como la selección de personal, la detección de fraudes o el diagnóstico médico. Entre los beneficios del desaprendizaje en IA se incluyen:

Mejora del rendimiento al reducir datos y modelos obsoletos que podrían ralentizar el sistema.
Protege información confidencial o la privacidad de las personas.
Hace que los sistemas de IA sean más eficientes al procesar información.
Mejora la capacidad de la IA para procesar y analizar datos complejos.
Corrige sesgos adquiridos durante el entrenamiento.
Permite realizar predicciones y recomendaciones más precisas o adaptadas a los cambios en los hábitos y preferencias de los usuarios.

Desafíos en el desaprendizaje en IA

El desaprendizaje en la IA enfrenta importantes desafíos. Incluso hay expertos que dudan de su aplicabilidad efectiva: “igual que sucede con las personas, una vez que un modelo de IA ha ‘visto’ algo no hay una manera fácil de decirle que ‘olvide’ lo que vio. Y también es sorprendentemente difícil eliminar el modelo por completo”, dicen en Fortune.

Desde Google coinciden en señalar que “borrar por completo la influencia de los datos cuya eliminación se solicita es todo un reto ya que, aparte de simplemente eliminarlos de las bases de datos en las que están almacenados, también requiere borrar la influencia que han tenido esos datos en los modelos de aprendizaje automático entrenados.” Ante esta dificultad, este verano Google puso en marcha el primer Machine Unlearning Challenge.

Entre los desafíos a los que se enfrenta el desaprendizaje, igual que otros enfoques como el reentrenamiento o la regularización, se incluyen:

Obtener conjuntos de datos adecuados, de calidad y pertinentes, especialmente si los datos son escasos o difíciles de recopilar.
Modificar las representaciones internas complejas de los modelos de IA puede ser complicado, como también identificar qué partes del modelo deben modificarse y cómo hacerlo de manera adecuada.
Una aplicación incorrecta o desequilibrada puede llevar a resultados no deseados, como eliminar información útil (sobreajuste) o no eliminar suficiente información sesgada (subajuste).
Comprender bien los cambios y las consecuencias para evitar la opacidad y garantizar la rendición de cuentas, también sobre decisiones tomadas por la IA antes del desaprendizaje.
Implementar técnicas para medir la precisión, la imparcialidad y otros aspectos relevantes del modelo actualizado y evaluar que hay mejoras efectivas.

Incluso reiniciar un modelo de IA para eliminar completamente los conocimientos previos y permitir un nuevo aprendizaje desde cero es un proceso complejo. Entrenar o reentrenar un modelo de IA puede ser muy costoso y caro dependiendo de su tamaño y complejidad: “GPT-4 se entrenó probablemente utilizando billones de palabras de texto y miles de procesadores informáticos en un procedimiento que costó más de 100 millones de euros”, según Wired.

Conclusión

El desaprendizaje automático juega un papel fundamental en la mejora de la precisión, la equidad y la privacidad y la adaptabilidad de los modelos de IA. Permite a los modelos actualizar y modificar sus conocimientos previos en función de nueva información o cambios en el entorno.

Por tanto, a medida que la IA influye en cada vez más aspectos de nuestra vida, el desaprendizaje se convierte en una herramienta esencial para garantizar que los modelos de IA son justos, precisos y adaptables. Sin embargo, encontrar un equilibrio entre el aprendizaje y el desaprendizaje efectivos en IA todavía supone un importante desafío.