Alfonso Ibáñez Martín

POR Daniel Sierra Ramos, Data Science Manager. Alfonso Ibañez Martín, Head of Big Data Analytics. La posibilidad de acceder a numerosas fuentes de información, así como con el auge de nuevas tecnologías de computación y almacenamiento han propiciado la impulsión del Machine Learning como respuesta a muchos de los problemas de nuestra sociedad, tanto de índole pública como privada. La disciplina del Machine Learning procede de la Inteligencia Artificial y tiene como foco estudiar cómo los sistemas pueden ser programados para aprender y mejorar con la experiencia, sin intervención humana. Durante los últimos años se ha avanzado mucho en la resolución de problemas complejos gracias técnicas que permiten descubrir patrones ocultos en los datos. Esto nos permite automatizar muchas decisiones que hasta ahora eran impensables, pero con el inconveniente de no tener en cuenta uno de los aspectos más relevantes para la toma de decisiones: el sesgo humano. Los inevitables sesgos humanos Existe una falsa creencia acerca de la objetividad de las estimaciones que arrojan los algoritmos de Machine Learning. Se piensa frecuentemente que los patrones presentes en los datos muestran un fiel reflejo del contexto en el que se generan y por eso no deberían ser objeto de modificaciones o alteraciones para corregirlos. Sin embargo, la propia generación de estos datos sea cual sea el ámbito, está plagada de sesgos humanos que son inevitables. A modo de ejemplo, consideremos el sencillo caso de una entidad financiera que tiene un modelo para la concesión de créditos. El modelo simplemente estima si una persona va a devolver el préstamo o no, y en función de esto el banco otorga el crédito correspondiente (o no). Para realizar esta estimación se emplean variables relativas a cada cliente como la antigüedad, la nómina o el número de productos contratados, entre otros. Supongamos que la entidad financiera decide medir cómo de justo es su modelo de concesión de créditos en cuanto al género. Los resultados de este análisis podrían reflejar que la proporción de hombres que reciben un crédito es mucho mayor que la proporción de mujeres, aun sabiendo que el género no debería ser un factor determinante en el riesgo de impago. Con el objetivo de conseguir una Inteligencia Artificial justa que no refleje diferencias en aspectos de índole política, religiosa o sociodemográfica, entre otros, existen varias técnicas y criterios a la hora de paliar el sesgo en los datos y/o en los resultados de un modelo analítico. AI OF THINGS Fantasmas en la máquina: ¿sufre alucinaciones la Inteligencia Artificial? 20 de febrero de 2023 Elementos que intervienen en el aprendizaje supervisado Para ponernos en contexto es necesario establecer un marco común en el que identificar los diferentes elementos que intervienen en un algoritmo de Machine Learning de aprendizaje supervisado. Variables de entrada: Es el conjunto de variables predictoras empleadas en la construcción del modelo analítico. El propósito de un modelo de Machine Learning es encontrar relaciones entre este conjunto de variables y la variable objetivo. Variable objetivo: Es la variable sobre la que vamos a realizar estimaciones. Durante la fase de construcción del modelo, esta variable sirve para guiar el aprendizaje de los patrones históricos en los datos y que potencialmente se pueden repetir en el futuro. Variable sensible: Es el elemento esencial en el análisis de los sesgos en la Inteligencia Artificial justa. Esta variable, que puede encontrarse o no en el conjunto de variables de entrada, contiene la información relativa a la pertenencia o no de uno o varios grupos desfavorecidos. Un ejemplo sería la variable Género: Hombre/Mujer. Estimación: Son las estimaciones realizadas por el modelo, es decir, el resultado de aplicar el modelo analítico construido sobre nuevos datos. Típicamente, en un modelo de clasificación binaria, este resultado se compone de un score (puntuación de 0 a 1 de pertenecer a uno otro grupo objetivo) y una predicción (resultado binario extraído a partir del score y un umbral) En el ejemplo de la concesión de créditos, cada uno de los elementos se puede representar en la siguiente tabla Criterios de "fairness" en aprendizaje automático Dentro de este contexto podemos enumerar tres criterios de análisis del fairness en machine learning. Cada uno de los siguientes criterios satisface un objetivo distinto y sólo se puede satisfacer uno a la vez. La elección del criterio de fairness estará supeditado a las necesidades de cada problema. Independencia: El criterio de independencia se cumple cuando la variable objetivo y la variable sensible son estadísticamente independientes. La proporción de hombres que reciben un crédito debe ser igual a la proporción de mujeres que reciben un crédito. Separación: También denominado equalized odds. El criterio de separación se cumple cuando la estimación y la variable sensible son condicionalmente independientes dada la variable objetivo. De la población que habría devuelto el crédito, la proporción de hombres que lo recibe debe ser igual a la proporción de mujeres que lo recibe. Suficiencia: También denominado predictive rate parity. El criterio de suficiencia se cumple cuando la variable objetivo y la variable sensible son condicionalmente independientes dada la estimación. De la población que recibe el crédito, la proporción de hombres que lo devuelve debe ser igual a la proporción de mujeres que lo devuelve. Posibles técnicas correctivas Para alcanzar dichos criterios, de forma independiente, existen numerosas técnicas correctivas que se pueden dividir en las siguientes categorías: Pre-Processing: Consisten en la transformación del conjunto de variables de entrada, que está sesgado, en otro conjunto no sesgado para la posterior generación del modelo analítico. Algunas de las técnicas más conocidas hacen uso de representation learning a través de Autoencoders para transformar el conjunto de variables de entrada X en un conjunto de variables de entrada Z que permita la elaboración de modelos analíticos capaces de paliar el efecto del sesgo sobre las variables sensibles. In-Processing: Consiste en la generación de un modelo analítico capaz de optimizar, no sólo la tasa de errores, sino también el fairness durante la fase de entrenamiento. Una de las técnicas empleadas en este contexto es la de Adversarial Debiasing, la cual consiste en la generación de un estimador capaz de maximizar la capacidad de predecir la variable objetivo a partir de las variables predictores (ML clásico) y a la vez de minimizar la capacidad de predecir la variable sensible a partir de las variables predictoras empleando GANs (Generative Adversarial Networks). Post-Processing: Consiste en la optimización y modificación de los resultados sesgados del modelo analítico para cumplir con alguno de los criterios del fairness. Una de las técnicas más empleadas en este contexto es la de la optimización del threshold de decisión del modelo analítico a partir de la curva ROC para lograr mitigar o eliminar los sesgos tras la obtención de los resultados. Conclusión En definitiva, existen numerosas herramientas que nos permiten cuantificar y corregir el sesgo humano presente en los algoritmos de Machine Learning. Es necesario asegurar que las aplicaciones no conducen a sesgos e impactos discriminatorios por razón de la raza, el origen étnico, la religión, el sexo, la orientación sexual, la discapacidad o cualquier otra condición de las personas. AI OF THINGS Tres principios para construir una Inteligencia Artificial de confianza 22 de noviembre de 2022

Por Alfonso Ibáñez y Aitor Landete Hablar hoy de términos como Inteligencia Artificial o Machine Learning no es una novedad. La sociedad, las empresas y los gobiernos son cada vez más conscientes de técnicas como deep learning, semi-supervised learning, reinforcement learning o transfer learning, entre otras. Sin embargo, aún no tienen asimilado los numerosos beneficios de combinar dichas técnicas con otras tecnologías emergentes como Internet of Things (IoT), Quantum computing o Blockchain. IoT y Machine Learning son dos de las disciplinas más interesantes de la tecnología actual, ya que están generando un profundo impacto tanto en las empresas como en las personas. Ya existen millones de pequeños dispositivos integrados en fábricas, ciudades, vehículos, teléfonos y en nuestras casas recogiendo la información necesaria para tomar decisiones inteligentes sobre ámbitos como la optimización de procesos industriales, el mantenimiento predictivo en oficinas, la movilidad de las personas, la gestión de la energía en el hogar y el reconocimiento facial de las personas, entre otros. El enfoque de la mayoría de estas aplicaciones consiste en detectar la información del entorno y en transmitirla a potentes servidores remotos a través de Internet, donde reside la inteligencia y la toma de decisiones. Sin embargo, aplicaciones como los vehículos autónomos son muy críticas y requieren de respuestas precisas en tiempo real. Estos nuevos requisitos de rendimiento juegan un papel fundamental en la toma de decisiones, por lo que el uso de servidores remotos y ajenos al vehículo autónomo no son apropiados. Los principales motivos de esta situación hacen referencia al tiempo empleado en la transferencia de datos hasta los servidores externos y a la necesidad permanente de conectividad a Internet para poder procesar la información. Edge Computing, el nuevo paradigma Para ayudar a aliviar algunos de los problemas anteriores, surge un nuevo paradigma de computación. Este enfoque consigue acercar el procesamiento y el almacenamiento de datos hasta los dispositivos que los generan, eliminando la dependencia de servidores en el cloud o en data centers ubicados a miles de kilómetros de distancia. Edge computing está transformando la forma en la que se procesan los datos, mejorando así los tiempos de respuesta y solventando problemas de conectividad, escalabilidad y seguridad inherentes a los servidores remotos. La proliferación de los dispositivos IoT, el auge del Edge Computing y las ventajas de los servicios en la nube están permitiendo la aparición de una computación híbrida donde se maximizan las fortalezas del edge y del cloud. Este enfoque híbrido permite que las tareas se lleven a cabo en el sitio óptimo para lograr el objetivo, ya sea en los dispositivos locales, en los servidores en la nube, o en ambos. Servicios para la computación híbrida En la actualidad, los grandes proveedores Cloud ofrecen servicios esenciales para la computación híbrida, destacando el despliegue de modelos analíticos en el Edge, la comunicación de éstos con el cloud y la compatibilidad con el resto de servicios ofrecidos. Ejemplos de ello son: IoT Hub de Microsoft Azure, Greengrass de AWS y Edge Application Manager de IBM. Dependiendo de donde tengan lugar la ejecución, la arquitectura híbrida coordina las tareas entre edge devices, edge servers y cloud servers: Edge devices: son dispositivos que generan datos en el borde de la red y disponen de conectividad (Bluetooth, LTE IoT,...). Están equipados con pequeños procesadores para almacenar y procesar información e incluso ejecutar, en tiempo real, ciertas tareas de analíticas, que pueden revertir en acciones inmediatas por parte del dispositivo. Aquellas tareas que requieran de una mayor complejidad son trasladadas a servidores más potentes en niveles superiores de la arquitectura. Algunos ejemplos de Edge devices son los cajeros automáticos, cámaras inteligentes, smartphones, etc. Edge servers: son servidores que tienen la capacidad de procesar algunas de las tareas complejas enviadas desde los dispositivos inferiores en la arquitectura. Estos servidores están en continua comunicación con los edge devices y pueden funcionar como puerta de enlace hacia los cloud servers. Algunos ejemplos son los procesadores en rack ubicados en salas de operaciones de industrias, oficinas, bancos, etc. Cloud servers: son servidores que disponen de una gran capacidad de almacenamiento y computo para abordar todas las tareas no completadas hasta el momento. Estos sistemas permiten la gestión de todos los dispositivos del sistema y de numerosas aplicaciones de negocio, entre otros muchos servicios Edge Artificial Intelligence Hoy en día, la investigación en el ámbito del Machine Learning ha permitido desarrollar novedosos algoritmos en el contexto del Internet of Things. Aunque la ejecución de estos algoritmos se asocia con potentes cloud servers debido a los requerimientos de cómputo, el futuro de esta disciplina está ligado al uso de modelos analíticos dentro de los Edge devices. Estos nuevos algoritmos deben poder ejecutarse en dispositivos con procesadores débiles, memorias limitadas y sin la necesidad de una conexión a Internet. Bonsai y ProtoNN son dos ejemplos de nuevos algoritmos diseñados para poder ejecutar modelos analíticos en los edge devices. Estos algoritmos se basan en la filosofía del aprendizaje supervisado y son capaces de resolver problemas, en tiempo real, sobre dispositivos muy simples y con pocos recursos de computación. Herramientas, como SageMaker Neo permiten optimizar y adaptar algoritmos state-of-the-art, como por ejemplo XGBoost, ya entrenados para que puedan ser ejecutados con los recursos de los edge devices. Incluso, es posible desplegar modelos entrenados basados en Deep Learning en los Edge devices gracias a TensorFlow Lite y PyTorch Mobile. Una aplicación de esta tipología de algoritmos son los altavoces inteligentes. Sobre estos dispositivos se integran un modelo ya entrenado que es capaz de analizar todas las palabras detectadas e identificar, entre todas ellas, cuál es la palanca de activación ("Alexa", "Hola Siri", "OK, Google",...). Una vez reconocida la palabra clave, el sistema comienza a transmitir los datos de audio a un servidor remoto para analizar la acción requerida y proceder con la ejecución de esta. El enfoque Federated Learning A diferencia de los algoritmos anteriores, en los que el entrenamiento de los modelos se realiza en los cloud servers, el enfoque Federated Learning surge para orquestar el entrenamiento de modelos analíticos entre el Edge y el Cloud. En este nuevo enfoque, cada uno de los edge devices del sistema es el encargado de entrenar un modelo analítico con los datos que tiene almacenados localmente. Tras esta fase de entrenamiento, cada dispositivo envía las métricas de su modelo local a un mismo cloud server, donde se combinan todos los modelos en un único modelo maestro. A medida que se recopila nueva información, los dispositivos descargan la última versión del modelo maestro, reentrenan el modelo con la nueva información y envían el modelo resultante de vuelta al servidor central. Este enfoque no necesita que la información recogida en los edge devices sea trasladada al cloud server para su procesamiento, ya que lo único que se transfiere son los modelos generados. Todos los nuevos algoritmos propuestos en la literatura tratan de optimizar tres métricas importantes: latencia, rendimiento y precisión. La latencia se refiere al tiempo necesario para inferir un registro de datos, el rendimiento es el número de inferencias realizadas por segundo y la precisión es el nivel de confianza del resultado de predicción. Además, el consumo de energía requerido por parte del dispositivo es otro de los aspectos para tener en cuenta. En este contexto, Apple ha adquirido recientemente Xnor.ai, una empresa emergente que tiene como objetivo impulsar el desarrollo de nuevos algoritmos eficientes que permitan conservar lo más preciado de los dispositivos, su batería. Edge adoption Las empresas están adoptando las nuevas tecnologías para impulsar la transformación digital y mejorar sus resultados. Aunque no existe una guía de referencia para la integración de estas tecnologías, muchas empresas siguen un mismo patrón para la implementación de proyectos relacionados con el Edge: La primera fase consiste en el desarrollo del escenario más básico. Los sensores de los edge devices recogen la información del entorno y la envían a los cloud servers donde se analiza y se reportan las principales alertas y métricas a través de cuadros de mando. El segundo escenario amplia la funcionalidad mediante la incorporación de una capa de procesamiento adicional al edge device. Antes de que la información sea enviada a la nube, el dispositivo realiza un pequeño análisis de la información y, en función de los valores detectados, puede iniciar diversas acciones mediante edge computing. La fase más madura consiste en la incorporación de edge analytics. En este caso, los edge devices procesan la información y ejecutan los modelos analíticos que tienen integrados para generar respuestas inteligentes en tiempo real. Estos resultados también son enviados a los cloud servers para ser procesados mediante otras aplicaciones. Otro enfoque más novedoso asociado a las aplicaciones de Edge analytics consiste en enriquecer las predicciones generadas por los edge devices con nuevas predicciones aportadas por los cloud servers. A partir de ahora, la comunidad científica tiene como reto el desarrollo de nuevos sistemas que decidan, dinámicamente, cuándo invocar esa inteligencia adicional del cloud y cómo optimizar las predicciones realizadas con ambos enfoques.

Durante los últimos años se ha avanzado mucho en la resolución de problemas complejos gracias a los algoritmos de Inteligencia Artificial. Estos algoritmos necesitan de un gran volumen de información para poder descubrir y aprender, de manera continua, los patrones ocultos en los datos. Sin embargo, esta no es la forma en que la mente humana aprende. Una persona no requiere de millones de datos y múltiples iteraciones para solucionar un determinado problema, ya que lo único que necesita son algunos ejemplos para resolverlo. En este contexto, técnicas como el semi-supervised learning o aprendizaje semi-supervisado están jugando un papel importante hoy en día. Dentro de las técnicas de Machine Learning podemos encontrar varios enfoques bien diferenciados (ver Gráfico 1). Los algoritmos supervisados tratan con conjuntos de datos etiquetados y su objetivo es construir modelos predictivos, ya sean de clasificación (estimando una clase) o de regresión (estimando un valor numérico). Dichos modelos se generan a partir de datos etiquetados y, posteriormente, realizan predicciones sobre los datos no etiquetados. Sin embargo, los algoritmos no supervisados utilizan datos no etiquetados y su objetivo, entre otros, es el de agruparlos, en función de la similitud de sus características, en un conjunto de clusters. A diferencia de los dos enfoques más tradicionales (supervised learning y unsupervised learning), los algoritmos semi-supervisados emplean pocos datos etiquetados y muchos datos no etiquetados como parte del conjunto de entrenamiento. Dichos algoritmos tratan de explorar la información estructural que contienen los datos no etiquetados con el objetivo de generar modelos predictivos que funcionen mejor que los que sólo utilizan datos etiquetados. Gráfico 1: Esquema de los distintos enfoques de aprendizaje automático Los modelos de aprendizaje semi-supervisados son cada vez más utilizados en nuestros días. Un ejemplo clásico en el que se observa el valor que aportan dichos modelos es el análisis de las conversaciones grabadas en un call center. Con el objetivo de inferir automáticamente características de los interlocutores (género, edad, geografía,…), sus estados de ánimo (contentos, enfadados, sorprendidos,…), los motivos de la llamada (error en la factura, nivel de servicio, problemas de calidad,…), entre otros, es necesario disponer de un volumen elevado de casos ya etiquetados sobre las cuales aprender los patrones de cada tipología de llamada. El etiquetado de estos casos es una tarea ardua de conseguir, ya que etiquetar archivos de audio, por lo general, es una tarea que requiere tiempo y mucha intervención humana. En estas situaciones en las que etiquetado de los casos es escaso, ya sea porque es costoso, necesita mucho tiempo de recopilación, requiere de mucha intervención humana o simplemente porque es completamente desconocido, los algoritmos de aprendizaje semi-supervisado son de gran utilidad gracias a sus características de funcionamiento. Sin embargo, no todos los problemas pueden abordarse directamente con estas técnicas, ya que existen algunas características esenciales que deben estar presentes en los problemas para poder solucionarlos, de manera efectiva, utilizando esta tipología de algoritmos. Probablemente la primera aproximación sobre el uso de datos no etiquetados para construir un modelo de clasificación es el método Self-Learning, también conocido como self-training, self-labeling, o decision-directed learning. Self-learning es un método wrapper muy simple y uno de los métodos más utilizados en la práctica. La primera fase de dicho algoritmo consiste en aprender un clasificador con los pocos datos etiquetados. Posteriormente, el clasificador es usado para predecir los datos no etiquetados y sus predicciones de mayor fiabilidad son añadidas al conjunto de entrenamiento. Finalmente, el clasificador es reentrenado con el nuevo conjunto de entrenamiento. Este proceso (ver Gráfico 2) se repite hasta que no se puedan añadir nuevos datos al conjunto de entrenamiento. Gráfico 2: Esquema del funcionamiento del algoritmo self-learning En el enfoque semi-supervisado se asume cierta estructura en la distribución subyacente de los datos, es decir, los datos más próximos entre sí se supone que tienen la misma etiqueta. El Gráfico 3 refleja cómo los algoritmos semi supervisados van ajustando, iteración tras iteración, la frontera de decisión entre las etiquetas. Si solo se dispone de datos etiquetados la frontera de decisión es muy distinta a la frontera aprendida al incorporar la información de la estructura subyacente de todos los datos no etiquetados. Gráfico 3: Ajuste iterativo de la frontera de decisión en el aprendizaje semi-supervisado Otra situación en la que los datos semi-etiquetados son de utilidad es en la detección de anomalías, ya que se trata de un problema típico en el que es difícil disponer de una gran cantidad de datos etiquetados. Este tipo de problema puede abordarse con un enfoque no supervisado. El objetivo de dicho enfoque es el de identificar, en base a las características de los datos, aquellos casos que difieren mucho del patrón habitual de comportamiento. En este contexto, el subconjunto de datos etiquetados puede ayudar a evaluar las distintas iteraciones del algoritmo, y así, guiar la búsqueda de los parámetros óptimos del algoritmo analizado. Finalmente, con los ejemplos anteriormente expuestos, queda demostrado que el uso de datos no etiquetados junto con una pequeña cantidad de datos etiquetados puede mejorar considerablemente la precisión tanto de los modelos supervisados como la de los no supervisados. Escrito por Alfonso Ibáñez y Rubén Granados Si quieres experimentar en primera persona con el aprendizaje reforzado, no te pierdas esta serie en nuestro blog. AI OF THINGS Aprendizaje Reforzado y Deep Learning en videojuegos clásicos: todo lo que hemos aprendido en un año 23 de agosto de 2018

En la era del Big Data no pasa un día sin que leamos alguna noticia sobre Inteligencia Artificial, Machine Learning o Deep Learning, sin saber nunca a lo que se refieren. Los “expertos” del sector mezclan e intercambian los términos con toda naturalidad, y solo contribuyen a su hype. El simple hecho de mencionarlos atrapa la atención de los inversores, y les convence de que estas técnicas tienen un poder casi mágico. El Aprendizaje Automático (del inglés Machine Learning) es una disciplina científica, procedente de la Inteligencia Artificial, que estudia cómo los sistemas pueden ser programados para aprender y mejorar con la experiencia, sin intervención humana. Para abordar este problema, diariamente surgen nuevos paradigmas que permiten descubrir conocimiento a partir de datos específicos, basándose en sólidos principios estadísticos y computacionales. Uno de los enfoques que está recibiendo más interés por parte de la comunidad científica hace referencia a las Neural Networks. Estas redes se inspiran en el sistema nervioso animal, constituido por un sistema de células que colaboran entre sí para producir una respuesta a un estímulo externo. A medida que la topología de estos sistemas se complica, nos acercamos a lo que se conoce por Deep Learning, un nuevo concepto marketiniano concebido para denominar a las redes neuronales complejas. La idea bajo este nuevo paradigma es que con un gran número de neuronas y muchos niveles de interconexión entre ellas, se pueden mejorar las predicciones en conjuntos de datos complejos. Figura 1. Las redes neuronales producen una respuesta a un estímulo externo. Valor del Deep Learning en las empresas El uso del Deep Learning en el negocio está en auge. Cada vez más empresas reconocen el valor de estas técnicas, ya que permiten trabajar de una manera más eficiente y proporcionan una ventaja real sobre la competencia. Su irrupción en el mundo empresarial se vió favorecida por la confluencia de tres factores clave: los algoritmos, la computación y los datos.Por un lado, los algoritmos se encuentran en constante ebullición con la continua mejora de las técnicas existentes y la aparición de otras nuevas. Por otro lado, la evolución de la capacidad de computación, junto con el abaratamiento de equipos informáticos, han permitido analizar gigabytes, terabytes o incluso petabytes de información de forma paralela y a gran velocidad, permitiendo así, aprender y tomar decisiones de una manera mucho más eficiente y ágil de lo que era posible hace sólo unos años. El último factor es el acceso a grandes cantidades de datos sobre los cuales poder aprender. Dichos datos pueden proceder de múltiples fuentes tales como los sistemas tradicionales de negocio, las redes sociales, los dispositivos móviles, el Internet de las cosas o las ciudades inteligentes, entre otras. Gracias a la presencia del Deep Learning en eventos, reuniones y prensa, gran parte de la sociedad se encuentra fascinada sobre el potencial de estas técnicas y piensa que estos modelos estadísticos pueden ser la solución perfecta para cualquier situación compleja. Sin embargo, la realidad no es tan glamurosa como un periodista puede hacer que parezca, ya que son los Data Scientists (la profesión más sexy del siglo XXI) los que realizan la “magia”. Si el conocimiento del dominio en cuestión, la habilidad de tratar con múltiples datos y la inteligencia al decidir qué algoritmos emplear es limitada, entonces la capacidad de “aprender” por parte de las máquinas también estará limitada. El mundo tal y como lo conocemos está cambiando gracias al potencial de las técnicas de Deep Learning, y seguramente con el paso del tiempo estarán muy presentes en todos los aspectos de nuestras vidas. Según Bill Gates, siempre sobre estimamos el cambio que ocurrirá en los próximos dos años y subestimamos el cambio que ocurrirá en los próximos diez. Tendremos que esperar hasta entonces para saber realmente si el Deep Learning es una realidad en nuestras vidas diarias o simplemente hype.