«La Ciberseguridad es clave para aprovechar el verdadero valor de la IA Generativa»

La adopción de inteligencia artificial generativa en entornos empresariales plantea desafíos importantes en términos de responsabilidad, seguridad y gobernanza. La ciberseguridad es un pilar esencial para proteger datos sensibles, asegurar modelos y cumplir con normativas vigentes, garantizando la confianza y la integridad de las soluciones de IA. Sobre todo ello hablamos con David Prieto, Head of Identity and AI Security, y Elena Zapatero, Business Development Manager.

______

¿Cuáles son los principales retos que enfrentan las empresas al adoptar soluciones de IA?

El primer reto sin duda es identificar quién asume la responsabilidad de las iniciativas de inteligencia artificial dentro de la organización, así como de garantizar su desarrollo bajo los estándares de seguridad definidos. Este primer paso, por sí solo, requiere la implicación coordinada de múltiples áreas.

Una vez definida esta responsabilidad, la organización debe enfrentarse a retos adicionales tanto en el ámbito técnico, como en el de la gobernanza.

Entre los más relevantes se encuentran la falta de visibilidad sobre las aplicaciones de IA en uso, la dificultad para proteger los datos sensibles durante el entrenamiento de modelos o el RAG, la exposición a vulnerabilidades y la escasa preparación frente a nuevas amenazas como el prompt injection o el jailbreaking de modelos.

Además, la adopción de IA requiere rediseñar arquitecturas de seguridad, garantizar el cumplimiento normativo (GDPR, PCI-DSS, NIST AI) y coordinar múltiples actores tecnológicos y humanos de la organización.

¿Cuál es la importancia de la seguridad en la implementación de IA generativa en un entorno corporativo?

La seguridad es esencial en la IA generativa porque esta tecnología no solo puede amplificar amenazas ya conocidas, sino también introducir nuevas formas de ataque, manipulación y fuga de información que impactan directamente en la confianza, la integridad y el negocio de las organizaciones.

Las organizaciones suelen adoptar estas tecnologías de dos formas principales: consumiendo aplicaciones de IA a través de servicios web o SaaS, o construyendo y desplegando sus propias soluciones sobre infraestructuras cloud o incluso on-premise. Cada uno de estos enfoques conlleva amenazas específicas que deben abordarse mediante estrategias de protección diferenciadas, muy alineadas con los principios del modelo de responsabilidad compartida.

En este contexto, la dimensión regulatoria adquiere una relevancia crítica. Un claro ejemplo de ello es el Reglamento de Inteligencia Artificial de la Unión Europea (AI Act), que representa la primera legislación integral a nivel mundial sobre IA.

En cualquier caso, modelos mal protegidos pueden compartir información sensible, ser manipulados para generar contenido indebido o sufrir ataques que afecten a su integridad, sin perder de vista que hablamos de aplicaciones que se están convirtiendo en algunos casos en críticas para el negocio.

¿Qué medidas de seguridad específicas se deben implementar para proteger los datos sensibles utilizados en el entrenamiento de modelos de IA generativa?

La protección de datos sensibles en el contexto de la IA generativa requiere un enfoque diferenciado según el uso que se haga de la información: si esta se utiliza para entrenar modelos propios o si se expone a través de modelos preentrenados que acceden a fuentes internas (por ejemplo, mediante RAG).

En ambos casos es fundamental restringir el acceso a los datos sensibles mediante las protecciones disponibles para la identidad como autenticación multifactor (MFA), control de acceso basado en roles, políticas de acceso condicional y soluciones avanzadas de ID Protection y Governance. Estas medidas garantizan que solo se acceda a los datos permitidos, minimizando el riesgo de accesos indebidos.

La seguridad en entornos colaborativos y la clasificación y protección de la información son especialmente críticas en modelos conectados a fuentes internas (RAG) donde se acceder a documentos compartidos en tiempo real y, por tanto, es clave clasificar y etiquetar la información para aplicar tecnologías de DLP.

En todos los casos se debe garantizar la trazabilidad y auditoría para poder reaccionar ante incidentes.

Ya sea que tu organización esté explorando modelos de IA generativa conectados a sus datos o entrenando modelos propios desde cero, la ciberseguridad y la protección de datos no son opcionales. Son parte del diseño responsable de cualquier solución basada en IA. Invertir en una arquitectura segura y trazable no solo protege tus datos: también protege la confianza en tus resultados.

“La Ciberseguridad y la protección de datos no son opcionales. Son parte del diseño responsable de cualquier solución basada en IA.”

¿Cómo afecta la arquitectura de alto nivel de una aplicación de IA generativa a las medidas de protección?

La arquitectura de alto nivel de una aplicación de IA generativa se compone de tres bloques principales: el entrenamiento del modelo (base y fine-tuning), el runtime del LLM y la capa de aplicación. Cada nivel requiere controles específicos para garantizar una operación segura y conforme con los riesgos propios de los entornos corporativos.

• Control de los datos de entrenamiento. La protección de los datos sensibles utilizados para entrenar modelos requiere una sólida gobernanza del dato, control de accesos y herramientas como DLP, clasificación y auditoría para evitar su exposición o uso indebido.
• Seguridad del LLM. La seguridad del runtime del LLM, responsable de procesar los prompts y generar respuestas, requiere una protección robusta basada en tres pilares: controles de infraestructura, como la microsegmentación y soluciones CNAPP (CSPM, CWPP, CIEM) para proteger entornos cloud o hibridos; gestión continua de la postura de seguridad de IA (AI-SPM), que permite monitorizar, detectar desviaciones y aplicar medidas correctivas proactivas; y evaluaciones ofensivas específicas para IA generativa, mediante pruebas de prompt injection, extracción de datos o manipulación de respuestas, que validan la resiliencia del modelo frente a ataques avanzados.
• Seguridad de la aplicación de IA generativa. En la capa de aplicación, donde se produce la interacción con el usuario, se aplican medidas de evaluación continua mediante las capacidades de seguridad para aplicaciones e infraestructura de IA generativa (Offensive security) y el despliegue de soluciones como WAD, que refuerzan la seguridad y resiliencia de las API, plugins y extensiones.

¿Cuáles son los principales riesgos asociados con la implementación de IA generativa y cómo se pueden mitigar?

Como hemos visto, a pesar de sus múltiples beneficios, la aparición de nuevas amenazas asociadas a la IA generativa conlleva inevitablemente la aparición de nuevos riesgos que las organizaciones deben identificar y gestionar. Entre los más relevantes se encuentran la pérdida de datos provocada por el uso de herramientas no autorizadas o por la falta de concienciación en los usuarios; los accesos no autorizados a información sensible; la manipulación del comportamiento del modelo mediante técnicas como las inyecciones de prompts o los jailbreaks; el uso de infraestructuras, modelos o aplicaciones sin garantías de seguridad; y el envenenamiento del modelo, que compromete directamente su integridad, fiabilidad y capacidad de generar respuestas válidas.

De igual manera y en el plan regulatorio, el Reglamento Europeo de Inteligencia Artificial (AI Act) establece un nuevo marco jurídico basado en un enfoque de gestión de riesgos, que clasifica los sistemas de IA en cuatro niveles: riesgos inaceptables —prohibidos expresamente, como la puntuación social o la manipulación cognitiva—, riesgos altos —como aquellos que pueden comprometer derechos fundamentales—, riesgos limitados y riesgos mínimos.

Por tanto, resulta fundamental mapear los riesgos que afectan a la organización y establecer una estrategia de seguridad integral que garantice su gestión eficaz. Esta estrategia debe combinar capacidades de identificación, protección y respuesta, permitiendo abordar de forma proactiva las amenazas asociadas al uso de IA. generativa.

¿Cómo se puede asegurar la IA generativa en un entorno corporativo mediante la identificación, protección y respuesta 360º?

Asegurar la IA generativa en un entorno corporativo requiere desplegar un marco de seguridad completo basado en tres fases: Identificación, Protección y Respuesta 360º, aplicando controles especializados en cuatro ámbitos críticos: infraestructura, modelo IA, datos/identidad y aplicaciones.

• En la fase de Identificación, se llevan a cabo evaluaciones de infraestructura —incluyendo análisis de microsegmentación, gestión de riesgos de proveedores (VRM) y postura de seguridad en entornos de IA (AI-SPM)—, así como evaluaciones de aplicaciones, con el objetivo de detectar vulnerabilidades tanto en los entornos técnicos como en las soluciones de inteligencia artificial. Estas acciones se complementan con auditorías de identidad y datos, que permiten identificar accesos indebidos, configuraciones incorrectas y el uso no autorizado de herramientas de IA externas (Shadow AI).
• La fase de Protección aplica controles por capas: microsegmentación y CNAPP para la infraestructura; etiquetado de datos, DLP e IAM avanzado para proteger identidades e información sensible; AI Gateway y políticas de seguridad para los modelos LLM; y WAD y control de compartición para asegurar las aplicaciones de usuario.
• Por último, la fase de Respuesta 360º se apoya en visibilidad E2E, observabilidad y un SOC de IA integrado, que permite detectar y responder de forma ágil ante amenazas o incidentes. Esta estrategia asegura un ciclo completo de protección en todo el entorno de IA generativa.

“Esta estrategia asegura un ciclo completo de protección en todo el entorno de IA generativa.”

¿Qué papel juegan las auditorías y la gestión de riesgos en la seguridad de la IA generativa?

Las auditorías y la gestión de riesgos desempeñan un papel fundamental en la seguridad de la IA generativa, no solo desde una perspectiva técnica o regulatoria, sino también como elementos clave para proteger el valor y la continuidad del negocio.

La gestión de riesgos permite identificar, evaluar y priorizar las amenazas específicas que introduce la IA generativa y su posible impacto sobre procesos críticos, reputación corporativa, cumplimiento normativo o propiedad intelectual. Esta visión orientada al impacto en el negocio es esencial para adoptar medidas de mitigación proporcionales y efectivas.

Por otro lado, las auditorías de seguridad son clave para garantizar el cumplimiento de los controles de seguridad sobre los sistemas de IA. En Telefónica Tech hemos diseñado una metodología propia compuesta por seis fases:

• Reconocimiento y enumeración de superficies de ataque y servicios expuestos.
• Análisis de seguridad de las API, evaluando autenticación, autorización y protección ante abusos.
• Evaluación del modelo de IA, detectando vulnerabilidades como prompt injection o manipulación de respuestas.
• Análisis de la infraestructura Cloud, identificando errores de configuración o debilidades del pipeline de IA.
• Simulación de exfiltración de datos, verificando posibles filtraciones por mal diseño o uso indebido.
• Evaluación de la resiliencia, midiendo la capacidad de detectar, resistir y recuperarse ante ataques.

Esta metodología ofrece una visión completa del estado de seguridad, ayudando a las organizaciones a anticiparse a riesgos y reforzar sus defensas de forma proactiva.

¿Qué beneficios en términos de seguridad han observado las empresas que han adoptado soluciones de IA generativa securizada con Telefónica Tech?

Las organizaciones han logrado una visibilidad integral tanto sobre sus entornos de inteligencia artificial como sobre sus datos, lo que ha sido clave para reducir la superficie de ataque, reforzar la gobernanza y mejorar el cumplimiento normativo.

La implantación de soluciones como AI-SPM, AI Gateway, WAD y VRM ha permitido proteger aplicaciones críticas, identificar vulnerabilidades en fases tempranas y coordinar respuestas ante incidentes de forma ágil y eficaz. Estas capacidades han sido determinantes para desplegar entornos de IA generativa de forma más segura, resiliente y alineada con los marcos regulatorios y de protección de la información.

Y en el entorno de productividad de usuarios, la mejora es muy significativa evitando sobrecompartición de datos, o problemas de acceso a datos sensibles.

AI & Data

Agentes de IA y su impacto en la automatización empresarial

27 de febrero de 2025