¿Es su ecosistema de IA seguro?

El aumento en la adopción de la IA ha ido acompañado de un aumento significativo de ciberataques dirigidos contra sistemas y conjuntos de datos de IA. Informes recientes indican que el 57 % de las organizaciones han observado un aumento en los ataques impulsados por IA durante el año pasado.⁶ Cabe destacar que Amazon ha experimentado un aumento dramático en las amenazas cibernéticas, con incidentes diarios que aumentaron de 100 millones a casi 1.000 millones en seis meses,⁷ un aumento atribuido en parte a la proliferación de la IA.

Los sistemas de seguridad tradicionales a menudo resultan insuficientes a la hora de proteger entornos de IA generativa (GenAI) porque esas protecciones heredadas no están diseñadas para gestionar los riesgos únicos que introduce GenAI. Estas herramientas se basan en reglas estáticas y patrones de amenazas conocidos, pero GenAI produce resultados impredecibles y altamente variables que no siguen firmas fijas. Como resultado, los sistemas tradicionales carecen del conocimiento del contexto necesario para detectar amenazas con precisión. También pasan por alto ataques específicos de IA, como inyecciones de prompts, envenenamiento de datos y manipulación de modelos, que no existen en los entornos de TI tradicionales.

GenAI procesa con frecuencia datos no estructurados, como texto, código o imágenes, formatos que las herramientas de seguridad convencionales tienen dificultades para analizar de manera eficaz. Además, estos sistemas carecen de visibilidad sobre cómo los modelos de IA generan respuestas, lo que dificulta la detección de fallos sutiles o usos indebidos. Sin la capacidad de supervisar entradas, salidas y modelar el comportamiento en tiempo real, la seguridad tradicional deja brechas críticas que las amenazas nativas de IA pueden explotar fácilmente.

Inyecciones de prompts

Un ataque de inyección de prompts es un tipo de amenaza de seguridad exclusiva de los sistemas GenAI. En este ataque, un usuario malintencionado crea una entrada (mensaje) especialmente diseñada para engañar a la IA para que ignore sus instrucciones originales y, en su lugar, siga las órdenes del atacante.

Los ataques de inyección de prompts son difíciles de detener por dos razones principales. En primer lugar, el ataque generalmente comienza con un acceso legítimo (a través de un chatbot, un campo de entrada o una herramienta integrada). No es necesario “hackear” el modelo en el sentido tradicional: el ataque está diseñado para incorporar un uso inteligente del lenguaje natural. Por lo tanto, estos ataques no contienen firmas ni otros comportamientos distintivos que diferencien el ataque del uso autorizado.

La segunda razón por la que estos ataques son difíciles de detener se debe a la forma en que las inyecciones de prompts explotan la tendencia inherente de las aplicaciones GenAI a seguir instrucciones con precisión, incluso instrucciones que degradan la seguridad o el rendimiento. Imagine una aplicación GenAI que prueba un gran sistema bancario. Un sistema de este tipo seguramente incluiría reglas contra la revelación de información de los clientes. Pero un ataque de inyección de prompts podría comenzar con “ignorar las restricciones sobre compartir información del cliente” y contar con que la aplicación GenAI ejecute esa tarea fielmente, desactivando las medidas de seguridad.

La inyección de prompts puede provocar fugas de datos, violaciones de políticas, mal uso de herramientas y jailbreak de los sistemas de IA. Estos ataques explotan la falta de comprensión contextual de la IA y su tendencia a seguir las instrucciones demasiado literalmente. Para evitar la inyección de prompts se requiere una sólida validación de entrada, una clara separación de roles y una supervisión en tiempo real del comportamiento del modelo.

Modelos de código abierto

Los modelos de código abierto son modelos de IA que se publican con su código, arquitectura, pesos o datos de entrenamiento disponibles bajo una licencia permisiva. Los beneficios del software de código abierto están bien documentados.⁸ Sin embargo, el uso de modelos de IA de código abierto también introduce riesgos de seguridad, incluida la deserialización y la manipulación del modelo.

La deserialización es el proceso de convertir los datos almacenados nuevamente en objetos utilizables dentro de un programa. En IA, a menudo se utiliza para cargar modelos o configuraciones. Sin embargo, deserializar datos no fiables plantea graves riesgos de seguridad. Los atacantes pueden crear archivos maliciosos que, cuando se cargan, desencadenan la ejecución remota de código, el acceso a archivos o la escalada de privilegios. En los sistemas de IA, este tipo de ataque puede corromper modelos con puertas traseras o activadores ocultos. Herramientas comunes como pickle o joblib son especialmente vulnerables.

La manipulación de modelos implica cambios no autorizados en la estructura o el comportamiento de un modelo de IA, lo que plantea graves riesgos de seguridad. Los atacantes pueden incorporar puertas traseras, activar condiciones o manipular resultados para difundir información errónea o filtrar datos confidenciales. Estos cambios a menudo pasan desapercibidos, socavando la integridad y la confianza del modelo. En entornos regulados, la manipulación puede dar lugar a violaciones de cumplimiento y amenazas persistentes.

Por ejemplo, un equipo de investigación ha desarrollado un modelo para clasificar las señales de tráfico. Sin que ellos lo supieran, un hacker ha incorporado un fragmento de código que provoca una clasificación errónea cuando una imagen contiene un determinado pequeño activador visual. En la mayoría de los casos, el modelo se comporta según lo diseñado, pero cuando encuentra una imagen con el activador incorporado, la salida se ve comprometida.

Salidas inseguras

Los resultados no seguros de la IA generativa presentan amenazas de seguridad importantes porque a menudo dan lugar a que los usuarios reciban URL dañinas. Estos vínculos aparecen de manera involuntaria o mediante una manipulación intencionada. Por ejemplo, un chatbot puede generar un enlace peligroso después de extraer información de una fuente comprometida o deliberadamente envenenada.

Las URL maliciosas a menudo parecen legítimas para el usuario y sirven como puerta de entrada para que los atacantes lancen esquemas de phishing, instalen malware u obtengan acceso no autorizado al sistema. En entornos fiables, los usuarios pueden seguir sugerencias generadas por IA sin sospechar, lo que aumenta la probabilidad de vulneración. Debido a que estos modelos dependen de datos externos e históricos, incluso una entrada corrupta puede generar contenido inseguro que pone en riesgo los sistemas y socava la confianza en las herramientas asistidas por IA. Para prevenir estas amenazas es necesario un filtrado estricto de contenidos y una supervisión continua de la calidad del contenido publicado.

Fugas de datos confidenciales

Como se mencionó anteriormente, los sistemas GenAI necesitan acceso a datos propietarios para la formación y operación, lo que necesariamente coloca la información fuera de los controles de seguridad tradicionales. Estos datos confidenciales representan un objetivo lucrativo para los hackers que pueden manipular modelos y violar datos, lo que puede generar graves amenazas a la seguridad.

Las aplicaciones GenAI también son propensas a alucinaciones en las que el modelo genera información falsa o engañosa que parece creíble. Un ejemplo común es una alucinación de citas, donde el modelo GenAI inventa un artículo de investigación, un autor o una fuente que no existe. Por ejemplo, podría afirmar que un estudio específico respalda un punto y proporciona un título, una revista y una fecha que parecen realistas, pero nada de eso es real. Estas citas inventadas pueden inducir a error a los usuarios, especialmente en contextos académicos o profesionales, donde la exactitud de las fuentes es fundamental.

Secuestro de agentes

La tecnología avanza rápidamente, y en ningún ámbito esto es más cierto que en el rápido aumento de los agentes de IA. Los agentes son sistemas autónomos que detectan su entorno, procesan datos y toman decisiones para completar tareas. Aprenden y se adaptan, gestionando trabajos complejos como descubrimiento de fármacos, servicio al cliente, marketing, codificación e investigación. Dado que el 78 % de las empresas planean utilizar agentes de IA,⁹ asegurar esta valiosa capacidad de la organización se ha vuelto crucial para obtener el máximo valor de sus inversiones en IA.

Muchos agentes de IA son vulnerables al secuestro de agentes,¹⁰ un tipo de inyección indirecta de mensajes en la que un atacante inserta instrucciones maliciosas en datos que pueden ser ingeridos por un agente de IA, lo que provoca que este realice acciones dañinas no deseadas. En estas situaciones de ataque, los posibles ladrones pueden inyectar instrucciones maliciosas junto con instrucciones legítimas para penetrar las medidas de seguridad de la organización, ocultándose a simple vista, por así decirlo.

Las encuestas realizadas a los principales analistas del sector indican que los directores de seguridad de la información (CISO) tienen sentimientos encontrados sobre las medidas de seguridad de la IA de sus organizaciones. Aunque la mayoría (83 %) de los altos ejecutivos que están invirtiendo en ciberseguridad dicen que su organización está invirtiendo la cantidad correcta, muchos (60 %) siguen preocupados de que las amenazas de ciberseguridad a las que se enfrentan sus organizaciones sean más avanzadas que sus defensas. ¹¹ 

Sus preocupaciones están bien fundadas. Los sistemas de IA conllevan riesgos completamente nuevos (como inyección de prompts, envenenamiento de datos, robo de modelos y alucinaciones) que las herramientas de seguridad tradicionales nunca fueron diseñadas para gestionar. En respuesta, los proveedores se apresuraron a llenar los vacíos con soluciones puntuales centradas en amenazas específicas relacionadas con la IA. Si bien este enfoque tiene buenas intenciones, ha dado lugar a un ecosistema fragmentado de herramientas desconectadas que no comparten información sobre amenazas, no están integradas entre sí y requieren una gestión separada. Como resultado, las empresas se ven obligadas a combinar múltiples productos solo para mantener el ritmo, mientras las amenazas de IA continúan evolucionando rápidamente. La realidad es clara: proteger GenAI requiere más que un conjunto de herramientas aisladas. Requiere un enfoque integrado, nativo de IA, que pueda adaptarse tan rápido como la tecnología que protege.

Palo Alto Networks respondió a este enfoque caótico y complicado desarrollando una plataforma completa para la seguridad de la IA. Prisma AIRS es la plataforma de seguridad de IA más completa del mundo y ofrece protección para modelos, datos, aplicaciones y agentes. Este enfoque unificado no solo aborda las necesidades de seguridad actuales, sino que también puede crecer con la tecnología y proteger las inversiones en seguridad de IA.

La innovación clave en Prisma AIRS es proteger cada componente de la infraestructura de IA con seguridad especialmente diseñada e integrada en una única plataforma. Este enfoque ofrece protección contra amenazas con la máxima eficacia y las tasas más bajas de falsos positivos.

Análisis de modelos de IA

Los modelos de IA enfrentan varias amenazas que pueden socavar su seguridad. La manipulación de modelos implica alterar la lógica interna o los parámetros de un modelo para producir resultados sesgados o no seguros. Es posible introducir scripts maliciosos durante la implementación, lo que permite realizar acciones no autorizadas o comprometer el sistema. Los ataques de deserialización explotan la forma en que los modelos cargan datos guardados, lo que permite a los atacantes ejecutar código dañino. El envenenamiento del modelo ocurre cuando se agregan datos falsos o manipulados al conjunto de entrenamiento, lo que provoca que el modelo aprenda comportamientos incorrectos o puertas traseras ocultas.

Prisma AIRS combate estas amenazas con el escaneo de modelos de IA, que ayuda a detectar amenazas ocultas como código malicioso, puertas traseras o configuraciones inseguras antes de que se implemente un modelo de IA. Esta capacidad garantiza que el modelo sea seguro, fiable y compatible con las políticas de seguridad.

Con el análisis de modelos de IA, puede:

Gestión de la postura

La gestión de la postura es esencial para la seguridad de la IA porque proporciona visibilidad continua sobre cómo se configuran y utilizan los sistemas de IA. Sin ella, los equipos pueden pasar por alto configuraciones incorrectas, comportamientos no seguros o accesos no autorizados. A medida que los sistemas de IA evolucionan y gestionan datos confidenciales, la gestión de la postura ayuda a aplicar políticas, detectar riesgos y reducir las posibilidades de infracciones, lo que garantiza operaciones de IA más seguras y compatibles.

Obtener los permisos correctos es fundamental para los agentes de IA, que a menudo actúan de forma autónoma y acceden a herramientas o datos sin supervisión directa. Las políticas demasiado permisivas pueden provocar violaciones de seguridad, fugas de datos o daños al sistema, mientras que las demasiado restrictivas pueden limitar la eficacia del agente. Para reducir el riesgo de infracciones, y garantizar operaciones de IA seguras y compatibles, los agentes deben seguir el principio del mínimo privilegio: tener solo el acceso mínimo necesario para realizar sus tareas y nada más.

Prisma AIRS brinda a sus equipos de seguridad las capacidades que necesitan para una gestión eficaz de la postura. Ahora su equipo puede tener visibilidad continua de la configuración, el uso y los riesgos de los sistemas de IA. Armadas con esta información, las organizaciones pueden detectar vulnerabilidades de manera temprana, implementar políticas de seguridad y reducir las posibilidades de configuraciones incorrectas o exposición de datos.  

Con la Gestión de la postura de seguridad de la IA con Prisma AIRS, es posible:  

Red Teaming para IA

Las simulaciones del red team es importante para la seguridad de la IA porque ayuda a las organizaciones a encontrar debilidades antes que los atacantes. Al simular ataques del mundo real, los equipos rojos prueban cómo los sistemas de IA responden a amenazas como la inyección de prompts, el envenenamiento de datos y la manipulación de modelos. Este enfoque proactivo descubre vulnerabilidades ocultas en los modelos, los datos de entrenamiento y el comportamiento del sistema. También ayuda a mejorar las defensas, validar políticas y fortalecer la confianza en las aplicaciones de IA.

El red team desempeña un papel fundamental en la seguridad de la IA al identificar debilidades antes de que los atacantes puedan explotarlas. Simula amenazas del mundo real (como inyección de prompts, envenenamiento de datos y manipulación de modelos) para revelar vulnerabilidades ocultas en modelos, datos de entrenamiento y comportamiento del sistema. A diferencia de las herramientas estáticas de trabajo en equipo, o red teaming, que se basan en casos de pruebas predefinidos, nuestra solución es dinámica. Comprende el contexto de la aplicación (por ejemplo, atención médica o servicios financieros) y apunta de manera inteligente a los tipos de datos que un atacante intentaría extraer. A diferencia de otras soluciones, nuestro motor de pruebas adaptativo no se detiene ante el error, sino que aprende, replantea sus estrategias y vuelve a realizar pruebas continuamente hasta identificar caminos explotables. Este enfoque dinámico y consciente del contexto no solo descubre riesgos más profundos, sino que también fortalece las defensas y genera confianza duradera en los sistemas de IA.

Las pruebas de red team de Prisma AIRS AI permite a su equipo de seguridad de IA:

Seguridad de los agentes de IA

Proteger a los agentes de IA es importante porque estos sistemas pueden tomar decisiones y realizar acciones sin supervisión humana. Si se ven comprometidos, podrían hacer un mal uso de las herramientas, acceder a datos confidenciales o causar daños graves. Amenazas como inyecciones de prompts, envenenamiento de datos o exceso de permisos pueden generar comportamientos no autorizados. Proteger a los agentes de IA garantiza que operen de forma segura, cumplan los objetivos previstos y no expongan a las organizaciones a riesgos ocultos. A medida que crece la adopción de la AI agente, o IA agentiva, es fundamental contar con controles de seguridad sólidos para evitar el uso indebido y proteger la confianza.

Con AI Agent Security, su equipo puede:

Seguridad en tiempo de ejecución

El componente Runtime Security de la plataforma Prisma AIRS es una solución integral diseñada para proteger aplicaciones, modelos, datos y agentes de IA de amenazas cibernéticas tradicionales y específicas de IA. Runtime Security ofrece protección en tiempo real contra riesgos como la inyección de prompts, el código malicioso, la fuga de datos y la manipulación de modelos. Al supervisar continuamente los sistemas de IA, Runtime Security garantiza la integridad y seguridad de las operaciones de IA, lo que ayuda a las organizaciones a implementar tecnologías de IA con confianza.

Para las organizaciones que buscan proteger sus implementaciones de IA, la seguridad en tiempo de ejecución, Runtime Security, ofrece una solución sólida y escalable que aborda los desafíos únicos que plantean las tecnologías de IA. Puede implementar la seguridad en tiempo de ejecución, Runtime Security, en dos niveles: desarrollador y red.  

La plataforma Prisma AIRS se integra perfectamente con Strata Cloud Manager de Palo Alto Networks, lo que proporciona gestión centralizada y visibilidad en todo el ecosistema de IA. Prisma AIRS emplea mecanismos avanzados de detección y prevención de amenazas para proteger las cargas de trabajo de IA, garantizando el cumplimiento y reduciendo el riesgo de infracciones de datos.

Las organizaciones pueden obtener los beneficios de Prisma AIRS al integrar estas capacidades en el ciclo de vida de GenAI. Prisma AIRS aborda el ciclo de vida completo, desde la integración previa a la implementación y los controles de tiempo de ejecución hasta la supervisión continua y el trabajo en equipo para probar la seguridad del agente y del modelo.

Integración previa a la implementación

Los desarrolladores integran Prisma AIRS en las pipelines de CI/CD o MLOps escaneando modelos y datos de entrenamiento en busca de puertas traseras, serialización insegura y amenazas integradas antes de llevar a cabo la implementación. Mediante el uso de las API, Prisma AIRS también se conecta a registros de modelos como MLflow o Hugging Face Spaces para escanear y etiquetar automáticamente modelos aprobados, agilizando los controles de seguridad en las primeras etapas.

Controles de tiempo de ejecución

En tiempo de ejecución, los desarrolladores utilizan Prisma AIRS a través de las API, kits de desarrollo de software (SDK), protocolo de contexto de modelo (MCP) o archivos de configuración de red para aplicar controles de acceso estrictos a los agentes GenAI, definiendo qué herramientas o API puede usar cada agente. Estas políticas se aplican mediante «sidecars» o proxies para evitar comportamientos no autorizados. Prisma AIRS también permite la desinfección rápida, la validación de entradas, el registro de salidas y la defensa contra la inyección de prompts.

Supervisión continua

Prisma AIRS permite la supervisión continua de entornos de IA al brindar visibilidad en tiempo real de modelos, agentes y actividad de datos. Detecta comportamientos anormales, configuraciones incorrectas y violaciones de políticas de seguridad a medida que ocurren. Al supervisar amenazas como inyecciones de prompts, fugas de datos y uso indebido de herramientas de IA, ayuda a proteger los entornos de desarrollo y producción. La plataforma analiza continuamente la actividad para descubrir riesgos emergentes y se adapta a las amenazas cambiantes mediante la detección y pruebas automatizadas. Este enfoque proactivo garantiza que los sistemas de IA permanezcan seguros, compatibles y resilientes, sin depender de supervisión manual o herramientas desconectadas.

Ejercicios de red team para pruebas de modelos y agentes

Los desarrolladores utilizan las herramientas del red team de Prisma AIRS para simular entradas adversas y escenarios de mal uso, probando cómo responden los modelos y los agentes GenAI en posibles condiciones de ataque. Estos ataques simulados ayudan a identificar vulnerabilidades en la lógica, el comportamiento o el acceso a las herramientas. Los desarrolladores pueden utilizar estos conocimientos para fortalecer las defensas del modelo y mejorar la seguridad del agente, garantizando un sistema más seguro y fiable antes de la implementación.

Strata Copilot es un asistente de inteligencia artificial de Palo Alto Networks que utiliza Precision AI ^® para simplificar las operaciones de seguridad de la red con información en tiempo real e interacción en lenguaje natural.

El equipo de desarrollo de Prisma AIRS en Palo Alto Networks se asoció con el equipo de Strata Copilot para la primera implementación de producción de Prisma AIRS. Strata Copilot ayudó a dar forma a la hoja de ruta del producto utilizando activamente la plataforma y brindando comentarios tempranos. En la actualidad, cada interacción con Strata Copilot en EE. UU. se ejecuta a través de la API Prisma AIRS, que escanea los avisos y modela las respuestas en busca de amenazas como inyección de prompts, exposición de datos confidenciales, URL maliciosas y contenido tóxico. Esta integración brinda al equipo detección, visibilidad y aplicación de amenazas en tiempo real, lo que les permite construir un chatbot seguro y compatible. Prisma AIRS también les ayuda a enviar funciones más rápidamente al alinearse con los principios de IA segura por diseño.

La colaboración con Strata Copilot jugó un papel clave a la hora de convertir Prisma AIRS en una solución flexible y lista para producción. Los conocimientos obtenidos de Strata y de clientes externos ayudaron a perfeccionar el producto para satisfacer las cambiantes necesidades de aplicaciones, modelos y agentes basados en IA. Su equipo de ingeniería considera que Prisma AIRS es esencial para el ciclo de vida del desarrollo, ya que permite una implementación rápida, seguridad simplificada a través de intercepciones de API y experiencias de IA más seguras.

La colaboración con Strata Copilot jugó un papel clave a la hora de convertir Prisma AIRS en una solución flexible y lista para producción. Los conocimientos obtenidos de Strata y de clientes externos ayudaron a perfeccionar el producto para satisfacer las cambiantes necesidades de aplicaciones, modelos y agentes basados en IA. Su equipo de ingeniería considera que Prisma AIRS es esencial para el ciclo de vida del desarrollo, ya que permite una implementación rápida, seguridad simplificada a través de intercepciones de API y experiencias de IA más seguras.