El informe inaugural de Cisco sobre el Estado de la ciberseguridad de la IA revela una peligrosa brecha entre la carrera por la adopción y la madurez en ciberseguridad, exponiendo a las empresas a una nueva clase de riesgos que los firewalls tradicionales no pueden contener.
La Paradoja de la Inteligencia Artificial en la Empresa Moderna
La inteligencia artificial (IA) se ha consolidado no como una tecnología emergente, sino como la fuerza transformadora definitoria del siglo XXI. Para los líderes empresariales, representa una “oportunidad generacional” , una ola de innovación con el potencial de redefinir industrias enteras, optimizar operaciones hasta niveles nunca antes vistos y desbloquear nuevas fuentes de valor.
La presión por capitalizar este potencial es inmensa y palpable en las salas de juntas de toda América Latina y el mundo. Sin embargo, bajo la superficie de esta carrera febril por la integración, yace una verdad incómoda y peligrosa.
El informe “2024 AI Readiness Index” de Cisco arroja una luz cruda sobre esta realidad: mientras la gran mayoría de los líderes empresariales sienten una “tremenda presión” por integrar la IA en funciones críticas de negocio, un alarmante 87% de las organizaciones admite no estar preparadas para aprovechar su potencial de forma segura y eficaz.
Solo un 13% se considera verdaderamente listo.
Esta brecha no es un simple desfase temporal; es el epicentro de la paradoja de la IA en la empresa moderna.
La misma fuerza que impulsa la innovación —la presión competitiva por adoptar la IA— está obligando a las organizaciones a integrar tecnologías cuyo perfil de riesgo apenas comienzan a comprender.
El principal impedimento, como señala el informe inaugural de Cisco, “The State of AI Security 2025“, es la seguridad de la IA. El panorama de amenazas que introduce es descrito como “novedoso, complejo y no abordado eficazmente por las soluciones de ciberseguridad tradicionales”.
Esto significa que las defensas perimetrales, los antivirus y las políticas de seguridad que han protegido a las empresas durante décadas son insuficientes frente a esta nueva clase de vulnerabilidades.
Esta situación redefine el campo de juego competitivo.
El éxito en la era de la IA ya no se medirá únicamente por la sofisticación de los algoritmos o la velocidad de implementación. Se definirá, fundamentalmente, por la resiliencia de la postura de seguridad de la IA.
Aquellas organizaciones que logren dominar este nuevo dominio de la ciberseguridad no solo mitigarán el riesgo, sino que se posicionarán para acelerar su adopción de IA de manera más agresiva y segura que sus competidores.
En este nuevo paradigma, la seguridad de la IA deja de ser un centro de costos o un freno para la innovación; se convierte en el habilitador estratégico clave que separa a los líderes de los rezagados, transformando un riesgo existencial en una ventaja competitiva decisiva.
El Nuevo Campo de Batalla: Anatomía de los Vectores de Ataque Nativos de la IA
El despliegue de sistemas de IA no solo amplía la superficie de ataque tradicional; crea un campo de batalla completamente nuevo con reglas, tácticas y vulnerabilidades propias.
Los adversarios ya no se limitan a explotar fallos en el código de una aplicación; ahora pueden atacar la lógica misma del modelo, envenenar sus fuentes de conocimiento y comprometer la intrincada cadena de suministro que le da vida. Comprender la anatomía de estos ataques es el primer paso para construir una defensa robusta.
El Talón de Aquiles: La Infraestructura y la Cadena de Suministro de IA
Antes de que un modelo de lenguaje grande (LLM) pueda generar una sola palabra, depende de una compleja infraestructura de hardware y software para su entrenamiento y operación. Esta infraestructura se ha convertido en un objetivo de alto valor.
El informe de Cisco destaca que los atacantes se están centrando en las “vulnerabilidades únicas de los entornos de despliegue de IA”. Las consecuencias de un compromiso aquí son en cascada, afectando a múltiples sistemas y clientes simultáneamente.
La amenaza no es teórica. En 2024, se observaron ataques exitosos contra el NVIDIA Container Toolkit, que permitieron a los atacantes obtener control del sistema de archivos del host, ejecutar código y exfiltrar datos. Aún más significativo fue el compromiso de Ray, un framework de código abierto para la gestión de clústeres de IA.
Este incidente, ampliamente considerado el “primer ataque in-the-wild… contra un framework de IA”, vio a los atacantes secuestrar costosos recursos computacionales para la minería de criptomonedas, mientras obtenían acceso potencial a los datos de entrenamiento del modelo.
Igual de preocupante es la vulnerabilidad de la cadena de suministro de IA. El ecosistema actual prospera gracias a la colaboración y el uso de componentes de código abierto.
Repositorios como Hugging Face, PyTorch Hub y TensorFlow Hub son fundamentales para el desarrollo rápido, pero también introducen un riesgo sistémico.
Una encuesta citada en el informe revela que el 80% de las empresas basan al menos una cuarta parte de sus soluciones de IA en código abierto. Esta dependencia crea una enorme superficie de ataque.
El caso de estudio “Sleepy Pickle” ilustra vívidamente este peligro. Pickle es un formato de serialización común en Python utilizado para guardar y cargar modelos. Los atacantes pueden insertar código malicioso en un archivo Pickle, pero las defensas a menudo lo detectan. “Sleepy Pickle” es una técnica más insidiosa: en lugar de ejecutar el código malicioso inmediatamente, compromete el modelo
después de que se carga y deserializa. Este retraso lo hace más difícil de detectar y permite a un adversario distribuir un modelo aparentemente benigno que se convierte en un arma una vez desplegado en el entorno de la víctima.
La combinación de ataques a frameworks de código abierto, la proliferación de modelos potencialmente maliciosos en repositorios públicos y la facilidad con la que se pueden envenenar los conjuntos de datos fundamentales (la investigación de Cisco demostró que se puede envenenar el 0.01% del masivo dataset LAION-400M por tan solo $60 USD ) apunta a una conclusión ineludible: la industria de la IA se enfrenta a una crisis de confianza sistémica.
El ethos colaborativo que impulsó su crecimiento exponencial se ha convertido en su mayor pasivo de seguridad.
La base sobre la que se construye el desarrollo moderno de la IA —modelos compartidos, bibliotecas de código abierto y conjuntos de datos públicos— es fundamentalmente insegura, lo que exige un cambio radical hacia un paradigma de “cero confianza” para cada componente del ciclo de vida de la IA.
Ataques a la Lógica: Jailbreaking, Inyección de Prompts y Extracción de Datos
Más allá de la infraestructura, una nueva clase de ataques se dirige a la mente del modelo: su lógica de procesamiento. Estos ataques no explotan vulnerabilidades de software tradicionales, sino que manipulan la forma en que el modelo interpreta y responde a las entradas.
Inyección de Prompts y Jailbreaking: La inyección directa de prompts es la forma más básica de este ataque, donde un usuario malintencionado elabora una entrada (prompt) para engañar al modelo y hacer que ignore sus barandillas de seguridad incorporadas.
El Jailbreaking es una forma más sofisticada de este ataque, diseñada para anular por completo los protocolos de alineación y seguridad del modelo, obligándolo a generar contenido dañino, ilegal o a revelar su propio “prompt de sistema”, que es el conjunto de instrucciones secretas que definen su personalidad y sus reglas.
Inyección Indirecta de Prompts: Este vector es particularmente sigiloso. En lugar de que el atacante introduzca directamente un prompt malicioso, la instrucción dañina se oculta dentro de una fuente de datos que el modelo procesa, como un PDF, una página web o incluso texto no legible por humanos.
Una aplicación de IA que resume documentos podría, sin saberlo, ejecutar un comando malicioso oculto en un PDF que se le pide que analice, comprometiendo la sesión del usuario sin que este se dé cuenta.
Extracción de Datos de Entrenamiento: Quizás el ataque más alarmante para la empresa es la extracción de datos. Los LLMs, debido a su arquitectura, pueden memorizar porciones de los datos con los que fueron entrenados.
Si estos datos incluyen información sensible, propietaria o personal (PII), el modelo se convierte en una bomba de tiempo para la fuga de datos.
La investigación de Cisco demostró esto de manera espectacular. Los investigadores lograron reconstruir partes de artículos del New York Times protegidos por un muro de pago simplemente usando un método de “descomposición”: en lugar de pedir el artículo completo (lo que el modelo rechazaría), le pidieron el título, luego la primera oración, luego la segunda, y así sucesivamente.
El modelo, engañado por estas pequeñas solicitudes aparentemente inocuas, regurgitó el contenido protegido verbatim, demostrando que los datos estaban memorizados y eran extraíbles. Las implicaciones para la privacidad de los datos, la propiedad intelectual y el cumplimiento normativo son profundas.
Para ayudar a los líderes empresariales y técnicos a navegar este nuevo terreno, la siguiente tabla resume los principales vectores de ataque específicos de la IA y su impacto potencial en el negocio.
El panorama de amenazas de la IA tiene dos caras. No solo se trata de cómo los adversarios atacan los sistemas de IA, sino también de cómo utilizan la IA como un arma para potenciar sus propias operaciones.
El informe de Cisco aclara que, en 2024, el uso de la IA por parte de los actores de amenazas se centró principalmente en mejorar las tácticas, técnicas y procedimientos (TTPs) existentes, en lugar de crear capacidades radicalmente nuevas. Sin embargo, esta “mejora” ya está teniendo un impacto significativo.
La IA generativa ha sobrealimentado el social engineering. La accesibilidad de LLMs y tecnologías de deepfake ha llevado a un aumento en ataques más sofisticados y personalizados.
El grupo de ciberdelincuentes Scattered Spider, por ejemplo, ha utilizado con éxito la clonación de voz por IA para llevar a cabo ataques de vishing (phishing por voz), generando clones de voz convincentes de ejecutivos para autorizar cambios de seguridad y solicitudes de acceso a la red.
El desarrollo más preocupante es la aparición de LLMs diseñados específicamente para el ciberdelito. Al no poder o no querer eludir las barandillas de seguridad de los modelos legítimos, los ciberdelincuentes han construido los suyos.
Modelos como FraudGPT, DarkBard y DarkGPT se anuncian abiertamente en foros de hacking y canales de Telegram, con suscripciones que cuestan tan solo $75 USD al mes. Estos modelos no tienen restricciones contra el uso malicioso; de hecho, están optimizados para ello.
Sus características anunciadas incluyen la generación de contenido de phishing altamente convincente y personalizado, la ofuscación de código malicioso para evadir la detección, la generación de código de exploit y el escaneo de sitios en busca de vulnerabilidades conocidas.
Esta tendencia representa un cambio fundamental en la economía del ciberdelito.
Es la democratización de las capacidades de ataque avanzadas. El modelo “as-a-service”, que transformó la distribución de malware con el ransomware, ahora se aplica a las herramientas de ataque de IA.
Esto reduce drásticamente la barrera de habilidades y recursos necesarios para lanzar campañas sofisticadas. Actores de amenazas menos cualificados ahora pueden ejecutar ataques de alta calidad y alto volumen que antes eran dominio exclusivo de grupos de amenaza persistente avanzada (APT) bien financiados.
La consecuencia inevitable es un tsunami de amenazas de mayor volumen y calidad que amenaza con abrumar a los Centros de Operaciones de Seguridad (SOC) dirigidos por humanos.
La velocidad y la escala de los ataques impulsados por IA hacen que la defensa manual sea insostenible. Esto lleva a una conclusión lógica e ineludible: la única defensa viable contra los ataques impulsados por IA es una defensa impulsada por IA.
El propio panorama de amenazas crea el imperativo comercial para adoptar soluciones de seguridad aumentadas por IA, como las plataformas de Detección y Respuesta Extendida (XDR) y las defensas de correo electrónico que pueden correlacionar eventos, detectar anomalías y responder a amenazas a la velocidad de la máquina.
La Próxima Frontera del Riesgo: La Amenaza Inminente de la IA Agéntica
Si la IA generativa actual representa una evolución en las amenazas, la IA Agéntica promete una revolución. El informe de Cisco mira hacia el horizonte y señala a los sistemas agénticos como la próxima frontera del riesgo.
La IA Agéntica se define como “sistemas de IA que pueden actuar de forma autónoma para alcanzar objetivos sin necesidad de una guía humana constante”. Estos sistemas pueden planificar, razonar, memorizar, aprender y utilizar herramientas para ejecutar tareas complejas en el mundo digital y físico.
Si bien el potencial para la productividad es inmenso, el perfil de riesgo es igualmente extraordinario. Una IA agéntica comprometida o maliciosa no es solo una herramienta pasiva; es un adversario autónomo que opera dentro de sus redes.
La organización sin fines de lucro OWASP, con la contribución de Cisco, ya ha comenzado a trazar este nuevo territorio de amenazas. Han identificado al menos 14 vectores de amenaza distintos, que incluyen :
- Envenenamiento de la memoria (Memory Poisoning): Donde un atacante introduce datos falsos o engañosos en la memoria a corto o largo plazo del agente para manipular sus decisiones y acciones futuras.
- Encadenamiento de acciones dañinas: La capacidad de un agente para combinar una serie de acciones aparentemente benignas (leer un archivo, enviar un correo electrónico, consultar una API) en una secuencia de ataque compleja y dañina.
- Ejecución remota de código inesperada: Donde los atacantes explotan la capacidad del agente para interactuar con herramientas y ejecutar scripts para lograr la ejecución de código no autorizado.
La perspectiva de que los adversarios aprovechen la IA multimodal (que integra texto, imágenes, voz y código) dentro de un marco agéntico es particularmente sombría.
Teóricamente, un agente malicioso podría “optimizar y automatizar cadenas de ataque completas”, desde la realización de un reconocimiento autónomo de un objetivo, la creación de contenido de phishing multimodal realista (por ejemplo, un correo electrónico con un video deepfake adjunto), el descubrimiento de exploits de día cero, la generación de malware evasivo y la automatización del movimiento lateral dentro de las redes.
Esto conduciría a una explotación más rápida y a un riesgo exponencialmente mayor para todos los sectores.
El Mosaico Regulatorio Global: La Carrera por Gobernar una Tecnología Exponencial
A medida que la tecnología de IA avanza a un ritmo exponencial, los gobiernos de todo el mundo se esfuerzan por seguirle el paso, creando un panorama regulatorio global que el informe de Cisco describe acertadamente como un “mosaico” fragmentado.
No ha surgido un enfoque único y estándar, y las jurisdicciones están adoptando estrategias muy diferentes en su intento de equilibrar la innovación con la gestión de riesgos.
En un extremo del espectro se encuentra la Unión Europea, que con su Ley de IA (EU AI Act), que entró en vigor el 1 de agosto de 2024, se ha convertido en la primera jurisdicción del mundo con una ley de IA integral y de amplio alcance.
La ley adopta un enfoque basado en el riesgo, imponiendo reglas estrictas a los sistemas de “alto riesgo” (como los utilizados en infraestructuras críticas, empleo o aplicación de la ley) y prohibiendo por completo las aplicaciones de “riesgo inaceptable”.
Las multas por incumplimiento son severas, llegando hasta el 7% de la facturación mundial de una organización.
En el otro extremo se encuentra Estados Unidos, donde, en ausencia de una legislación federal integral, ha surgido un enfoque estado por estado.
Colorado se convirtió en el primer estado en aprobar una ley de IA integral, reflejando el enfoque basado en el riesgo de la UE, mientras que Utah implementó una ley centrada en la transparencia y la divulgación obligatoria cuando los consumidores interactúan con IA generativa.
Esta fragmentación presenta un desafío de cumplimiento significativo para las empresas que operan a nivel nacional.
Entre estos dos polos, los países están experimentando con una variedad de herramientas políticas, desde estrategias nacionales hasta directrices voluntarias.
Para superar esta fragmentación, han surgido alianzas transnacionales clave. Iniciativas como el Proceso de IA de Hiroshima, respaldado por 49 países, y las asociaciones formales entre los Institutos de Seguridad de IA de EE. UU. y el Reino Unido buscan alinear los esfuerzos globales, compartir las mejores prácticas y crear un entendimiento común sobre la IA segura y confiable.
Sin embargo, un análisis más profundo de la cronología de los desarrollos políticos revela un pivote geopolítico crucial que ocurrió entre 2024 y 2025.
El discurso inicial, dominado por la “seguridad” en el sentido de safety (ética, equidad, mitigación de daños sociales), ha evolucionado rápidamente hacia una conversación centrada en la “seguridad” en el sentido de security (ciberamenazas, seguridad nacional) y la “pro-innovación” (competitividad económica).
El informe documenta una serie de acciones en 2025 que subrayan este cambio :
- La nueva administración estadounidense revocó la Orden Ejecutiva anterior para centrarse explícitamente en la seguridad nacional y el fomento de la innovación.
- El Instituto de Seguridad de IA del Reino Unido se rebautizó oficialmente como Instituto de Seguridad de IA del Reino Unido, una sutil pero significativa señal de un cambio de enfoque hacia las amenazas a la seguridad nacional.
- La Comisión Europea retiró la Directiva sobre Responsabilidad de la IA para “reducir la carga administrativa y simplificar las normas de la UE”.
- Francia y la UE anunciaron planes de inversión masivos, de cientos de miles de millones de euros, en infraestructura y desarrollo de IA.
El hilo conductor es claro: la era del debate filosófico sobre la IA está dando paso a la era de la competencia geopolítica. La IA ya no es solo una tecnología que debe regularse por el bien social; es un activo estratégico fundamental en el equilibrio de poder económico y militar global.
Este cambio de mentalidad implica que las naciones verán la protección de sus capacidades de IA y la interrupción de las de sus adversarios como una prioridad principal, lo que probablemente conducirá a una intensificación del ciberespionaje patrocinado por el estado contra los laboratorios de IA y las empresas tecnológicas líderes.
Desde el Laboratorio a la Línea de Fuego: La Carrera Armamentista en la Investigación de Seguridad
Mientras los adversarios perfeccionan sus ataques, una comunidad global de investigadores de seguridad —los “white hats”— está inmersa en una carrera armamentista para comprender y mitigar estas nuevas amenazas.
El informe de Cisco destaca varias iniciativas de investigación de vanguardia, lideradas o contribuidas por su propio equipo, que revelan la fragilidad de los modelos de IA actuales, incluso los más avanzados.
Jailbreaking Algorítmico (TAP): En colaboración con la Universidad de Yale, los investigadores de Cisco desarrollaron un método algorítmico para hacer jailbreak a los LLMs llamado Tree of Attacks with Pruning (TAP).
Este método utiliza un LLM “atacante” para generar y refinar continuamente prompts dañinos contra un LLM “objetivo”, con un LLM “evaluador” que califica el éxito.
El proceso es totalmente automatizado, no requiere supervisión humana y funciona como un ataque de “caja negra” (sin conocimiento de la arquitectura interna del objetivo).
Los resultados fueron alarmantes: TAP logró tasas de éxito de jailbreak del 90% contra GPT-4 y del 98% contra PaLM-2, demostrando que incluso los modelos más sofisticados son vulnerables a ataques automatizados y eficientes.
La “Trampa del Fine-Tuning”: Una de las revelaciones más contraintuitivas y críticas para las empresas es el riesgo asociado con el fine-tuning.
El fine-tuning es el proceso común de tomar un modelo de base y entrenarlo adicionalmente con un conjunto de datos específico de un dominio (por ejemplo, financiero, legal, médico) para mejorar su relevancia y precisión.
La investigación de Cisco descubrió que este proceso, incluso cuando se realiza con conjuntos de datos completamente benignos, puede degradar catastróficamente la alineación de seguridad del modelo original.
Al evaluar variantes del modelo Llama-2-7B afinadas para los dominios de biomedicina, finanzas y derecho, los investigadores encontraron que los modelos afinados eran más de 3 veces más susceptibles a las instrucciones de jailbreak y más de 22 veces más propensos a producir una respuesta dañina en comparación con el modelo base original.
Esto significa que el mismo proceso que las empresas utilizan para hacer que la IA sea más útil para ellas también la está haciendo inherentemente más peligrosa.
Envenenamiento de Datos a Escala Web: Como se mencionó anteriormente, la investigación colaborativa de Cisco, Google, ETH Zurich y NVIDIA demostró la alarmante facilidad con la que se pueden envenenar los conjuntos de datos públicos masivos que sustentan a casi todos los principales modelos de IA.
Con técnicas como la compra de nombres de dominio caducados a los que hacen referencia los conjuntos de datos, los investigadores mostraron que podían inyectar datos maliciosos con un costo trivial, socavando la integridad del modelo desde su misma fuente de conocimiento.
Estos hallazgos de investigación pintan un cuadro claro: las defensas de seguridad incorporadas en los modelos de IA son frágiles y a menudo se ven comprometidas por las prácticas empresariales estándar.
Confiar únicamente en la seguridad proporcionada por el desarrollador del modelo es una estrategia condenada al fracaso.
Fortificando la Empresa en la Era de la IA
El informe “State of AI Security 2025” de Cisco no es simplemente un catálogo de amenazas; es una llamada de atención urgente para cada líder empresarial y de TI.
La adopción de la IA no es una opción, pero la adopción insegura es un riesgo existencial. Para navegar este nuevo y complejo panorama, las organizaciones deben ir más allá de las prácticas de ciberseguridad tradicionales y adoptar un nuevo conjunto de principios estratégicos.
Basado en los hallazgos del informe, se proponen las siguientes directrices para fortificar la empresa en la era de la IA:
Adoptar una Mentalidad de “Cero Confianza” para la IA: El principio de “nunca confiar, siempre verificar” debe extenderse a todo el ciclo de vida de la IA. La investigación sobre “Sleepy Pickle” y el envenenamiento de datos demuestra que no se puede confiar ciegamente en los modelos pre-entrenados, las bibliotecas de código abierto o los conjuntos de datos públicos. Cada componente de la cadena de suministro de IA debe ser examinado, validado y monitoreado continuamente.
Invertir en Seguridad Independiente del Modelo: La “trampa del fine-tuning” es la prueba definitiva de que las barandillas de seguridad incorporadas en un modelo son insuficientes y frágiles.
Las empresas necesitan una capa de seguridad externa e independiente que actúe como un firewall para el LLM, inspeccionando todas las entradas (prompts) en busca de ataques y todas las salidas en busca de fugas de datos o respuestas dañinas, en tiempo real y sin ser afectada por los cambios internos del modelo.
Luchar contra la IA con IA: El auge de los LLMs maliciosos como DarkGPT y la perspectiva de ataques agénticos autónomos hacen que la defensa humana sea insostenible en términos de escala y velocidad.
La única respuesta viable es aumentar las operaciones de seguridad con IA, utilizando plataformas que puedan detectar, correlacionar y responder a las amenazas a la velocidad de la máquina.
Priorizar la Seguridad del Ciclo de Vida Completo: El riesgo existe en cada etapa: desde la adquisición de datos y la selección de modelos, pasando por el entrenamiento y el fine-tuning, hasta la implementación y el monitoreo operativo.
La seguridad no puede ser una ocurrencia tardía; debe integrarse en el proceso de MLOps (Machine Learning Operations) desde el primer día, aplicando marcos de gestión de riesgos como los de NIST y OWASP en cada fase.
Educar y Gobernar el Uso Humano: La amenaza no es solo externa.
El mayor riesgo de fuga de datos de IA hoy en día proviene de empleados bien intencionados que pegan información sensible de la empresa en chatbots de terceros.
Es imperativo establecer políticas claras sobre el uso aceptable de la IA y desplegar soluciones de acceso seguro que puedan identificar y bloquear la exfiltración de datos confidenciales a herramientas de IA no sancionadas, como las que ofrece Cisco Secure Access.
La era de la inteligencia artificial está aquí, y trae consigo una promesa sin precedentes y un peligro equivalente. Las organizaciones que prosperarán no serán necesariamente las que adopten la IA más rápido, sino las que la adopten de la manera más segura. La seguridad ya no es una barrera para la innovación; es la base sobre la que se construirá la innovación duradera.
Marcelo Lozano – General Publisher IT CONNECT LATAM
Lea más sobre Ciberseguridad en
Desalineación Agéntica 2025: cuando la AI no brinda seguridad
COO 2025 en la cuerda floja digital: abismos de seguridad
Marcelo Romero 2025: El Guardián Digital la Seguridad Argentina 🛡️🔍
Group-IB 2025: el cibercrimen vulnera la confianza de los colombianos