Aprendizaje Automático Adversarial: cómo proteger los sistemas de Inteligencia Artificial frente a nuevos ataques
Por: Edison Narváez
Publicado: Septiembre 2026
Área: Ciberseguridad · Inteligencia Artificial · Machine Learning · Seguridad Digital
Resumen
La rápida incorporación de sistemas de Inteligencia Artificial en diferentes sectores está creando nuevas oportunidades, pero también nuevas vulnerabilidades de seguridad. Los sistemas de IA pueden ser atacados mediante técnicas diseñadas específicamente para manipular sus modelos, alterar sus resultados o extraer información sensible.
El artículo Oportunidades del Aprendizaje Automático Adversarial (AML) para fortalecer la ciberseguridad de la IA en el contexto colombiano analiza precisamente estos riesgos desde el contexto de Colombia.
Los investigadores estudian los fundamentos del Aprendizaje Automático Adversarial (Adversarial Machine Learning, AML) y analizan vulnerabilidades relacionadas con ataques adversariales e inyección de prompts en sistemas de Inteligencia Artificial generativa.
Además, el trabajo examina cuatro escenarios de aplicación: salud, agricultura, planeación pública y asistentes virtuales corporativos.
El estudio concluye que la adopción segura de IA requiere avanzar hacia una estrategia de seguridad desde el diseño, acompañada de medidas de protección específicas para sistemas de IA, capacitación especializada y una mayor cooperación entre gobierno, empresas y universidades.
Palabras clave: Ciberseguridad, Inteligencia Artificial, Machine Learning, Aprendizaje Automático Adversarial, ataques adversariales, prompt injection, Colombia.
1. Introducción
La Inteligencia Artificial está comenzando a formar parte de actividades cada vez más importantes.
Actualmente puede encontrarse en:
- Sistemas de salud.
- Bancos.
- Empresas.
- Plataformas educativas.
- Agricultura.
- Gobiernos.
- Chatbots.
- Sistemas de recomendación.
- Herramientas de análisis de datos.
Sin embargo, a medida que aumenta su utilización también aumenta la superficie de ataque.
Un sistema de IA no solamente puede sufrir los ataques tradicionales de una aplicación informática.
También puede ser atacado mediante técnicas diseñadas específicamente para engañar al modelo de Inteligencia Artificial.
Aquí aparece un nuevo campo:
Adversarial Machine Learning (AML).
El AML estudia tanto los ataques contra modelos de aprendizaje automático como las técnicas necesarias para defenderlos.
2. ¿Qué es el Aprendizaje Automático Adversarial?
El Adversarial Machine Learning estudia situaciones en las que un atacante intenta manipular un sistema de Machine Learning.
De forma sencilla:
Datos normales
↓
Modelo de IA
↓
Predicción
Pero un atacante puede introducir información manipulada:
Datos manipulados
↓
Modelo de IA
↓
Predicción incorrecta
El objetivo puede ser:
- Engañar al modelo.
- Modificar una clasificación.
- Evadir un sistema de seguridad.
- Extraer información.
- Manipular respuestas.
- Provocar decisiones incorrectas.
Por eso, proteger un modelo de IA requiere considerar no solamente el software que lo ejecuta, sino también la posibilidad de que los datos de entrada sean manipulados.
3. ¿Qué investigaron los autores?
El estudio fue desarrollado por:
- Felipe Santiago Valderrama Ballesteros
- Juan Manuel Cortés Jiménez
- Jorge Eliecer Camargo Mendoza
Los tres autores están vinculados con la Universidad Nacional de Colombia.
El artículo fue publicado el 30 de junio de 2026 en la revista Tecnura, volumen 30, número 88, páginas 69–84.
La investigación tiene como objetivo analizar cómo las técnicas de AML pueden utilizarse para fortalecer la seguridad de sistemas de Inteligencia Artificial dentro del contexto colombiano.
4. El nuevo problema: atacar a la Inteligencia Artificial
Tradicionalmente, la ciberseguridad se concentraba en proteger:
Servidores
Redes
Bases de datos
Aplicaciones
Pero ahora también debemos proteger:
Modelos de IA
Datos de entrenamiento
Prompts
Modelos de lenguaje
Sistemas de inferencia
Esto crea una nueva superficie de ataque.
Un sistema puede estar correctamente protegido desde el punto de vista tradicional y aun así presentar vulnerabilidades específicas relacionadas con su modelo de IA.
5. Ataques adversariales
Uno de los conceptos principales del artículo son los ataques adversariales.
Estos ataques buscan generar pequeñas modificaciones en los datos de entrada capaces de provocar grandes cambios en la respuesta del modelo.
Por ejemplo:
Imagen original
↓
Modelo de IA
↓
"Vehículo"El atacante modifica ligeramente la información:
Imagen manipulada
↓
Modelo de IA
↓
"Persona"Aunque para una persona las dos imágenes puedan parecer prácticamente iguales, el modelo puede interpretarlas de manera diferente.
Este tipo de comportamiento representa un riesgo importante para sistemas utilizados en aplicaciones críticas.
6. ¿Qué es la inyección de prompts?
Con la aparición de los grandes modelos de lenguaje (LLM) apareció otro problema:
Prompt Injection
Consiste en introducir instrucciones diseñadas para modificar el comportamiento previsto de un sistema de IA.
Por ejemplo, un sistema puede estar configurado para:
Responder únicamente preguntas relacionadas con una empresa.
Pero un usuario podría intentar introducir instrucciones adicionales para conseguir que el sistema:
- Ignore sus restricciones.
- Revele información.
- Ejecute instrucciones no autorizadas.
- Proporcione datos internos.
- Modifique su comportamiento.
El artículo identifica la inyección de prompts como una de las vulnerabilidades emergentes que deben considerarse dentro de la seguridad de los sistemas de IA.
7. El problema de los grandes modelos de lenguaje
Los Large Language Models (LLM) han aumentado considerablemente las posibilidades de la Inteligencia Artificial.
Sin embargo, también pueden convertirse en objetivos de ataque.
Un atacante podría intentar:
Usuario
↓
Prompt malicioso
↓
LLM
↓
Manipulación del comportamiento
↓
Exposición o ejecución no deseada
Esto resulta especialmente preocupante cuando el modelo está conectado con otros sistemas.
Por ejemplo:
LLM
↓
Base de datos
↓
Correo electrónico
↓
Sistema empresarial
↓
Archivos internos
Cuantas más capacidades tenga el sistema, mayor puede ser el impacto de una vulnerabilidad.
8. IA en sectores críticos
Los investigadores analizan diferentes escenarios donde la IA puede presentar riesgos de seguridad.
🏥 Salud
La IA puede utilizarse para apoyar:
- Análisis de información médica.
- Gestión de pacientes.
- Predicciones.
- Sistemas de asistencia.
Un ataque podría comprometer información sensible o alterar resultados.
🌱 Agricultura
La IA puede utilizarse para:
- Analizar cultivos.
- Detectar enfermedades.
- Predecir condiciones.
- Automatizar decisiones.
Manipular los datos podría producir decisiones agrícolas incorrectas.
🏛️ Planeación pública
Los sistemas de IA pueden utilizarse para analizar información y apoyar decisiones gubernamentales.
Una manipulación podría afectar procesos administrativos o de planificación.
💬 Chatbots corporativos
Los asistentes virtuales pueden tener acceso a información interna.
Una vulnerabilidad podría utilizarse para intentar obtener datos que deberían permanecer protegidos.
9. Seguridad desde el diseño
Uno de los conceptos fundamentales que plantea la investigación es la necesidad de avanzar hacia una estrategia de:
Security by Design
Es decir:
La seguridad debe incorporarse desde el diseño del sistema y no después de que aparezca una vulnerabilidad.
Un proyecto de IA debería considerar desde el comienzo:
- Protección de datos.
- Control de acceso.
- Validación de entradas.
- Seguridad del modelo.
- Monitoreo.
- Detección de anomalías.
- Protección frente a ataques adversariales.
- Auditoría.
Esto es especialmente importante para aplicaciones críticas.
10. ¿Cómo puede ayudar Machine Learning a la ciberseguridad?
La relación entre IA y ciberseguridad no es únicamente un problema.
También existe una oportunidad.
Los algoritmos de Machine Learning pueden utilizarse para:
Detectar anomalías
Identificar comportamientos que se alejan del comportamiento normal.
Detectar phishing
Analizar mensajes y sitios web sospechosos.
Detectar intrusiones
Identificar patrones relacionados con ataques de red.
Analizar malware
Encontrar características asociadas con software malicioso.
Predecir amenazas
Identificar patrones que podrían indicar futuros ataques.
Esto permite pasar de una seguridad principalmente reactiva hacia una seguridad más predictiva y adaptativa.
11. El desafío de proteger la propia IA
Aquí aparece una paradoja:
Utilizamos IA para defendernos, pero también necesitamos proteger la IA que utilizamos para defendernos.
El sistema puede representarse así:
CIBERATAQUE
↓
┌──────────────┐
│ SISTEMA IA │
└──────────────┘
↓
DETECCIÓN
↓
RESPUESTA
Pero el atacante puede intentar atacar directamente:
ATACANTE
↓
┌────────────────┐
│ MODELO DE IA │
│ DATOS / PROMPT │
└────────────────┘
↓
MANIPULACIÓN
Por eso la seguridad debe cubrir todo el ciclo de vida del sistema.
12. Principales desafíos en Colombia
El estudio señala que Colombia enfrenta diferentes obstáculos para implementar sistemas seguros de IA.
Entre ellos se encuentran:
Limitaciones presupuestarias
Especialmente en pequeñas y medianas empresas.
Escasez de talento especializado
La seguridad de IA requiere conocimientos combinados de:
Ciberseguridad + IA + Machine Learning + ingeniería de software.
Fragmentación regulatoria
Las organizaciones necesitan marcos claros para gestionar los riesgos asociados con estas tecnologías.
Protección de datos
Los sistemas de IA pueden procesar grandes cantidades de información sensible.
Estas condiciones dificultan una adopción segura de la Inteligencia Artificial.
13. Una estrategia de defensa
A partir de los problemas analizados, puede plantearse una arquitectura de defensa:
USUARIO
↓
VALIDACIÓN
↓
FILTRO DE ENTRADAS
↓
MODELO DE IA
↓
MONITOREO CONTINUO
↓
DETECCIÓN DE ANOMALÍAS
↓
RESPUESTA
↓
AUDITORÍA
La seguridad no debería depender de una única barrera.
Debe existir una combinación de controles.
14. IA generativa y nuevos riesgos
La aparición de IA generativa está modificando el panorama de amenazas.
Los atacantes pueden utilizar IA para desarrollar:
- Phishing personalizado.
- Ingeniería social.
- Automatización de ataques.
- Generación de código malicioso.
- Manipulación de información.
- Ataques más difíciles de detectar.
Al mismo tiempo, los defensores pueden utilizar IA para:
- Analizar grandes volúmenes de eventos.
- Detectar patrones.
- Automatizar respuestas.
- Clasificar amenazas.
- Priorizar vulnerabilidades.
Por lo tanto, se está produciendo una especie de carrera tecnológica:
IA para atacar
vs.
IA para defender
15. Importancia para Latinoamérica
El caso colombiano representa un problema que no se limita a Colombia.
Los países latinoamericanos están incrementando rápidamente su digitalización.
Esto significa que también aumenta la necesidad de proteger:
- Instituciones públicas.
- Universidades.
- Empresas.
- Bancos.
- Hospitales.
- Infraestructura crítica.
- Datos ciudadanos.
La investigación señala que la adopción segura de IA requiere colaboración entre:
Gobierno
Empresas
Universidades
Especialistas en ciberseguridad
para desarrollar un entorno digital más resiliente.
16. ¿Qué significa esto para las universidades?
Las universidades tienen un papel importante.
No basta con enseñar programación o utilizar herramientas de IA.
También es necesario formar profesionales capaces de comprender:
Inteligencia Artificial
↓
Machine Learning
↓
Ciberseguridad
↓
IA adversarial
↓
Ética y privacidad
↓
Seguridad de sistemas
Esta combinación puede convertirse en una de las áreas profesionales más importantes durante los próximos años.
17. Conclusiones
El crecimiento de la Inteligencia Artificial está generando nuevas oportunidades, pero también nuevas superficies de ataque.
El Aprendizaje Automático Adversarial permite comprender cómo los sistemas de Machine Learning pueden ser manipulados y cómo pueden desarrollarse mecanismos para protegerlos.
El estudio realizado en Colombia demuestra que amenazas como los ataques adversariales y la inyección de prompts deben formar parte de las estrategias modernas de ciberseguridad.
La seguridad de los sistemas de IA no puede depender únicamente de soluciones tradicionales.
Es necesario adoptar un enfoque basado en:
Seguridad desde el diseño
Monitoreo continuo
Validación de datos
Protección de modelos
Formación especializada
Gobernanza
La principal lección es clara:
A medida que la Inteligencia Artificial se vuelve más poderosa, protegerla se vuelve tan importante como utilizarla.
Para Latinoamérica, esto representa tanto un desafío como una oportunidad para desarrollar capacidades propias en IA, Machine Learning y ciberseguridad.
📚 Referencia original
Valderrama Ballesteros, F. S., Cortés Jiménez, J. M., & Camargo Mendoza, J. E. (2026). Oportunidades del Aprendizaje Automático Adversarial (AML) para fortalecer la ciberseguridad de la IA en el contexto colombiano. Tecnura, 30(88), 69–84.
DOI: 10.14483/22487638.23438