Un analista de seguridad puede recibir cientos de alertas durante una jornada. Entre intentos de acceso, cambios de permisos y actividad de red, distinguir una amenaza real de un evento sin importancia exige tiempo y contexto. La inteligencia artificial puede ayudar a ordenar esa información, pero también introduce riesgos cuando accede a datos sensibles, se conecta con sistemas internos o ejecuta acciones sin controles suficientes.
La relación entre ciberseguridad e inteligencia artificial funciona en dos direcciones. La IA puede apoyar la detección de amenazas, mientras que los modelos, datos e integraciones deben protegerse frente a manipulación, filtraciones y accesos indebidos. Adoptarla con criterio exige saber qué información procesa, en qué decisiones puede influir y quién responde cuando algo falla.
Prueba la gestión de credenciales
El Instituto Internacional de Ingeniería (3i) permite a organizaciones e instructores que ya imparten programas de ciberseguridad e inteligencia artificial emitir certificados verificables y revisar si la plataforma se adapta a su proceso de formación.
Una relación de doble vía
La IA puede analizar grandes volúmenes de eventos y encontrar relaciones difíciles de identificar mediante una revisión manual. Un sistema puede comparar intentos de inicio de sesión, conexiones inusuales, cambios de permisos y actividad de dispositivos para señalar una posible cuenta comprometida. El beneficio aparece cuando el analista recibe un caso priorizado con los registros que explican por qué merece atención.
También puede resumir incidentes, clasificar correos sospechosos o relacionar indicadores encontrados en distintas herramientas. Una conexión poco habitual podría corresponder a un ataque, pero también a un viaje autorizado o una modificación de infraestructura. Por eso el equipo necesita conservar la evidencia original y conocer los criterios usados para priorizar el evento.
El NIST Cybersecurity Framework 2.0 organiza la gestión del riesgo mediante seis funciones: Gobernar, Identificar, Proteger, Detectar, Responder y Recuperar. No prescribe una tecnología concreta; relaciona resultados de seguridad con responsables, procesos y objetivos organizacionales. Aplicado a proyectos de IA, evita que la herramienta quede aislada de la estrategia general de ciberseguridad.
La relación también opera en sentido contrario. Actores maliciosos pueden usar IA para adaptar mensajes fraudulentos, analizar información pública o producir variaciones de una campaña. Esto no elimina las amenazas conocidas, pero puede modificar su velocidad y escala.
Riesgos propios de los sistemas de IA
Una aplicación basada en IA puede presentar vulnerabilidades que no aparecen de la misma manera en un software convencional. El riesgo puede estar en el modelo, pero también en las instrucciones, los datos, los permisos, las integraciones y los servicios externos.
La inyección de instrucciones ocurre cuando un usuario, una página o un documento incorpora texto diseñado para alterar el comportamiento del modelo. Un archivo aparentemente normal podría incluir indicaciones para ignorar reglas previas, revelar información o realizar una acción fuera del alcance autorizado. El problema aumenta cuando la respuesta activa otra herramienta.
La divulgación de información sensible puede producirse si una aplicación consulta repositorios internos sin separar correctamente los permisos. El modelo podría responder con información existente en la fuente, pero no autorizada para ese usuario. El envenenamiento de datos aparece cuando alguien modifica información usada para entrenar, ajustar o alimentar el sistema con el propósito de influir en resultados posteriores.
La autonomía excesiva añade otro riesgo. Un asistente conectado al correo, una base de datos o un sistema administrativo puede causar daños si dispone de más permisos de los necesarios. El Top 10 2025 de riesgos y mitigaciones para LLMs y aplicaciones de IA generativa de OWASP incluye la inyección de prompts, la divulgación de información sensible, el envenenamiento de datos y modelos, y la agencia excesiva.
La taxonomía de aprendizaje automático adversarial de NIST organiza ataques según el tipo de sistema, la etapa del ciclo de vida, los objetivos del atacante y su nivel de conocimiento. Esta clasificación ayuda a distinguir un error de diseño de una acción deliberada y a seleccionar pruebas más realistas.
Controles y pruebas del sistema
La seguridad comienza antes de conectar un modelo a información interna. Primero se define el caso de uso: qué tarea realizará, qué datos necesita, quién podrá utilizarlo y qué acciones tendrá prohibidas. Después se identifican el proveedor del modelo, las fuentes de datos, las instrucciones internas, las aplicaciones conectadas y los servicios externos.
El principio de privilegio mínimo reduce el impacto de un error. Un asistente que resume documentos no necesita capacidad para eliminarlos, modificar cuentas o enviar información a destinatarios externos. La clasificación de datos también debe ocurrir antes de incorporar información personal, financiera, contractual o confidencial.
Las Guidelines for secure AI system development del National Cyber Security Centre distribuyen estas responsabilidades entre diseño, desarrollo, despliegue, operación y mantenimiento. Este enfoque exige documentar modelos, datos e instrucciones, proteger la cadena de suministro y preparar procedimientos de respuesta antes del despliegue.
Una aplicación no está suficientemente evaluada solo porque responde correctamente en condiciones habituales. También debe probarse frente a entradas manipuladas, solicitudes fuera de alcance, documentos ambiguos e interrupciones del proveedor. Si consulta una base de conocimiento, debe verificarse que cada persona reciba únicamente información autorizada.
Las pruebas deben considerar resultados incorrectos presentados con aparente seguridad. Conviene definir evidencia mínima, fuentes permitidas, acciones que requieren confirmación y condiciones para detener el sistema. En procesos de alto impacto, una regla técnica independiente puede impedir que una salida del modelo se convierta directamente en una orden.
Gobernanza y formación práctica
La gobernanza transforma controles aislados en un proceso repetible. El Artificial Intelligence Risk Management Framework de NIST propone cuatro funciones: Gobernar, Mapear, Medir y Gestionar. Aplicadas a ciberseguridad, obligan a identificar al responsable del sistema, describir el contexto de uso, evaluar resultados y decidir qué riesgos se reducen, aceptan o evitan.
Un inventario operativo debería registrar dónde se utiliza IA, qué versión del modelo está activa, qué información consulta, con qué servicios se conecta y quién aprueba los cambios. Sin esa trazabilidad, un incidente puede quedar dividido entre tecnología, seguridad y el proveedor.
La formación debe seguir esa misma lógica. Un participante puede recibir un caso de uso, identificar datos sensibles, representar las integraciones, plantear amenazas, seleccionar controles y definir evidencias para comprobarlos. También puede comparar una alerta con la explicación generada por un modelo o probar instrucciones manipuladas en un entorno controlado.
La evaluación resulta más útil cuando exige justificar decisiones. El alumno debería explicar por qué un dato puede ingresar al sistema, qué permiso necesita una integración y qué señal demuestra que el control funciona. Esto permite distinguir una explicación general de una competencia aplicable en proyectos reales.
Conclusión
La unión entre ciberseguridad e inteligencia artificial exige observar el sistema completo: datos, modelos, software, permisos, personas y proveedores. La decisión práctica no consiste en aceptar o rechazar la IA de forma general, sino en definir para qué se utilizará, qué daño podría producir y qué evidencia permitirá mantenerla bajo control.
Emite credenciales verificables
Organiza la emisión de credenciales para los alumnos de tus programas de ciberseguridad e inteligencia artificial y facilita su comprobación pública mediante QR, enlace o código de validación.
Fuentes consultadas
Pascoe, Cherilyn; Quinn, Stephen; Scarfone, Karen. The NIST Cybersecurity Framework (CSF) 2.0. 2024.
Tabassi, Elham. Artificial Intelligence Risk Management Framework (AI RMF 1.0). 2023.
Vassilev, Apostol; Oprea, Alina; Fordyce, Alie; Anderson, Hyrum; Davies, Xander; Hamin, Maia. Adversarial Machine Learning: A Taxonomy and Terminology of Attacks and Mitigations. 2025.
OWASP GenAI Security Project. Top 10 2025 de riesgos y mitigaciones para LLMs y aplicaciones de IA generativa. 2025.
National Cyber Security Centre. Guidelines for secure AI system development. 2023.
