Ir al contenido

Seguridad de agentes de IA: antes de darles herramientas

ERP, correo, servidores, pagos: nueve reglas para que un agente de IA actúe sin hacer nunca lo que no tiene vuelta atrás.
15 de noviembre de 2026 por
Seguridad de agentes de IA: antes de darles herramientas
Federico Solutions, Myrko Federico

En mi artículo sobre el shadow AI, aconsejaba dar a sus equipos una herramienta de IA aprobada en lugar de prohibir. El paso siguiente llega pronto: dejar que esa herramienta actúe, lea sus correos, escriba en el ERP, lance comandos o prepare pagos. Antes de dar herramientas a un agente de IA, cuide la seguridad de los agentes de IA con nueve reglas sencillas que no dependen del modelo elegido.

Lo esencial

  • Un agente de IA no se limita a responder: actúa, con los permisos que usted le da. OWASP, referencia de la seguridad de aplicaciones, sitúa esta «agencia excesiva» entre los diez riesgos principales de las aplicaciones de IA.
  • La inyección de prompt, es decir, instrucciones ocultas en un correo, una página o un PDF que el agente lee, no tiene una defensa infalible. OWASP y Anthropic lo dicen por escrito.
  • La pregunta útil para un directivo: ¿esta acción tiene vuelta atrás? Una persona valida todo lo que no la tiene.
  • Nueve salvaguardas bastan para empezar, y ninguna exige herramientas costosas.

Seguridad de los agentes de IA: de responder a actuar

Un asistente que responde se equivoca en una página; un agente que actúa se equivoca en su contabilidad. OWASP llama a este riesgo Excessive Agency en su Top 10 2025 de aplicaciones de modelos de lenguaje: una acción dañina provocada por una salida inesperada, ambigua o manipulada del modelo. Señala tres causas: demasiadas funciones, demasiados permisos, demasiada autonomía. En la edición 2026, anunciada en septiembre, este riesgo sube al tercer puesto. En diciembre de 2025, OWASP publicó además un Top 10 propio de las aplicaciones agénticas.

El peligro no viene solo de un error del modelo. También viene de lo que lee. OWASP llama «inyección indirecta» al caso en que el agente lee un contenido externo, una web o un archivo, que contiene instrucciones, y las sigue. Y reconoce que no está claro que exista un método infalible para impedirlo. En noviembre de 2025, Anthropic publicó sus mediciones sobre un agente que navega por la web: frente a un atacante que prueba cien variantes, alrededor del 1 % de los ataques siguen teniendo éxito con sus mejores protecciones. El propio proveedor habla de un «riesgo significativo».

Reversible o irreversible: la única pregunta que importa

Para decidir lo que un agente puede hacer solo, una sola pregunta: ¿se puede volver atrás?

  • ERP. Un borrador se borra; una factura validada o un asiento conciliado, mucho menos. El agente lee y prepara, una persona valida. Detallo este caso en Seguridad MCP.
  • Correo. Leer y redactar un borrador tiene arreglo; un envío, nunca. El agente prepara, usted envía.
  • Servidor y shell. Listar archivos tiene arreglo; borrar o reconfigurar, no siempre. Los comandos habituales en una lista, todo lo demás con aprobación.
  • Pagos. Una transferencia enviada no vuelve. El agente prepara la orden, una persona la firma en la banca en línea, siempre.

Para los sistemas de IA de alto riesgo, el Reglamento europeo de IA exige que la persona encargada de la supervisión pueda «interrumpir el sistema pulsando un botón de parada» (art. 14). Un agente de oficina no entra en principio en esa categoría, pero el principio merece adoptarse.

Las nueve salvaguardas

  • Permisos mínimos. Una cuenta a nombre del agente, limitada a las herramientas y los datos de su tarea. Lo que no debe hacer, no debe poder hacerlo: la autorización se comprueba en el software de destino, no en el juicio del modelo.
  • Agentes separados. El que lee la web o los correos no tiene ni el ERP, ni el shell, ni los pagos.
  • Contenidos leídos tratados como sospechosos. Un correo, una factura en PDF o una página web pueden contener órdenes. Ninguna acción irreversible debe derivarse de un contenido externo sin revisión humana.
  • Prueba en seco. El agente simula, muestra lo que cambiaría y luego lo anula. Si no puede, presenta la lista exacta de los cambios previstos.
  • Copia de seguridad antes de escribir. Una copia restaurable antes de cada lote de cambios. Y archivar en lugar de borrar: un traslado se deshace, un borrado no.
  • Aprobación humana explícita para lo irreversible. Envío, pago, borrado, escritura en un sistema externo. La aprobación se refiere a objetos con nombre, no a «haz limpieza».
  • Registro. Cada acción deja rastro: quién, cuándo, qué y con qué resultado.
  • Presupuesto con tope. Un agente en bucle consume sin límite. OWASP habla de «consumo ilimitado»: topes, cuotas y tiempos de espera.
  • Parada de emergencia. Saber detener el agente y revocar sus accesos en pocos minutos, y haberlo probado una vez.

Bajo el capó: para su informático

La distinción que importa: una barrera técnica frente a una simple consigna dada al modelo.

  • El prompt de sistema no es un control de acceso. Denegar una herramienta a un agente que conserva un shell no le impide llamar a la misma API con curl. La documentación de Claude Code lo precisa: una regla de denegación se aplica al comando tal como está escrito; para un bloqueo de red real hace falta el sandbox.
  • Aislamiento. Un contenedor o una máquina virtual por cada agente expuesto a contenido externo: sistema de archivos de solo lectura, salida de red filtrada por lista de dominios, ningún secreto montado.
  • Identidades. Una clave de API por agente y por uso, permisos restringidos en el servidor: rol limitado en el ERP, token OAuth de alcance reducido, cuenta de correo sin permiso de envío para el agente que lee. Revocación automatizada.
  • Aprobaciones que fallan cerradas. Sin respuesta humana, se rechaza. OpenAI recomienda mantener activas las aprobaciones de herramientas, lecturas incluidas, para toda herramienta MCP.
  • Separar datos e instrucciones. El contenido no fiable va en el mensaje de usuario, nunca en las instrucciones de sistema, y salidas estructuradas (esquema JSON) enlazan las etapas, lo que cierra un canal de contrabando.
  • Registro fuera del alcance del agente. Centralizado y de solo anexión: el agente no debe poder borrar su rastro. Alerta ante un volumen de acciones anormal.
  • Presupuesto y corte. Tope de gasto por clave en el proveedor, número máximo de turnos por tarea, tiempo de espera y un procedimiento de parada (servicio detenido, claves revocadas) probado.
  • Marco. Para formalizarlo, el NIST AI RMF (gobernar, mapear, medir, gestionar) y su perfil de IA generativa ofrecen una estructura reconocida.

Lo que he aprendido

Mis reglas internas nacieron de incidentes, no de la teoría: nunca escribir sin copia de seguridad, nada irreversible sin una aprobación explícita, archivar en lugar de borrar. Durante la migración de mi ERP, una primera prueba de sincronización borró cuatro eventos de mi agenda.

En mi contabilidad llevada con un agente de IA, no se escribe nada sin una prueba en seco ni sin mi aprobación: el agente redacta un plan, lo ejecuta en seco, yo lo reviso y luego lo ejecuta tras una copia de seguridad de la base. Con mi antiguo asistente OpenClaw, separé los agentes según la confianza, y aprendí que prohibir la herramienta web a un agente que conserva un shell no bloquea nada. Hoy, mis agentes en servidor aplican los mismos principios. El presupuesto forma parte de la seguridad: vea Costo de la API de IA.

Por dónde empezar

1. Hacer el inventario de las acciones

Para cada herramienta que quiera confiar a un agente, anote lo que podría hacer en ella y marque lo que no tiene vuelta atrás.

2. Empezar con lectura y borradores

Las primeras semanas, el agente lee, resume y prepara; usted ejecuta. Ve dónde se equivoca, sin riesgo.

3. Abrir una acción cada vez, con sus salvaguardas

Prueba en seco, copia de seguridad, aprobación, registro y tope para cada nueva acción. Y pruebe la parada de emergencia antes de necesitarla.

Preguntas frecuentes

¿Mi proveedor de IA no me protege ya?

Reduce el riesgo, no lo elimina: Anthropic sigue midiendo alrededor de un 1 % de ataques con éxito en sus pruebas de navegación. La última defensa siguen siendo los permisos del agente.

Validar cada acción, ¿no anula el ahorro de tiempo?

No, si solo valida lo irreversible. El agente hace solo el trabajo repetitivo y le presenta un lote para aprobar de una vez.

¿Son obligatorias estas salvaguardas?

El Reglamento europeo de IA impone supervisión humana a los sistemas de alto riesgo. En cuanto el agente trata datos personales, se aplica la ley de protección de datos, como explico en Ley suiza de protección de datos e IA.

Para ir más lejos

Implemento agentes de IA con estas salvaguardas desde el primer día, sobre una infraestructura que usted controla. Las guías de mi servidor de IA detallan la pila técnica. Para hablar de su caso: una llamada de descubrimiento de 20 minutos.

Las guías paso a paso

Para instalar estas salvaguardas en un servidor que usted controla, mi guía n.º 6 (39 CHF) describe agentes con permisos separados, contenedores aislados para los que leen contenido externo y aprobaciones antes de cualquier ejecución; mi guía n.º 3 (39 CHF) guarda claves y contraseñas en una caja fuerte y en archivos cifrados, para que ningún secreto quede en claro. Ambas forman parte del paquete de guías (149 CHF), una pila completa, documentada y probada en producción.

Fuentes

Foto de portada: Flygklubben / Wikimedia Commons, licencia CC BY-SA 4.0.

Etiquetas: salvaguardas de IA, agentes de IA, inyección de prompt, seguridad, OWASP, Reglamento de IA, pymes

Conectar Odoo y kSuite de Infomaniak: correo, agenda, contactos
Lo que realmente conecté entre mi Odoo autoalojado y kSuite, lo que funciona a diario y sus límites.