
En este artículo (4)
La inyección de prompts es un riesgo arquitectónico: análisis ASD
Puntos Clave
- Trata la inyección de prompts como un riesgo de diseño del sistema, no como un problema de redacción del prompt.
- Limita los permisos de los agentes antes de conectar los LLM a herramientas, datos o acciones de flujo de trabajo.
- Usa monitoreo y puertas de revisión para que los fallos queden contenidos en lugar de ser confiables por defecto.
Por qué importa
- ProductoProduct teams need agent designs that contain bad instructions before they become customer impact.
- InversoresInvestors should pressure test AI agent companies for permissions, monitoring, and containment, not just model demos.
Las recomendaciones de la agencia orientan a los desarrolladores hacia la contención, los permisos, la supervisión y un diseño de sistemas responsable y sensato.
La guía de la agencia orienta a los desarrolladores hacia la contención, los permisos, el monitoreo y un diseño de sistemas aburridamente adulto.
La frase más aterradora en la seguridad de la IA no la escribe un atacante con sudadera. La escribe un regulador, con calma, en la prosa de una guía: no puedes arreglar esto dentro del modelo. En algún lugar, un ingeniero de prompts acaba de derramar café sobre una lista plastificada de palabras mágicas. Esa es la parte útil del nuevo enfoque de la Australian Signals Directorate sobre la inyección de prompts para la IA agéntica. ASD no está tratando la inyección de prompts como una prueba unitaria inestable, un error más que aplastar antes del día de la demo. Está señalando la forma del sistema en sí, algo mucho menos tranquilizador y mucho más accionable.
ASD traslada la solución fuera del modelo
Según iTnews, ASD ha emitido una nueva guía para empresas que afirma que una debilidad central de seguridad en la IA agéntica no puede resolverse dentro del modelo. La recomendación de la agencia, según informó iTnews, es que la mitigación pertenece a la capa de software que envuelve a los modelos. InfoSec Today resumió el mismo punto central: la debilidad no es algo que las partes internas del modelo puedan eliminar de forma permanente, así que los desarrolladores necesitan controles alrededor del modelo en lugar de heroicos conjuros de prompts. Eso importa porque el riesgo aumenta cuando los LLM se conectan a herramientas, almacenes de datos y acciones de flujo de trabajo. Un chatbot que escribe un haiku malo es vergonzoso. Un agente que lee instrucciones hostiles de un documento y luego usa una herramienta aprobada con privilegios excesivos es una Roomba con una tarjeta de crédito corporativa.
Por qué los prompts más inteligentes chocan contra un muro
El análisis de ArcticDBA de Alexander Arvidsson explica el obstáculo arquitectónico en términos sencillos: los prompts del sistema, los mensajes del usuario y los documentos recuperados fluyen todos por la misma ventana de contexto como tokens. En otras palabras, el modelo recibe instrucciones y contenido potencialmente hostil a través del mismo canal general. Eso se parece menos a tener un archivador cerrado con llave y más a escribir la contraseña en una nota adhesiva, y luego pedirle a la nota adhesiva que se comporte de forma ética. Nilesh Barla, de Adaline, plantea el punto complementario de que la inyección de prompts no se arregla con mejores prompts porque la superficie de ataque vive en la capa de herramientas. El análisis de Arun Baby sostiene de forma similar que los filtros no bastan, porque los LLM procesan instrucciones de confianza y datos no confiables a través del mismo flujo de tokens. Las defensas que Arun Baby identifica como más sólidas son arquitectónicas, incluida la separación de privilegios, el aislamiento dirigido por tipos y el resaltado. Aquí es donde la conversación se vuelve, benditamente, menos mística. La lección práctica no es dejar de usar agentes. Es dejar de fingir que un prompt del sistema más largo es un cinturón de seguridad, un airbag y una ley de tránsito.
La investigación converge en la contención
Ciphers Security informó que un artículo enviado a arXiv el 17 de mayo de 2026 por Sahar Abdelnabi y Eugene Bagdasarian examina por qué los agentes de IA podrían ser siempre vulnerables a las inyecciones de prompts. El artículo de arXiv, AI Agents May Always Fall for Prompt Injections, dice que las defensas existentes de separación entre datos e instrucciones pueden pasar por alto la manipulación contextual y también pueden degradar un comportamiento contextualmente apropiado. Esa es la miserable compensación: aprieta demasiado las reglas y el trabajo útil se rompe; aflójalas y un adversario puede hacer que un flujo malicioso parezca legítimo. Esto no es un duende totalmente nuevo que salió ayer de la estantería de GPU. El artículo anterior de arXiv Prompt Injection: Parameterization of Fixed Inputs muestra que el problema tiene una trayectoria formal de investigación desde hace años. Si la propuesta de un proveedor trata la inyección de prompts como una molestia recién descubierta resuelta con polvos mágicos propietarios, revisa la bibliografía antes de revisar la factura. El artículo de arXiv de 2026 replantea el problema mediante la Integridad Contextual, una teoría de privacidad sobre si los flujos de información cumplen con las normas contextuales. Ese marco es útil porque los agentes toman decisiones cada vez más basadas en el contexto, no solo en cadenas estáticas. La parte difícil no es detectar la frase ignora las instrucciones anteriores, sino reconocer cuándo una solicitud aparentemente razonable introduce de contrabando la autoridad, el propósito o el flujo equivocados.
Qué deberían hacer ahora los desarrolladores
En conjunto, la guía de ASD a través de iTnews y la literatura de investigación apuntan hacia la contención. Da a los agentes el menor acceso a herramientas que necesiten, separa las instrucciones de confianza del contenido no confiable tanto como lo permita la arquitectura, exige revisión humana para acciones de alto impacto y supervisa el uso de herramientas como si perteneciera a un empleado junior muy entusiasta. No porque el empleado junior sea malvado, sino porque se le puede convencer de que la fotocopiadora es una estrategia de migración de bases de datos. Para los equipos de producto, la pregunta inmediata no es si se puede hacer que un LLM sea perfectamente obediente. Es qué ocurre cuando no lo es. Diseña sistemas para que una instrucción maliciosa choque con límites de permisos, registros, puertas de revisión y herramientas con alcance limitado antes de tocar dinero, datos de clientes o flujos de trabajo de producción. Para quienes están construyendo con agentes, la advertencia de ASD es un empujón para alejarse de la superstición de los prompts y acercarse a la ingeniería de seguridad. El modelo no es el castillo. Es el becario muy persuasivo que sostiene las llaves.
Fuentes8 fuentes
Las noticias, los anuncios y las investigaciones con los que trabajó el editor de IA. Los enlaces abren la publicación original.
- ASD afirma que la inyección de prompts en IA no puede arreglarseitnews.com.au
- ASD afirma que la inyección de prompts en IA no puede arreglarseinfosectoday.io
- Un estudio concluye que la inyección de prompts puede ser imposible de arreglar en agentes de IAcipherssecurity.com
- La inyección de prompts no es un problema de prompts - por Nilesh Barlalabs.adaline.ai
- Luchando contra lo imposible de arreglar: el estado de la defensa contra la inyección de prompts · ArcticDBA - Alexander Arvidssonarcticdba.se