Fuentes con instrucciones maliciosas: revisión defensiva para análisis GEO

Una fuente puede aportar un dato útil sobre una marca y, en otro pasaje, intentar dirigir el trabajo de quien la analiza. El problema aparece cuando una revisión asistida por IA trata esa segunda parte como una orden: cambia el criterio de evaluación, omite una advertencia o propone una acción ajena al encargo.

Este procedimiento está pensado para equipos que revisan documentos, páginas y respuestas en una auditoría GEO. Entrega un registro de fuentes sospechosas, decisiones de cuarentena y pruebas del flujo con efectos externos desactivados. No enseña a manipular respuestas de terceros ni certifica que una aplicación sea inmune a prompt injection.

La auditoría de una web preparada para agentes comprueba recorridos autorizados de navegación. Aquí se revisa otra frontera: si el contenido que entra como evidencia acaba decidiendo qué puede hacer el sistema.

Escribe la tarea y la autoridad antes de leer la fuente

Deja por escrito qué debe producir el análisis, qué materiales puede consultar y qué operaciones están autorizadas. Identifica también lo que no forma parte de la tarea: publicar contenido, contactar con una empresa, cambiar un registro o compartir documentos internos.

El nombre de un proveedor, una firma o un dominio conocido puede ayudar a valorar una afirmación, pero no concede permiso para ampliar el encargo. Tampoco lo concede una salida de una herramienta aprobada. Separa la procedencia del documento de la autoridad para ordenar acciones.

El NCSC advierte de que el contenido y las instrucciones dentro de un prompt no constituyen una frontera de seguridad equivalente a la de las consultas parametrizadas. Por eso este protocolo combina revisión documental y límites del entorno: no depende solo de una frase que pida al modelo comportarse bien.

Antes de introducir material no revisado, confirma con el responsable técnico qué acceso conserva el componente que lo leerá. Si no puedes comprobar ese límite, no describas el análisis como aislado.

Localiza cambios de tarea sin confundirlos con citas

Busca pasajes que intenten sustituir el objetivo, imponer un resultado o conseguir una acción fuera del alcance. Registra quién parece ser el destinatario de la frase y qué cambio pretende producir. Una instrucción dirigida al analista no tiene el mismo papel que las instrucciones de montaje de un producto.

No decidas por una palabra aislada. Un documento de seguridad puede citar una orden maliciosa para explicarla; un manual contiene imperativos legítimos. A la inversa, un cambio de criterio puede presentarse sin vocabulario llamativo. La revisión debe considerar función, contexto y efecto solicitado.

Utiliza estados que no presupongan una intención demostrada:

Conserva aparte las dudas sobre exactitud. Una fuente puede ser fiel al hecho y contener una instrucción ajena; también puede ser falsa sin intentar dirigir al analista. La auditoría de soporte entre citas y afirmaciones resuelve esa segunda dimensión documental.

Conserva el pasaje y pon en cuarentena su uso

Abre una ficha con identificador de fuente, URL o archivo de origen, fecha de consulta, versión disponible, ubicación del pasaje y motivo de la sospecha. Copia únicamente el fragmento necesario y su contexto permitido. No traslades conversaciones privadas, credenciales ni otros materiales que el documento no necesita para ser revisado.

La cuarentena significa suspender el uso de esa versión como entrada ordinaria hasta decidir cómo tratarla. No equivale a borrar la fuente ni a declararla falsa. Separa el original conservado, la copia de trabajo y cualquier extracción revisada.

Guarda el material en un formato de inspección que no convierta enlaces, imágenes remotas o contenido activo en acciones automáticas. No abras destinos propuestos por el pasaje para comprobar si la instrucción funciona. Si el análisis técnico requiere más acceso, deriva el caso a seguridad con el alcance y la autorización correspondientes.

Anota qué informes o ejecuciones ya usaron esa versión. La ficha debe permitir localizar resultados afectados sin propagar el contenido sospechoso a cada ticket o correo de seguimiento.

Separa la lectura del acceso a herramientas

Para revisar el texto, utiliza un entorno autorizado sin credenciales de producción, datos privados innecesarios ni herramientas capaces de modificar sistemas. Un lector que no necesita enviar mensajes no debería tener una integración de mensajería disponible en esa fase.

Pide al responsable técnico evidencia del límite real: herramientas expuestas, permisos, recursos accesibles y salidas de red permitidas. Una etiqueta «solo lectura» en el prompt no demuestra que esos accesos estén restringidos. Si el servicio aloja capacidades que no puedes inspeccionar, conserva esa limitación en el resultado.

La salida de esta fase será un hallazgo para revisión, no una orden lista para ejecutar. El componente que pueda actuar después necesita aplicar sus propios controles de autorización, sin aceptar como permiso una frase procedente del documento ni una explicación generada a partir de él.

La documentación de seguridad de agentes de OpenAI recomienda limitar el flujo de datos externos y combinar controles, y reconoce riesgo residual. Aquí se toma ese principio sin convertir la guía en un tutorial de Agent Builder ni depender de su interfaz.

Extrae una ficha revisable, no una nueva autoridad

Define qué campos puede producir el lector. Para este protocolo bastan el identificador de fuente, localizador del pasaje, descripción de la desviación, estado de revisión, incertidumbre y siguiente responsable. El texto de la fuente no debe decidir los nombres de los campos ni añadir destinos u operaciones al contrato.

Comprueba tipos, campos obligatorios y valores permitidos fuera del modelo. Revisa también el contenido de los campos: una estructura válida puede transportar una instrucción dentro de una descripción. JSON válido no equivale a evidencia fiable ni a una acción autorizada.

El revisor debe poder distinguir el fragmento original de su interpretación. Conserva la relación con la versión examinada y no sustituyas el pasaje por un resumen que elimine la parte problemática.

Si extraes una afirmación útil de una fuente en cuarentena, registra esa extracción como un artefacto separado y revisado. No devuelvas automáticamente el documento entero al flujo porque una de sus afirmaciones haya sido corroborada.

Diseña ensayos sin datos ni acciones reales

Prueba únicamente materiales propios o cuyo uso esté autorizado, con datos ficticios y sustitutos de herramientas que no puedan contactar servicios reales. No copies el contenido sospechoso en un asistente con correo, archivos privados o acceso de escritura para ver si lo obedece.

Define una tarea inocua, un resultado permitido y la desviación que quieres detectar. Añade un control legítimo de la misma tarea para comprobar que la defensa no bloquea todo. Una cita de instrucciones en un documento educativo puede servir como caso de revisión de contexto sin convertirse en una orden del usuario.

La guía de prevención de prompt injection de OWASP propone pruebas con datos inofensivos y herramientas instrumentadas. Su advertencia resulta importante: un rechazo en la respuesta final no demuestra que antes no se haya ejecutado una acción.

Por cada ensayo, conserva la versión de entrada, configuración conocida, controles activos, salida obtenida y registro de las herramientas simuladas. Fija presupuesto y condiciones antes de empezar; no amplíes intentos indefinidamente hasta conseguir el resultado deseado.

Evalúa el efecto observado y los casos que bloqueas

Decide el resultado con evidencia del entorno de prueba, no solo con el relato del modelo. Comprueba por separado si cambió el criterio del análisis, si el contenido sospechoso pasó al informe como instrucción y si hubo una llamada a una herramienta simulada fuera del alcance.

Una llamada bloqueada, una llamada permitida y una ejecución sin trazas disponibles son resultados distintos. No conviertas «no observado» en «no ocurrió» cuando falta el registro necesario. Si la salida debía limitarse a una ficha, revisa que no se añadieran destinos o acciones al siguiente paso.

Informa los recuentos de casos sospechosos, controles legítimos, desviaciones observadas, bloqueos indebidos e inconclusos. Conserva el denominador y la configuración. Si solo has probado un lector sin herramientas, no extiendas el resultado al agente conectado que opera después.

Que una versión supere estas pruebas no acredita seguridad frente a cualquier entrada. Anthropic describe la necesidad de defensas en varias capas y límites de acceso aun con modelos entrenados para resistir estas instrucciones. No traslades sus resultados de investigación a una tasa de protección de tu propia auditoría.

Cierra el caso sin perder la procedencia

La decisión puede ser excluir la versión del flujo, admitir una extracción limitada y revisada o mantener el caso pendiente de evaluación técnica. Documenta quién decide, qué artefacto se admite, para qué tarea y qué acceso queda permitido. La gobernanza de la medición GEO aporta los responsables y el historial de cambios.

Si corriges el flujo, repite el caso afectado y los controles legítimos bajo condiciones comparables. Conserva la versión anterior y las limitaciones del ensayo. No cambies la etiqueta de una fuente para que el informe parezca limpio ni elimines del denominador los casos pendientes.

Si hay indicios de una acción real no autorizada o exposición de información, deja el caso en manos del procedimiento de incidentes de la organización. Esta revisión editorial no sustituye una investigación de seguridad.

Puedes vincular estas decisiones a las fuentes que revisas junto con tus observaciones de visibilidad en Mentio. El procedimiento no anuncia un detector automático de prompt injection, un entorno de aislamiento ni una certificación de seguridad del producto.

Preguntas frecuentes

¿Una fuente citada por una IA puede dar instrucciones al analista? Puede contener texto que lo intente, pero aparecer en una cita no le concede autoridad. La tarea y los permisos proceden del encargo autorizado, no de la página o del documento consultado.

¿Basta con eliminar las frases sospechosas? No. Una limpieza de texto puede ser un control auxiliar, pero no demuestra aislamiento ni evita todas las formas de desviación. Hay que comprobar los accesos del componente y revisar lo que entrega al siguiente paso.

¿Poner una fuente en cuarentena significa que es falsa? No. Suspende su uso ordinario mientras se revisa esa versión. La exactitud de sus afirmaciones y la presencia de instrucciones ajenas son dimensiones distintas y deben conservar decisiones separadas.

¿Cómo se prueban estos controles sin afectar a terceros? Con materiales autorizados, datos ficticios y herramientas simuladas sin efectos externos. Define tarea, desviación, control legítimo y evidencia esperada antes de ejecutar; no pruebes con credenciales ni servicios reales.

¿Un rechazo del modelo demuestra que la prueba pasó? No por sí solo. Comprueba las salidas y las llamadas registradas durante el ensayo. Un rechazo final no revierte una acción anterior, y la ausencia de trazas puede dejar el resultado inconcluso.

¿Quieres saber si la IA menciona tu marca?

Descubre tu visibilidad en ChatGPT, Claude y Gemini en minutos.

Analiza tu marca gratis

Artículos relacionados