Red teaming
Probamos el comportamiento del agente con escenarios adversariales autorizados. Documentamos fallos, impacto y cómo volver a probarlos.
ARKEA IA / SOLUCIONES
Consultoría de seguridad para agentes de IA.
ARKEA IA ofrece asesoría y evaluación de seguridad para chatbots, asistentes y agentes: red teaming, pruebas de prompt injection y context injection, análisis de bypass y diseño de guardrails. El trabajo se realiza sobre sistemas autorizados y un alcance acordado.
CONSULTORÍA Y SEGURIDAD DE IA
Antes de darle autonomía, pon a prueba sus límites.
Asesoramos a equipos que construyen o ya utilizan chatbots, asistentes y agentes. Revisamos el modelo, el contexto y las herramientas como partes de un mismo sistema.
Prompt & context injection
Evaluamos instrucciones maliciosas en mensajes, documentos y herramientas, incluida la manipulación del alcance o scope manipulation.
Guardrails & bypass
Revisamos evasiones de controles y diseñamos permisos mínimos, validación de acciones y escalado humano.
«¿Basta con disfrazar la pregunta para hacer un bypass?»
A veces una reformulación expone un control débil; no es una regla universal. La respuesta se obtiene con pruebas reproducibles. Un prompt de sistema no sustituye la autorización del servidor, la separación entre datos e instrucciones ni la revisión de acciones sensibles.
¿Qué evaluamos?
| Prompt injection | Instrucciones que intentan cambiar el comportamiento esperado del modelo, directamente o dentro de contenido externo. |
|---|---|
| Context injection / scope manipulation | Contenido que intenta alterar el contexto, el objetivo o el alcance permitido. Evaluamos la procedencia de las fuentes y la separación entre contenido y autoridad. |
| Bypass | Una evasión de un control. Se comprueba con escenarios definidos y evidencia; una respuesta inesperada no demuestra por sí sola acceso no autorizado. |
| Guardrails | Controles de entrada, salida y ejecución: validación, permisos, límites, registros y aprobación. Reducen riesgo; no garantizan que un modelo nunca falle. |
| Destilación / Distillation | Adaptación de un modelo más pequeño a partir de ejemplos o salidas de otro modelo con derechos de uso. Evaluamos calidad, coste, privacidad y regresiones de seguridad antes de recomendarla. |
¿Qué recibes al trabajar con nosotros?
- Alcance acordado: activos, permisos, datos, acciones y límites explícitos de la evaluación.
- Casos de prueba reproducibles: condiciones, evidencia, comportamiento observado e impacto.
- Hallazgos priorizados: componentes afectados, severidad y controles recomendados.
- Corrección y nueva validación: comparación con los casos iniciales y pruebas de regresión para futuros cambios.
¿Cuándo tiene sentido la destilación?
Cuando existe una tarea bien definida, ejemplos adecuados y un modelo más pequeño puede cumplir los criterios de calidad con menor latencia o coste. Requiere comparar resultados con el modelo actual; no es una mejora automática de seguridad.
Referencias técnicas
El vocabulario de evaluación toma como referencia la descripción de prompt injection de OWASP y el marco de gestión de riesgos de IA de NIST. Estas referencias no implican certificación.