Cuando Fernando Iturrieta desplegó un asistente de IA especializado en derecho e invitó al público a intentar vulnerarlo, aproximadamente 2.000 personas aceptaron el desafío. En lugar de tratarlo como un acto publicitario, lo abordó como un ejercicio estructurado de pruebas de seguridad—registrando cada interacción para entender la verdadera superficie de ataque de una herramienta de IA en producción. Los hallazgos son más instructivos que la mayoría de los análisis teóricos de seguridad.
La categoría de ataque más común fue la inyección de prompts directa: los usuarios intentaban anular las instrucciones del sistema insertando comandos como "ignora las instrucciones anteriores" o afirmando tener permisos elevados. Una porción significativa intentó tácticas de juego de roles—pidiendo al asistente que fingiera ser una IA diferente sin restricciones. Ambos enfoques están bien documentados, pero ver su frecuencia en un despliegue real subraya que siguen siendo los movimientos predeterminados para la mayoría de usuarios adversarios.
Más interesantes fueron los intentos de ingeniería social: los usuarios construyeron escenarios ficticios elaborados diseñados para hacer que respuestas dañinas o fuera de alcance parecieran contextualmente justificadas. Estos son más difíciles de bloquear con simples filtros de palabras clave porque la intención problemática está incrustada en narrativas que suenan plausibles. El enfoque específico del dominio del asistente—estar explícitamente limitado a preguntas legales—proporcionó una capa de contención natural que los asistentes genéricos no poseen.
En el lado defensivo, el experimento validó algunos principios prácticos. Los prompts del sistema claros y específicos que definen el alcance positivamente (qué hace el asistente) superaron a los prompts que intentaban enumerar prohibiciones. El filtrado de salida en capas capturó casos límite que las defensas a nivel de prompt no detectaron. Ningún mecanismo único fue suficiente; las respuestas resilientes provinieron de controles superpuestos.
La conclusión práctica para los desarrolladores: si estás lanzando un asistente de IA a usuarios reales, asume entrada adversaria desde el primer día e instrumenta tus registros para categorizarla. Una prueba de seguridad pública controlada—incluso una informal—expondrá patrones de ataque más rápido que las pruebas internas. La restricción de dominio es una propiedad de seguridad genuina, no solo una decisión de producto. Y la brecha entre "funciona en demostraciones" y "se mantiene bajo uso hostil" es exactamente donde los sistemas de IA en producción fallan.