¿Recuerdan cuando el red-teaming consistía en un puñado de pasantes intentando que un chatbot dijera una mala palabra?
Esos días están oficialmente muertos. OpenAI acaba de lanzar GPT-Red, que es esencialmente un super-hacker dedicado de LLM. Según MIT Tech Review, el objetivo aquí es usar el modelo como un contrincante para encontrar vulnerabilidades en otros modelos de OpenAI antes que el público. En lugar de depender de que los testers humanos tropiecen con un prompt ingenioso que eluda un filtro de seguridad, han construido una máquina específicamente diseñada para romper esos filtros.
Es un reconocimiento tácito de que el juego del gato y el ratón de la inyección de prompts ha superado la velocidad humana. Ahora estamos en un punto donde la superficie de ataque de un modelo de vanguardia es demasiado vasta para que un equipo de humanos la mapee. (Probablemente costó una fortuna en H100s entrenar un modelo solo para actuar como antagonista profesional). Al automatizar la fase de “ataque” del ciclo de seguridad, OpenAI puede someter a sus modelos a pruebas de estrés a una escala que requeriría un ejército de miles de red-teamers humanos.
La lógica es simple: si quieres construir un muro que nadie pueda escalar, construyes un robot especializado en escalar muros y le dices que se vuelva loco. Pero hay una cierta ironía en el hecho de que, para hacer sus modelos “seguros”, tuvieron que construir un modelo que es un experto en ser peligroso. Es un poco como contratar a un ladrón de joyas de clase mundial para revisar las cerraduras de tu bóveda. Claro, tu bóveda ahora está más blindada, pero también acabas de pasar meses enseñándole a un ladrón exactamente cómo funcionan tus sistemas de seguridad.
El problema aquí es que esto no resuelve realmente el problema de seguridad; solo desplaza el cuello de botella. Si tienes un modelo que puede encontrar automáticamente cada solo hueco en una capa de seguridad, no has arreglado los huecos; solo has encontrado una forma más rápida de listarlos. Es como un entrenador de boxeo profesional que solo entrena al luchador golpeándolo en la cara durante diez asaltos seguidos. El luchador podría volverse mejor bloqueando, pero sigue reaccionando al golpe. No está aprendiendo a pelear; está aprendiendo a sobrevivir a un tipo muy específico de agresión.
¿En serio se supone que debemos confiar en el zorro para construir la cerca?
El riesgo aquí es que GPT-Red es, por definición, un plano de cómo romper LLMs. Si un modelo con esta capacidad de ataques adversariales se filtra alguna vez —o si un competidor construye algo similar—, las ganancias de “seguridad” que OpenAI afirma estar logrando se evaporarán de la noche a la mañana. Hemos visto lo rápido que se filtran los pesos en esta industria. Una vez que un modelo “super-hacker” está en la naturaleza, cada filtro de seguridad se convierte en una sugerencia en lugar de una regla.
Luego está el inevitable compromiso entre seguridad y utilidad. Cada vez que GPT-Red encuentra un hueco y OpenAI lo tapa, el modelo suele volverse un poco más soso. Ya hemos visto la lobotomía del “como modelo de lenguaje de IA” ocurrir en tiempo real durante los últimos años. Cuando automatizas el proceso de red-teaming, aceleras esta esterilización. Terminas con un modelo que se niega a escribir una historia ficticia sobre un asalto a un banco —no porque esté ayudando a la gente a robar bancos, sino porque ha sido condicionado por un robot para tenerle pánico a cualquier prompt que se parezca remotamente a un crimen.
Sospecho que estamos entrando en una era de escalada adversarial donde la única forma de asegurar un modelo es tener un modelo más grande y agresivo atacándolo en un bucle cerrado. Es un bucle recursivo de violencia que no aborda realmente la imprevisibilidad subyacente de estos sistemas. En lugar de resolver el problema de alineación, solo están construyendo un filtro mejor.
Para el cuarto trimestre, veremos una versión filtrada de un modelo adversarial similar de un competidor o un colectivo de jailbreak.
Es un parche en una tubería que gotea.
