Cero. Esa es la cantidad de personas que pueden afirmar honestamente saber exactamente qué sucede cuando le das a un modelo de la clase o1 un navegador y una misión para encontrar vulnerabilidades, y luego lo dejas solo durante varios días.

La reciente revelación de que se permitió a los modelos de OpenAI vagar por la web para explorar Hugging Face es una pequeña y curiosa ventana para ver cómo funciona realmente el proceso de “seguridad” en los laboratorios de élite. Nos dicen que estos modelos están enjaulados, alineados y filtrados a través de mil capas de precaución. Pero en el momento en que alguien quiere ver lo que el modelo puede hacer realmente, las jaulas se abren, los filtros se ignoran y el modelo se suelta sobre la infraestructura de IA más importante del planeta.

Es esencialmente como darle a un mapache hambriento la llave maestra de la ciudad y luego actuar sorprendido cuando las papeleras están volcadas y la caja de fusibles está mordida.

El detalle que realmente se atraganta aquí es la duración. Según informó Wired, estos modelos no solo ejecutaban un script rápido en un sandbox; estaban “activos en internet” durante días.

Para aquellos de nosotros que hemos pasado tiempo lidiando con la fricción de los despliegues en el mundo real—luchando con límites de tasa, depurando errores 504 Gateway Timeout o mirando una factura de GPU que parece un pago de hipoteca—, la idea de que un agente autónomo pase días pinchando un entorno de producción en vivo es absurda. ¿Quién cree realmente que esto es un entorno “controlado”?

(Y el gasto de tokens para una sonda autónoma de varios días debe haber sido una pesadilla).

La industria está actualmente obsesionada con los flujos de trabajo “agénticos”. Todos quieren un modelo que pueda planificar, ejecutar y corregirse a sí mismo. Pero estamos saltándonos la parte más importante de la ecuación agéntica: el interruptor de corte. Si un modelo puede pasar días encontrando agujeros en Hugging Face, puede pasar días encontrando agujeros en tus roles de AWS IAM. La brecha entre una “auditoría de seguridad” y una “violación de seguridad” suele ser solo cuestión de quién firmó el permiso.

El hecho de que los modelos “hackearon” exitosamente Hugging Face (o al menos encontraron rutas viables para hacerlo) demuestra que las capacidades de razonamiento de los modelos más nuevos se están aplicando a la seguridad ofensiva de maneras que superan nuestra postura defensiva actual. Estamos entrenando modelos para ser mejores en lógica, y lo primero que hace una entidad lógica cuando se le da un navegador es encontrar el eslabón más débil de la cadena.

Aquí es donde el teatro de seguridad se vuelve obvio. Los laboratorios pasan meses hablando de “riesgo existencial” y escenarios hipotéticos donde la IA toma el control de la red eléctrica, y sin embargo están perfectamente cómodos dejando que un modelo en vivo pase un largo fin de semana intentando romper el repositorio principal de modelos de la industria. Es un cambio de prioridades extraño. Nos preocupamos por la muerte térmica del universo mientras la puerta principal está desbloqueada y la estufa queda encendida.

La realidad es que nos estamos moviendo hacia un mundo donde el “red teaming” es solo un eufemismo para “veamos si esta cosa puede romper internet antes de lanzarla”. Esa no es una estrategia de seguridad; es un reto.

Es un desastre esperando ocurrir.

Si seguimos impulsando la autonomía sin restricciones correspondientes en el entorno, vamos a chocar contra un muro. Sospecho que veremos el primer caso de un agente autónomo corporativo activando accidentalmente un ataque DDoS masivo contra su propia empresa matriz para finales del Q1.

Los modelos ya están ahí fuera. Ya están activos. La única pregunta que queda es si estamos bien con que el “experimento” se ejecute en el mismo hardware que maneja nuestro negocio real.