Es como un cuerpo de bomberos practicando con quemas controladas. No se limitan a leer el manual sobre cómo se comporta el fuego; encienden un montón de maleza en una zona segura para ver si las mangueras realmente alcanzan las llamas y si la presión del agua se mantiene. No puedes saber si puedes apagar un incendio en una casa si solo has mirado un diagrama de una boca de incendio.
Anthropic está intentando hacer lo mismo para la ciberseguridad. En lugar de depender de benchmarks sintéticos —que son esencialmente los “diagramas de bocas de incendio” en el mundo de la IA— están analizando incidentes del mundo real para ver si sus modelos realmente pueden ayudar a un actor malicioso. En su reciente publicación, Investigating three real-world incidents in our cybersecurity evaluations, describen el paso de las pruebas de “seguridad” (¿puedo engañar a la IA para que diga algo desagradable?) a las pruebas de “capacidad” (¿puede la IA realmente ayudarme a escribir un exploit funcional?).
Este cambio es una admisión de que la industria ha estado enfocándose en lo incorrecto. Durante años, el objetivo fue evitar que el modelo fuera “útil” para un hacker. Pero eso usualmente solo significaba añadir una capa de rechazo —un filtro que dice: “No puedo ayudarte con eso.” Esto es el equivalente de la IA de poner un cartel de “Prohibido el paso” en una puerta que en realidad no está cerrada con llave. Si el modelo aún posee la capacidad subyacente de escribir el código, la “seguridad” es solo una fachada.
(Sospecho que solo están cubriéndose las espaldas antes de que alguien más lo demuestre).
La verdadera noticia aquí no es que estén probando riesgos de ciberseguridad —todos lo están haciendo. La noticia es la admisión de que necesitan replicar incidentes del mundo real para encontrar las brechas. Básicamente están admitiendo que sus evaluaciones anteriores eran demasiado limpias, demasiado académicas y demasiado alejadas de cómo opera realmente un script kiddie o un actor estatal.
El problema es este: evaluar un modelo después de que la capacidad ya existe es un indicador rezagado. Para cuando Anthropic construya un benchmark basado en un “incidente del mundo real,” ese incidente ya habrá ocurrido. La vulnerabilidad ya es conocida y el exploit ya está en la naturaleza.
¿Por qué fingimos que un benchmark creado por la empresa que construyó el modelo es una auditoría imparcial? No lo es. Es una verificación interna. Aunque es mejor que no hacer nada, no resuelve la tensión fundamental de los LLM: cuanto más capaz es un modelo para programar, más capaz es para hackear. No puedes tener un experto en Python de clase mundial que sea simultáneamente incapaz de entender cómo funciona un desbordamiento de búfer. Las dos habilidades son la misma habilidad.
El costo computacional de ejecutar estos ciclos de red-teaming probablemente sea astronómico (y probablemente mayor que el costo de los propios filtros de seguridad), pero aún así no logra impactar en el riesgo real. Una vez que un modelo se libera al mundo, la capa de “seguridad” es solo un rompecabezas para que el usuario lo resuelva. Hemos visto esto con cada lanzamiento de modelo desde GPT-4. Los usuarios encuentran la manera de eludir el rechazo y, de repente, la “capacidad” que Anthropic mide con tanto cuidado está disponible para cualquiera con un prompt decente.
Es un indicador rezagado.
Si continuamos dependiendo de este ciclo —ocurre un incidente, se crea un benchmark, el modelo se “parchea”— solo estamos documentando el declive del foso de seguridad. Los modelos se están volviendo más inteligentes más rápido de lo que las evaluaciones se vuelven más inteligentes. Básicamente estamos intentando construir una cerca alrededor de una inundación que ya ha entrado en la sala.
Para Q4, veremos un exploit público que elude específicamente estos nuevos benchmarks de capacidad porque el proceso de red-teaming es simplemente demasiado lento para mantenerse al ritmo de la explotación real. La única forma de asegurar realmente estos sistemas es aceptar que la capacidad existe y trasladar la defensa al nivel de infraestructura, en lugar de intentar lobotomizar al modelo para que se someta.
