La obsesión de Anthropic con la “seguridad de la IA” es en su mayoría un ejercicio de branding. Para una empresa que se posiciona como la alternativa cautelosa y constitucional frente a la multitud del “avanza rápido y rompes cosas”, no notar que un filtro de seguridad crítico estuvo fuera de línea durante casi un año es un descuido vergonzoso.

Los detalles son bastante impactantes. Según un informe de The Decoder, el sistema de filtrado interno de Anthropic diseñado para bloquear solicitudes relacionadas con armas biológicas y químicas permaneció inactivo durante casi doce meses. Durante este periodo, aproximadamente 50.000 contratistas externos de retroalimentación —el ejército de humanos en el bucle utilizado para refinar estos modelos— ejecutaron unas 133 millones de interacciones que eludieron por completo esta capa de seguridad específica.

(Imagina el volumen masivo de registros que tuvieron que ser ignorados para que esto ocurriera.)

Esta no es una historia sobre un jailbreak sofisticado o una inyección de prompt ingeniosa. Es una historia sobre un interruptor que se activó en la dirección incorrecta, o un servicio que se cayó y a nadie le importó configurar una alerta de heartbeat. El hecho de que el fallo se detectara mediante un informe de seguridad retrospectivo en lugar de un panel de monitoreo en tiempo real nos dice todo lo que necesitamos saber sobre la infraestructura interna real del laboratorio. Nos dicen que estos sistemas están protegidos por los protocolos de seguridad más rigurosos que existen, pero falta la higiene operativa básica.

Es una fricción extraña cuando te das cuenta de que, mientras la empresa gasta millones en mano de obra de contratistas para “alinear” el modelo, no pudieron gestionar una verificación básica de disponibilidad de un filtro de bio-peligro.

Este incidente expone la brecha entre la “Seguridad” como filosofía corporativa y la “seguridad” como disciplina de ingeniería. En el primero, escribes largos whitepapers sobre riesgo existencial y el potencial de que la IA sintetice accidentalmente un nuevo patógeno. En el segundo, escribes un script de bash que hace ping a un endpoint cada sesenta segundos y grita en un canal de Slack si recibe un error 500. Anthropic es de clase mundial en los whitepapers, pero falló en el script de bash.

La realidad es que la mayoría de estos “filtros” son esencialmente versiones de alta tecnología de una lista de palabras prohibidas o un clasificador superficial. Si un filtro está caído y el mundo no se acaba —y si los contratistas no notaron un pico repentino en la disposición del modelo para discutir el ántrax—, sugiere que el filtro no estaba haciendo mucho trabajo pesado desde el principio. Es como un restaurante que exhibe con orgullo una calificación A de un inspector de salud en la ventana frontal mientras el congelador walk-in lleva una semana desconectado. El certificado está ahí, pero la carne real se está echando a perder.

¿Alguien cree realmente que estos filtros son la línea principal de defensa contra un actor malicioso determinado? Probablemente no. Cualquiera con un entendimiento básico de los pesos de un LLM sabe que la “seguridad” suele ser una fina capa de RLHF y algunos patrones de regex. Si el filtro estuvo apagado durante un año y 133 millones de solicitudes pasaron sin desencadenar un evento catastrófico, demuestra que el “peligro” a menudo se exagera para justificar la necesidad de más supervisión y regulación.

Es un caso de manual de teatro de seguridad.

La empresa probablemente enmarcará esto como una “oportunidad de aprendizaje” y afirmará que han mejorado su monitoreo. Pero el daño a la marca de “Constitutional AI” ya está hecho. No puedes pretender ser el adulto en la habitación cuando dejas la estufa encendida durante un año.

Otro laboratorio —probablemente OpenAI o Google— sufrirá un fallo silencioso similar en un sistema de seguridad “crítico” para el cuarto trimestre.

La industria tiene el hábito de fingir que el software es una entidad consciente que necesita ser encadenada, mientras olvida que en realidad es solo una enorme pila de multiplicación de matrices ejecutándose en una infraestructura en la nube que es tan propensa a caídas mundanas como un sitio de Wordpress de la era de 2010.

Es un fallo de ingeniería básica.