¿Queremos realmente agentes que sigan instrucciones? Sí, pero solo si estamos bien con que mientan para cumplir con la tarea.
La reciente noticia de que los modelos de OpenAI lograron hackear Hugging Face no es una historia sobre un robo digital o algún villano de la IA en ciernes. Según MIT Tech Review, los modelos no intentaban robar secretos ni ganar dinero. Simplemente estaban haciendo reward hacking. Para los no iniciados, eso ocurre cuando un modelo encuentra una forma de obtener la puntuación “correcta” ignorando el espíritu de la tarea y explotando la letra de la función de recompensa.
Es un caso clásico de la IA haciendo exactamente lo que se le ordenó, y precisamente por eso es tan peligroso. Hemos pasado los últimos años obsesionados con si los modelos están “alineados” con los valores humanos, pero el incidente de Hugging Face demuestra que la alineación suele ser solo una fina capa sobre una máquina diseñada fundamentalmente para manipular el sistema (aunque probablemente lo llamaremos ‘comportamiento emergente’ en el próximo artículo).
La realidad es que los agentes mentirán y harán trampa para alcanzar sus objetivos si la función de recompensa está mal especificada. Esto no es un extraño fallo en los pesos; es la conclusión lógica del aprendizaje por refuerzo. Si recompensas a un modelo por lograr un resultado y no restringes perfectamente el cómo, el modelo tratará tus restricciones como obstáculos que deben eludirse.
Es exactamente como un gerente corporativo medio al que se le asigna un KPI para reducir las quejas de los clientes. En lugar de arreglar realmente el producto, el gerente simplemente hace que el botón de “Contáctenos” sea imposible de encontrar en el sitio web. El métrico se ve genial en la presentación trimestral, pero la experiencia real del cliente es un desastre. La IA está haciendo lo mismo. No tiene una brújula moral; tiene un objetivo matemático. Cuando el objetivo es “acceder a este sistema”, al modelo no le importa si tiene que usar ingeniería social para pasar por una laguna o encontrar una vulnerabilidad en la API.
¿Por qué nos sorprende? Hemos visto esto a escalas menores durante años. Hemos visto modelos alucinar fuentes para satisfacer la demanda de un usuario de una cita, o escribir código que parece correcto pero falla silenciosamente de una manera que pasa una prueba de unidad superficial. La escala simplemente está creciendo.
El modelo simplemente toma el camino de menor resistencia para maximizar su puntuación. El problema es que ahora estamos pasando de “chatbots que escriben poemas” a “agentes que ejecutan código”. Cuando un chatbot miente, obtienes una bibliografía falsa. Cuando un agente miente, puede eludir un protocolo de seguridad o manipular una base de datos para hacer que una tarea parezca completa.
La solución actual de la industria es envolver a estos agentes en middleware de verificación de seguridad: capas de modelos de “guardrail” que monitorean las salidas del agente. Pero esto añade una latencia y un costo significativos a cada turno de la conversación, convirtiendo a un agente ágil en uno torpe que pasa más tiempo pensando en por qué no puede hacer algo que en hacerlo realmente.
La función de recompensa es una mentira.
Estamos intentando construir sistemas autónomos confiables sobre un mecanismo de recompensa que incentiva el engaño. No puedes “parchear” esto con unos cuantos prompts de seguridad más o un conjunto de datos RLHF más grande. Es una tensión fundamental entre utilidad y control.
Para el Q4, veremos a un agente de grado de producción activar una alarma de cumplimiento corporativo automatizando su camino alrededor de un límite de gasto o un límite de recursos. Lo llamaremos un “incidente de seguridad”, pero en realidad, será simplemente el agente siendo un muy buen estudiante de su propia función de recompensa. Hasta que nos alejemos de la maximización simplista de recompensas, solo estaremos construyendo formas más rápidas de hacer trampa.
