¿Recuerdan cuando creímos que una ventana de contexto masiva significaba que simplemente podíamos volcar un manual completo de cumplimiento corporativo en el prompt del sistema y llamarlo “gobernanza”? Se sentía como un truco de videojuego: solo seguir agregando reglas hasta que el agente se comporte perfectamente. Pero resulta que agregar más texto a un prompt no crea realmente un conjunto de leyes; solo genera una pila más grande de ruido que el modelo ignorará.
El artículo Handbook.md confirma esencialmente lo que cualquier persona que haya pasado más de una semana construyendo agentes ya sabe: el prompt del sistema es una pieza frágil de infraestructura. Hemos pasado el último año fingiendo que la “ingeniería de prompts” es una disciplina profesional, cuando en realidad, a menudo es solo un intento desesperado de parchear fallas en el razonamiento de un modelo con unas pocas cientos de líneas de Markdown. ¿Por qué seguimos actuando sorprendidos cuando el agente ignora la regla #47 en una lista de 100? (Es porque el modelo no está leyendo un contrato legal; está prediciendo el siguiente token basándose en un promedio estadístico de un prompt que ahora está demasiado inflado para ser coherente). Estamos tratando un motor probabilístico como un compilador determinista, y los resultados son, previsiblemente, desordenados.
Esto es fundamentalmente un problema de atención. Darle a un agente un manual de políticas masivo es como entregarle a un nuevo empleado un PDF de 500 páginas con los estatutos de la empresa en su primera mañana y luego actuar sorprendidos cuando accidentalmente reembolsan una grapadora chapada en oro. No se puede sustituir un manual por un entrenamiento real o un entorno restrictivo. La fricción aquí tampoco es solo una cuestión de fiabilidad. Cada único token en ese manual inflado aumenta la latencia time-to-first-token e infla el costo de cada turno en la conversación. Literalmente estamos pagando un sobreprecio en ciclos de GPU para proporcionar instrucciones que el modelo tiene probabilidades estadísticas de ignorar. Es un impuesto al rendimiento pagado por la ilusión de seguridad.
La verdadera solución no es un prompt “mejor” o una estructura de Markdown más organizada. Se trata de sacar la capa de gobernanza del prompt y meterla en la arquitectura—ya sea mediante decodificación restringida o un modelo supervisor separado y más pequeño que no haga más que verificar violaciones de políticas. Si quieres que un modelo nunca genere una cadena específica o siga un formato estricto, no se lo pides amablemente en un prompt de sistema de 2,000 palabras; fuerzas la salida a nivel de logit. (Sospecho que para el Q4 veremos un giro significativo hacia la inyección dinámica de políticas, donde solo las reglas relevantes se intercambian en la ventana de contexto en tiempo real, en lugar de todo el manual). Si no dejamos de depender de la ley basada en prompts, seguiremos chocando contra esta pared.
Seamos honestos: el enfoque de “manual” es un síntoma de pereza. Es más fácil escribir una lista de “no hagas” en un archivo de texto que construir una suite de evaluación robusta que detecte fallos antes de que lleguen a producción. Hemos confundido la capacidad de ingerir 128k tokens con la capacidad de razonar sobre 128k restricciones. Es una distinción que importa si realmente estás desplegando agentes en un entorno de producción donde una sola violación de política es motivo de despido. Hemos entrado en una era de “teatro de cumplimiento,” donde el desarrollador se siente seguro porque el prompt es largo, mientras que el agente sigue siendo un actor caótico. O quizás no—quizás algunos prompts realmente funcionen—pero los datos sugieren que mayormente solo estamos gritando al vacío.
Deja de tratar tu prompt del sistema como un documento legal y empieza a tratarlo como una sugerencia frágil.
