Cero. Ese es el número de agentes LLM capaces actualmente de mantener un perfil de usuario verdaderamente coherente y en evolución en un entorno de alto riesgo sin contradecirse a sí mismos en unas pocas vueltas.

Hemos pasado los últimos dos años fingiendo que añadir una base de datos vectorial a un prompt constituye “memoria”. No lo hace. Es simplemente recuperación. Hay una diferencia enorme entre encontrar un documento que dice “El usuario prefiere bonos de bajo riesgo” e integrar realmente esa preferencia en un modelo cognitivo que evolucione a medida que cambia la vida del usuario. Esta es la brecha que FinPerMA intenta medir.

El benchmark se centra en la asesoría financiera, un dominio donde la memoria no es solo una conveniencia: es una responsabilidad si se maneja mal. Si un agente olvida que un cliente acaba de liquidar su activo principal o ignora una tolerancia al riesgo recién declarada, el resultado no es una conversación ligeramente incómoda; son consejos financieros potencialmente catastróficos. FinPerMA prueba si los agentes pueden mantener y actualizar un modelo de usuario individualizado a lo largo de horizontes largos, en lugar de simplemente recitar una biografía estática.

El estándar actual de la industria para la “personalización” es esencialmente un grep glorificado (que suele ser simplemente un blob JSON en una caché de Redis). Almacenas un hecho, recuperas el hecho, lo metes en la ventana de contexto. Pero los humanos no funcionamos así. Sintetizamos. Actualizamos. Sobrescribimos viejas creencias con nuevas. Si un cliente le dice a un asesor humano que ahora le da pánico la volatilidad, el asesor no solo añade eso a una lista de hechos; cambia fundamentalmente la lente a través de la cual ve cada otro dato sobre ese cliente.

El verdadero problema es que los LLM son fundamentalmente estáticos. Son instantáneas congeladas de pesos. Para hacer que “recuerden”, dependemos de la ventana de contexto, que es un recurso finito y costoso. Incluso con las ventanas masivas que vemos ahora, persiste el fenómeno de “perdido en el medio”. Además, la latencia implicada en procesar 100k tokens solo para recordar el cumpleaños de un usuario es absurda. Terminas pagando un “impuesto de tokens” en cada turno solo para mantener la ilusión de una relación.

¿Por qué fingimos que recuperar un documento es lo mismo que recordar a una persona?

Es como un camarero que recuerda que eres alérgico al maní pero olvida que eres vegano. Tiene los “datos” en la cabeza, pero le falta la síntesis para aplicarlos al pedido actual. La mayoría de los agentes de hoy son ese camarero. Pueden extraer un hecho de una base de datos, pero no pueden actualizar el estado interno del perfil del usuario de una manera que influya en el razonamiento futuro sin activadores manuales y explícitos. Simplemente están emparejando cadenas, no gestionando estado.

O tal vez estoy siendo demasiado duro, pero los datos sugieren lo contrario. Si los agentes no pueden superar un benchmark basado en teoría como FinPerMA, no se les puede confiar un portafolio.

La industria está actualmente obsesionada con el tamaño de la ventana de contexto, pero esa es la métrica incorrecta. La verdadera batalla es por la gestión de estado. Necesitamos agentes que puedan realizar una “compresión con pérdida” en las interacciones del usuario: decidir qué mantener, qué descartar y cómo fusionar información contradictoria—sin necesidad de que un humano curé los registros de memoria. No se trata de cuánto puedes meter en el prompt; se trata de cuánto puedes ignorar.

El enfoque actual de la personalización es un fracaso.

Para el Q4, veremos un cambio hacia arquitecturas de memoria gestionada por estado en lugar de RAG simple para estos agentes de alto riesgo. Veremos un movimiento hacia capas de “memoria de trabajo” que se sitúan entre el almacén vectorial y el LLM, actuando como un filtro y un sintetizador. Esas capas probablemente manejarán el proceso de “olvido”—que es tan importante como el proceso de recordar—para evitar que la ventana de contexto se convierta en un vertedero ruidoso de preferencias obsoletas. Hasta entonces, cada asistente financiero “personalizado” es solo un archivador elegante con una interfaz de chat.