Imagina a un chef que afirma poder preparar el mejor beef bourguignon del mundo, pero luego publica una lista detallada de diez hierbas y técnicas específicas que aún necesita dominar antes de que el plato sea realmente comestible. Eso es esencialmente lo que OpenAI acaba de hacer con su último manifiesto de investigación.
En los últimos años, la narrativa de la industria ha sido simple: solo tira más GPUs al problema. Si el modelo no es lo suficientemente inteligente, añade otro trillón de tokens y un par de H100 más. Fue una era de fuerza bruta donde el cómputo era la única moneda que importaba. Pero en su reciente publicación, Diez avances en matemáticas y ciencias de la computación teóricas, el laboratorio está admitiendo en silencio que la era del “solo escala” ha chocado contra un muro. No están hablando de mejores conjuntos de datos o clústeres más grandes; están hablando de razonamiento algorítmico, búsqueda eficiente y los fundamentos reales de las ciencias de la computación teóricas.
¿Por qué publicar esto ahora? Parece un cambio estratégico disfrazado de lista de lectura. Están identificando las brechas matemáticas específicas—como cómo hacer que la búsqueda en el espacio de los pensamientos sea más eficiente—que actualmente impiden que los LLM realicen lógica real. (O tal vez solo están cubriendo sus apuestas). Es un giro extrañamente académico para una empresa que normalmente se comunica mediante demos de productos pulidos y presentaciones elegantes.
Es un poco como darte cuenta de que has intentado construir un rascacielos apilando ladrillos cada vez más alto, solo para descubrir que realmente necesitas entender la física de carga estructural antes de que todo se desplome por su propio peso. Han gastado miles de millones en los ladrillos, y ahora se están dando cuenta de que olvidaron los planos para los cimientos.
Esta es la verdadera conclusión: esto es una confesión. Al listar estos diez obstáculos matemáticos, OpenAI está admitiendo que la arquitectura Transformer, en su forma actual, no es suficiente para alcanzar la AGI. Si la “lección amarga”—la idea de que los métodos generales que explotan el cómputo siempre ganan—siguiera siendo la única regla del juego, no estarían buscando avances matemáticos específicos. Simplemente estarían construyendo un clúster más grande y esperando a que las propiedades emergentes entren en acción.
El hecho de que se estén centrando en cosas como la “generalización sistemática” y la “búsqueda” sugiere que han llegado a un punto de rendimientos decrecientes con la fuerza bruta. Ya hemos visto la primera señal de esto con el modelo o1, que intercambia cómputo en tiempo de inferencia por un mejor razonamiento. Pero eso es un parche costoso, no una solución. La fricción en el mundo real es obvia: la latencia de estos tokens de “razonamiento” hace que los modelos se sientan lentos, dejando a menudo al usuario mirando un spinner de “pensando” durante diez segundos solo para obtener una respuesta de calidad media. Además, el costo de cómputo por consulta se está disparando.
Es una rendición.
Básicamente están diciendo que el camino hacia adelante ya no se trata solo de ingeniería, sino de descubrimiento real. Necesitan nuevas matemáticas para hacer que la búsqueda sea lo suficientemente eficiente como para ser viable. Si no encuentran una forma de podar el árbol de búsqueda de “pensamientos” sin perder la respuesta correcta, solo están quemando electricidad para obtener mejoras marginales en los benchmarks. ¿Realmente queremos un futuro donde cada prompt requiera una mini-supercomputadora para “pensar” durante medio minuto?
¿Es posible que la respuesta no esté en un nuevo lema matemático, sino en una arquitectura completamente diferente? Quizás. Pero por ahora, están apostando a que el Transformer puede salvarse si solo resolvemos algunos problemas difíciles en informática teórica. Están esperando que unas pocas pruebas ingeniosas hagan el trabajo que un billón de GPUs más no pueden.
Dentro de los próximos seis meses, veremos un modelo que integre explícitamente uno de estos marcos matemáticos en su bucle de inferencia para reducir la latencia de los tokens de razonamiento. Si no logran hacerlo, esta lista no es una hoja de ruta—es una lista de deseos para un milagro.
