Imagina a un desarrollador a las 3 de la madrugada, mirando fijamente un prompt de Claude que acaba de alucinar una biblioteca de Python inexistente con absoluta confianza. No se pregunta sobre el prompt engineering o el ajuste de temperatura; se pregunta por qué el modelo pensó que esa biblioteca existía. Quiere ver cómo giran los engranajes. Quiere saber si el modelo realmente entiende la base de código o si solo está jugando un juego de autocompletado muy costoso.
Anthropic está intentando darnos esa ventana. Han estado sondeando las representaciones internas de Claude para ver si el modelo está construyendo algo similar a un modelo del mundo—un mapa interno coherente de cómo funcionan las cosas—en lugar de simplemente predecir el siguiente token basado en la proximidad estadística. Según un informe de MIT Tech Review, el objetivo es superar la caja negra y mapear realmente los “pensamientos internos” de la IA.
La premisa es que si podemos identificar neuronas o clústeres específicos que se activan cuando el modelo “piensa” sobre un concepto específico—como la ciudad de París o las leyes de la termodinámica—podemos verificar si el modelo tiene una representación interna coherente de ese concepto. Es un intento de convertir un desorden de pesos de alta dimensión en algo que un humano pueda realmente leer.
¿Realmente importa si el modelo “sabe” que una ciudad es un lugar, o solo necesita predecir la palabra “ciudad” con un 99% de precisión? (Y seamos honestos, las GPUs están gritando sin importar si el modelo es “consciente” de las coordenadas de la ciudad).
Intentar ingeniería inversa de un modelo del mundo a partir de activaciones es un poco como intentar entender la intuición de un chef midiendo la temperatura de la sartén cada milisegundo. Obtienes muchos datos, pero no necesariamente obtienes la receta. Solo estás documentando el calor. La fricción aquí no es solo el compute necesario para ejecutar estas pruebas de interpretabilidad, sino la brecha fundamental entre un vector matemático y un concepto humano.
Aquí es donde tomamos postura: toda esta búsqueda de “modelos del mundo” es en gran medida un proyecto de vanidad. Estamos obsesionados con el “por qué” porque le tenemos pánico al “qué”. Si podemos convencernos de que el modelo tiene un “modelo del mundo”, podemos fingir que piensa como nosotros, lo que hace que las alucinaciones se sientan como “errores” en lugar de la salida inevitable de un motor probabilístico.
La realidad es que mapear un clúster de neuronas al concepto de “veracidad” o “geografía” es simplemente renombrar los pesos. Es una narrativa disfrazada de ciencia. Pasamos meses intentando encontrar la “neurona de la verdad” mientras los modelos siguen fallando en aritmética básica o luchan con la recuperación de contexto largo. Estamos priorizando la filosofía de la máquina sobre la fiabilidad de la herramienta.
Es un proyecto de vanidad.
Ya hemos visto este ciclo antes con los primeros días de las RNN y LSTMs, donde todos intentaban encontrar la “memoria” en las matemáticas. No hizo que los modelos fueran mejores; solo le dio a los investigadores algo sobre qué escribir artículos. Lo único que realmente mueve la aguja es el scaling y una mejor curación de datos.
Para el Q3, veremos un retroceso en estas afirmaciones de “modelos del mundo” a medida que la industria se dé cuenta de que la interpretabilidad no resuelve realmente el problema de alineación ni el problema de las alucinaciones. Si no puedes dirigir el modelo a través de la API, no importa si puedes ver la neurona que representa “La Torre Eiffel” activándose en segundo plano.
Hasta que podamos usar este mapeo interno para prevenir realmente una alucinación en tiempo real—lo cual no podemos—esto es solo cartografía académica. Estamos dibujando mapas de un territorio que cambia cada vez que se actualizan los pesos. Deberíamos dejar de intentar asomarnos bajo el capó y en su lugar centrarnos en construir mejores frenos.
