Ese es aproximadamente el número de personas en el planeta que realmente entienden la realidad visceral y áspera de preentrenar un modelo de vanguardia a gran escala sin derrochar mil millones de dólares en recursos de cómputo. La mayoría de la industria se limita a ajustar hiperparámetros y rezar para que salga bien, pero Andrej Karpathy es uno de los pocos que trata el proceso como una ciencia real. Ahora, está llevando esa experiencia a Anthropic.
Durante un tiempo, Anthropic ha jugado el papel del laboratorio «seguro». Han dedicado mucho tiempo a la IA Constitucional y a asegurarse de que sus modelos no alucinen demasiado. Pero la seguridad es esencialmente una capa de pulido aplicada a un modelo base. Si el modelo base es mediocre, solo estás poniendo una capa de pintura muy cara y muy educada sobre un motor oxidado. Para ganar realmente la guerra del escalado, necesitas ser más implacable con la construcción del núcleo.
El movimiento para unirse al equipo de preentrenamiento sugiere que Anthropic está pivotando de vuelta a la ciencia dura de la curación de datos y la eficiencia de tokens. Según TechCrunch AI, Karpathy se está incorporando directamente a la maquinaria que construye el modelo desde cero. Esto no trata sobre alineación o RLHF; se trata de los ingredientes crudos. A la industria le encanta hablar de las «propiedades emergentes» como si ocurrieran por magia, pero cualquiera que haya gestionado un clúster de H100s sabe que se trata principalmente de luchar contra la inestabilidad del hardware y limpiar conjuntos de datos desordenados.
Karpathy se ha convertido esencialmente en el profesor no oficial de la era de la IA. Su serie «De Cero a Héroe» es el estándar de oro para cualquiera que realmente quiera entender las matemáticas en lugar de simplemente llamar a una API. La verdadera pregunta es si podrá mantener esa personalidad pública y educativa mientras está encerrado en la bóveda de un laboratorio de vanguardia (y probablemente bajo una montaña de acuerdos de confidencialidad).
Es difícil imaginar que continúe lanzando tutoriales en profundidad mientras trabaja en futuras versiones de Claude. El nivel de secreto alrededor de las recetas de preentrenamiento se ha vuelto obsesivo. Si está diseñando el próximo gran salto en eficiencia, no puede exactamente publicar un cuaderno de Colab sobre ello en X. Podríamos estar viendo el fin de la era del «educador» y el retorno de la era del «sigilo». O quizás no; podría encontrar la manera de enseñar los fundamentos sin revelar la salsa secreta. Pero por ahora, la prioridad son los pesos, no los estudiantes.
Ver a un cofundador mudarse a un competidor directo es como ver a un quarterback estrella cambiar de equipo a mitad de temporada. No se trata solo de la pérdida de talento (aunque perder a alguien que entiende la arquitectura desde los cimientos es un golpe), se trata de la señal. Cuando las personas que construyeron los cimientos comienzan a mudarse a la nueva casa, uno tiene que preguntarse si los cimientos originales han empezado a agrietarse.
OpenAI se ha desplazado hacia una empresa centrada primero en el producto. Se están enfocando en el ecosistema, las aplicaciones y los acuerdos empresariales. Anthropic, mientras tanto, siempre ha parecido más un laboratorio de investigación que por casualidad construyó un producto. Al incorporar a Karpathy, están reforzando su apuesta por el lado de la investigación. Es una apuesta a que el próximo salto en inteligencia no vendrá de una mejor interfaz de usuario o más complementos, sino de una ejecución de preentrenamiento fundamentalmente mejor.
Es una victoria masiva para Anthropic.
En menos de seis meses, veremos un cambio en la producción técnica de Anthropic hacia estrategias agresivas de curación de datos en lugar de solo investigación de alineación. Si logran sistematizar el «arte» del preentrenamiento por el que es conocido Karpathy, la brecha entre los principales laboratorios se reducirá casi de la noche a la mañana. ¿Tiene todavía OpenAI el talento para contrarrestar esto? Probablemente. Pero el impulso ha cambiado.
