“La capacidad de codificación autónoma está limitada por la infraestructura de entrenamiento, no por la escala del modelo.” Era hora de que alguien lo dijera. Durante dos años, la industria ha estado obsesionada con la religión de las “leyes de escalado”, actuando como si pudiéramos simplemente tirar diez mil H100 a un problema y el modelo de repente descubrirá cómo depurar una condición de carrera en un repositorio de C++ heredado. Es un enfoque perezoso para la inteligencia, asumiendo que más datos, independientemente de la calidad, siempre equivalen a más razonamiento. Hemos gastado una fortuna en fuerza bruta, solo para darnos cuenta de que un modelo que ha leído cada línea de código en GitHub aún no puede realmente construir un proyecto simple sin tropezar con sus propios pies.
El equipo de KwaiKAT sostiene que el verdadero problema no es el número de parámetros, sino el hecho de que la mayoría de los modelos se entrenan con instantáneas estáticas de código. No están interactuando con el código; solo están adivinando el siguiente carácter basándose en una enorme pila de extracciones de GitHub. El informe técnico de KAT-Coder-V2.5 se centra en el “entorno de repositorio verificable”, que es una forma elegante de decir que realmente construyeron un lugar donde el código puede ejecutarse y probarse. Esta es una distinción crítica. La mayoría de los conjuntos de entrenamiento son esencialmente cementerios de código: instantáneas de proyectos que quizás ni siquiera compilen en el entorno en el que fueron escritos. Entrenar con eso es como intentar aprender a conducir mirando fotografías de autos.
Utilizaron un sistema llamado AutoBuilder para crear más de 100.000 de estos entornos. Ahora, aquí es donde entra la fricción del mundo real: su tasa de éxito para construir estos entornos pasó del 16,5% al 57,2%. Seamos claros: eso significa que casi la mitad de sus intentos por construir un entorno verificable aún fallaron. (La pura cantidad de cómputo desperdiciado en configuraciones de entornos fallidos probablemente sea descomunal). Pero el salto es significativo. ¿Por qué seguimos fingiendo que más tokens equivalen a mejor lógica? Si un modelo no puede realmente ejecutar el código que escribe, solo es un autocompletado muy costoso. Solo está prediciendo cómo se ve una respuesta correcta, no entendiendo por qué lo es.
Esta es la diferencia entre un estudiante que memoriza las respuestas de un examen de matemáticas y un estudiante que realmente entiende cómo usar una calculadora. Es como entrenar a un chef dejándolo realmente quemar cosas en una cocina real en lugar de solo leer quinientos libros de cocina. La parte “agéntica” del modelo proviene de este bucle de retroalimentación. Si el entorno falla, el modelo aprende por qué. Si pasa, aprende qué funciona. Esta es la única manera de superar la fase de “alucinación” de la codificación con IA, donde el modelo sugiere una biblioteca que no existe o una función que fue deprecada en 2014. Hemos visto este bucle en RLHF para chat, pero aplicarlo a la ejecución real de código es donde radica la verdadera utilidad.
La mayoría de los laboratorios tienen demasiado miedo de admitir que sus datos son ruidosos y que sus benchmarks de evaluación son básicamente teatro. Preferirían hablar de “propiedades emergentes” que del trabajo aburrido y desgastante de construir un sandbox confiable. Al centrarse en la infraestructura, el equipo de KwaiKAT está admitiendo que la inteligencia no está solo en los pesos, sino en la calidad del bucle de interacción. Es un cambio del aprendizaje pasivo a la experimentación activa. O quizás no: tal vez esto es solo otra forma de inflar los benchmarks controlando el entorno. Pero la lógica se mantiene: no puedes tener un agente confiable sin una manera confiable de verificar sus acciones.
Sospecho que estamos viendo el comienzo de un giro. Para el Q4, la conversación sobre modelos de codificación dejará de tratar sobre el conteo de parámetros y comenzará a tratar sobre el porcentaje del conjunto de entrenamiento que se ejecutó realmente en un entorno verificable. La era del “vibe check” de los asistentes de codificación está muriendo, y debería ser así. No necesitamos modelos que suenen como ingenieros senior; necesitamos modelos que realmente commiteen código que compile a la primera.
La infraestructura es la nueva frontera.
