Imagina intentar meter un horno industrial de pizza de grado comercial en un apartamento de estudio. Claro, técnicamente el horno está disponible para la compra y podrías hornear quinientas pizzas por hora en teoría, pero en el momento en que lo enchufas, fundes todos los fusibles del edificio y derrites los tableros del suelo. Esa es exactamente la situación en la que nos encontramos con el último lanzamiento del equipo de Qwen.
La industria ha llegado a un punto donde “pesos abiertos” se está convirtiendo en un pequeño truco semántico. Cuando un laboratorio lanza un modelo con 2,4 billones de parámetros, no está entregando una herramienta a la comunidad; está plantando una bandera. Para cargar realmente esta bestia, no estás mirando una estación de trabajo potente o un par de A100s (he intentado correr MoEs más pequeños en hardware de consumo y la latencia del archivo de intercambio es suficiente para hacerte querer abandonar la tecnología). Necesitas un cluster de GPU legítimo solo para hacer que el modelo diga “Hola”. Es una exhibición masiva de potencia de cómputo disfrazada de contribución al código abierto. ¿Para quién es esto realmente? Las únicas personas que pueden ejecutarlo sin gastar un mes de salario en cómputo en la nube son las que ya tienen el hardware para construir el suyo propio. Es un poco como un multimillonario regalando un yate “gratis”, siempre y cuando ya poseas un puerto de aguas profundas y una tripulación de veinte personas.
Esta es la carrera armamentista del MoE en una cáscara de nuez. Hemos superado la era de los modelos densos porque el costo de cómputo de un modelo denso de 2T es una pesadilla absoluta. El MoE es la única forma de mantener la inteligencia alta sin que el costo por token se dispare. Al mantener solo 95B parámetros activos, Qwen está esencialmente intentando darnos el cerebro de un gigante con la tasa metabólica de un peso medio. Es un bypass arquitectónico inteligente, pero no resuelve el mínimo de VRAM. Es como poner un motor de Fórmula 1 en un Honda Civic; el motor es increíble, pero el chasis se desintegrará en el momento en que alcances los 200 mph. La presión de memoria sigue siendo el cuello de botella, y ninguna cantidad de optimización de “parámetros activos” cambia el hecho de que todo el modelo tiene que vivir en algún lado.
La jugada estratégica aquí está claramente dirigida a Meta. Llama 3.1 405B era el anterior campeón de peso pesado del mundo de los pesos abiertos, pero 2,4T—incluso con la eficiencia del MoE—es un orden de magnitud diferente. Qwen está señalando que pueden escalar más y más rápido que la gente de Mountain View. Si eso se traduce en utilidad real para el desarrollador promedio es otra historia. La mayoría de nosotros solo estamos felices cuando un modelo cabe en una sola H100 sin necesitar un script de cuantización especializado que rompa la mitad de los tokens. O tal vez no—a algunos de nosotros nos gusta el masoquismo de depurar pesos rotos a las 3 de la madrugada.
La realidad es que este modelo existe para intimidar. Demuestra que las leyes de escalado del MoE aún se mantienen y que el techo no se ha alcanzado todavía. Es una señal para el resto del mundo de que la fosa de cómputo se está haciendo más profunda. Debido a esto, veremos un lanzamiento similar de MoE de otro laboratorio importante—probablemente Mistral o Meta—diseñado específicamente para desafiar este techo de parámetros de 2T+ para el Q4. Hasta entonces, este modelo servirá principalmente como un benchmark muy costoso para personas con presupuestos de cómputo ilimitados y el deseo de ver hasta dónde pueden llegar los números antes de que el hardware se rinda.
Es una pieza magnífica de ingeniería que casi nadie puede usar realmente.
