Imagina a un chef intentando preparar un bisque de alta gama con una batidora barata y sin filo. El resultado es grumoso y decepcionante. Para solucionarlo, el chef decide pasar la sopa por la misma batidora cuatro veces. Eventualmente, la textura se vuelve suave, pero el proceso es tedioso, y el chef ha pasado mucho más tiempo en la cocina del que habría pasado si simplemente hubiera comprado una batidora decente desde el principio.
Los investigadores detrás de un nuevo artículo en ArXiv (2605.20193) tratan a los LLMs cuantizados exactamente como a esa batidora. El problema central es que, a medida que aplastamos los modelos a niveles de 2 o 3 bits para ajustarlos a una 3090 de consumo o a un Mac M3, perdemos el matiz «cualitativo». Para chat básico o clasificación simple, un GGUF de 3 bits suele bastar. Pero para un análisis cualitativo real —donde un modelo debe detectar temas sutiles, ironía o contradicciones matizadas en un conjunto de datos—, la degradación es evidente.
El estudio examina la brecha de rendimiento entre la cuantización de 8 bits y 2 bits y descubre que los modelos de menor precisión se desvían demasiado de la verdad como para confiar en ellos de una sola vez. Para solucionarlo, proponen la «Verificación de Prompts en Múltiples Pasos». En lugar de confiar en la primera salida, se le pide al modelo que verifique y refine su propio análisis a través de múltiples iteraciones (y probablemente un montón de tokens desperdiciados). Es una forma de recuperar la precisión perdida durante el proceso de compresión.
Aquí es donde tenemos que ser honestos: esto es un parche para un fallo en la compresión. Si estás ejecutando un motor de inferencia como llama.cpp, vLLM u Ollama, el punto clave de usar una cuantización de 4 o 3 bits es la velocidad y la eficiencia de la VRAM. Quieres que esos tokens por segundo vuelen para que puedas iterar por tus datos rápidamente.
Pero si tienes que ejecutar el mismo prompt tres veces para asegurarte de que el análisis cualitativo no está alucinando o perdiendo el punto, acabas de matar tu rendimiento. ¿De qué sirve un modelo de 3 bits si el tiempo total de cómputo termina igualando al de un modelo más grande y de mayor precisión? Es como comprar un coche económico para ahorrar en el precio de etiqueta, y luego gastar el doble en gasolina porque el motor es ineficiente.
¿Es esto mejor que la alternativa? Quizá. Pero para la mayoría de nosotros, es más simple simplemente subir en la jerarquía. Si un Llama 3.3 de 3 bits falla la prueba cualitativa, no necesitamos un bucle de verificación; necesitamos una cuantización de 4 o 6 bits —quizá vía EXL2 para los que tenemos 24 GB de VRAM— o un cambio a una base más eficiente como Qwen.
El tema de las licencias aquí no es un problema, ya que se trata de cuantizaciones de modelos open-weights existentes, lo que significa que estás sujeto a la licencia base (como la licencia comunitaria de Llama 3). La verdadera fricción es el hardware. Para ejecutar un análisis cualitativo de alta calidad sin estos «bucles de verificación», generalmente necesitas alcanzar una especificación cómoda de 4 bits o superior. En una 3090 o 4090, ese es el punto óptimo. Una vez que bajas a 2 bits para meter un modelo masivo en la memoria, ya no estás haciendo análisis; solo estás adivinando con total seguridad.
Es un parche, no una solución.
Básicamente estamos admitiendo que los modelos de 2 y 3 bits están rotos para la investigación cualitativa profesional. Pueden imitar una conversación, pero no pueden sintetizar datos complejos sin un freno. Sospecho que esta tendencia de «recuperación basada en prompts» es una fase temporal. Para el cuarto trimestre, veremos un nuevo método de cuantización —probablemente algo que evolucione más allá del GGUF o AWQ estándar— que recupere esta pérdida cualitativa sin necesidad de bucle en el prompt.
Hasta entonces, si tu análisis cualitativo vuelve grumoso, deja de intentar pasarlo por la batidora tres veces. Simplemente consigue más VRAM o usa una cuantización mejor.
