Guía

Qué es la cuantización, explicado fácil

Un modelo es un archivo de números. Cuantizar es guardar esos números con menos precisión para que el archivo pese menos.

Por Miguel Rodríguez Saiz, creador de Sopa

Menos bits, archivo más pequeño

La herramienta de cuantización de llama.cpp parte de un archivo GGUF en alta precisión, como F32 o BF16, y lo pasa a un formato cuantizado. Bajar la precisión de los pesos —el ejemplo que pone esa página es pasar de números de 32 bits a enteros de 4 bits— encoge el modelo y puede acelerar la respuesta. También puede perder algo de exactitud.

Esta guía no copia las cifras de perplejidad de llama.cpp: están medidas en otros modelos, no en el catálogo de Sopa.

El formato GGUF

Hugging Face describe GGUF como un formato binario pensado para cargar y guardar modelos deprisa. Guarda los tensores y también metadatos. Lo desarrolló ggerganov, el mismo autor de llama.cpp, y sirve para ese motor y para otros que usan GGML. Un modelo hecho en otro entorno se puede convertir a GGUF para usarlo así.

Dos nombres que verás: Q4_K e IQ3_XS

El nombre del archivo suele decir cuántos bits usa. En la tabla de tipos de Hugging Face, Q4_K es una cuantización de 4 bits que queda en 4,5 bits por peso. En el código de llama-quantize, IQ3_XS figura como una cuantización de 3,3 bits por peso. Menos bits, archivo más pequeño. La página de llama.cpp avisa de que ese ahorro puede costar exactitud.

Qué hace Sopa con eso

Cuando entrenas un modelo en Sopa, al terminar lo exporta en formato GGUF. El catálogo no publica, en esta web, el tipo de cuantización de cada uno de los 32 modelos. El caso que sí nombra es Qwen2.5 7B (IQ3_XS): va solo en el procesador, con el proceso dentro de 4 GiB, y no usa la gráfica. Medido en un portátil de 16 GB con el proceso limitado a 4 GiB: 2,5 tokens por segundo y un máximo de 3,41 GiB. No vale para un equipo con 4 GB de RAM en total.

Si quieres ver qué cabe en tu gráfica, la cuenta está en cuánta VRAM necesito. El simulador es un recorrido por la interfaz, con respuestas de ejemplo, y no hace esa cuenta.