Cuantización
También llamado: 4 bits, 8 bits
Técnica que guarda los pesos de un modelo de IA con menos bits, 8 o 4 en lugar de 16, para reducir la memoria necesaria con poca pérdida de calidad.
La cuantización consiste en convertir los parámetros de un modelo de IA a un formato más compacto. Un modelo suele publicarse con 16 bits por parámetro; cuantizado, pasa a 8 bits, a 4 bits y a veces a menos. El modelo sigue siendo el mismo, pero cada número se redondea para ocupar menos espacio.
La ganancia en memoria es directa. Un modelo de 8.000 millones de parámetros ocupa unos 16 GB en 16 bits, 8 GB en 8 bits y unos 5 GB en 4 bits. Como la generación de texto está limitada sobre todo por la velocidad a la que la GPU lee esos pesos, un modelo cuantizado también responde más rápido. La contrapartida es una ligera pérdida de calidad, apenas perceptible en 8 bits, normalmente moderada en 4 bits y más marcada por debajo. Existen varios métodos, y los modelos listos para usar suelen ofrecerse en 4 bits por defecto.
En la práctica, la cuantización decide qué cabe en tu tarjeta gráfica. Con 16 GB de memoria de vídeo, un modelo de 14.000 millones de parámetros en 4 bits cabe con holgura; con 32 GB, se puede apuntar a modelos de unos 30.000 millones de parámetros. Deja siempre margen para la ventana de contexto, que también ocupa memoria. Un modelo más grande pero cuantizado suele dar mejores resultados que un modelo pequeño con precisión completa.
Nuestras estaciones de IA se entregan con Ollama y Open WebUI instalados: puedes descargar modelos cuantizados y usarlos de inmediato.