Quantizzazione
Detto anche: quantization, 4 bit, 8 bit
Tecnica che memorizza i pesi di un modello di IA su meno bit, 8 o 4 invece di 16, per ridurre la memoria necessaria con una lieve perdita di qualità.
La quantizzazione consiste nel convertire i parametri di un modello di IA in un formato più compatto. Un modello viene di solito pubblicato a 16 bit per parametro; quantizzato, passa a 8 bit, a 4 bit, a volte meno. Il modello resta lo stesso, ma ogni numero viene arrotondato per occupare meno spazio.
Il vantaggio è immediato sulla memoria. Un modello da 8 miliardi di parametri occupa circa 16 GB a 16 bit, 8 GB a 8 bit e circa 5 GB a 4 bit. Poiché la generazione di testo è limitata soprattutto dalla velocità con cui la GPU legge questi pesi, un modello quantizzato risponde anche più velocemente. Il rovescio della medaglia è un leggero calo di qualità, appena percettibile a 8 bit, generalmente moderato a 4 bit e più marcato al di sotto. Esistono diversi metodi, e i modelli pronti all'uso sono spesso proposti a 4 bit per impostazione predefinita.
In pratica, la quantizzazione decide che cosa entra nella tua scheda grafica. Con 16 GB di memoria video, un modello da 14 miliardi di parametri a 4 bit ci sta comodamente; con 32 GB si punta a modelli da circa 30 miliardi di parametri. Tieni sempre un margine per la finestra di contesto, che occupa anch'essa memoria. Un modello più grande ma quantizzato dà spesso risultati migliori di un modello piccolo a precisione piena.
Le nostre workstation IA vengono consegnate con Ollama e Open WebUI installati: puoi scaricare modelli quantizzati e usarli subito.