Quantização
Também chamado: quantization, 4 bits, 8 bits
Técnica que guarda os pesos de um modelo de IA em menos bits, 8 ou 4 em vez de 16, para reduzir a memória necessária com pouca perda de qualidade.
A quantização consiste em converter os parâmetros de um modelo de IA para um formato mais compacto. Um modelo é geralmente publicado com 16 bits por parâmetro; quantizado, passa para 8 bits, 4 bits ou por vezes menos. O modelo continua a ser o mesmo, mas cada número é arredondado para ocupar menos espaço.
O ganho é direto na memória. Um modelo de 8 mil milhões de parâmetros ocupa cerca de 16 GB em 16 bits, 8 GB em 8 bits e cerca de 5 GB em 4 bits. Como a geração de texto é limitada sobretudo pela velocidade a que a GPU lê esses pesos, um modelo quantizado também responde mais depressa. A contrapartida é uma ligeira perda de qualidade, quase impercetível em 8 bits, geralmente moderada em 4 bits e mais acentuada abaixo disso. Existem vários métodos, e os modelos prontos a usar são muitas vezes disponibilizados em 4 bits por omissão.
Na prática, a quantização decide o que cabe na sua placa gráfica. Com 16 GB de memória de vídeo, um modelo de 14 mil milhões de parâmetros em 4 bits cabe com folga; com 32 GB, podem visar-se modelos de cerca de 30 mil milhões de parâmetros. Mantenha sempre uma margem para a janela de contexto, que também ocupa memória. Um modelo maior mas quantizado dá muitas vezes melhores resultados do que um modelo pequeno em precisão total.
As nossas estações de IA são entregues com o Ollama e o Open WebUI instalados: pode descarregar modelos quantizados e utilizá-los de imediato.