Parâmetros de um modelo
Também chamado: mil milhões de parâmetros, pesos do modelo, billion parameters
Números ajustados durante o treino que contêm o conhecimento de um modelo de IA. A sua quantidade, em milhares de milhões, indica o tamanho e a memória exigida.
Os parâmetros de um modelo de IA são os números, também chamados pesos, que ligam os seus neurónios artificiais entre si. No início são aleatórios; durante o treino, são ajustados um número enorme de vezes até que o modelo produza boas respostas. Terminado o treino, contêm tudo o que o modelo aprendeu. O seu número serve para designar o tamanho do modelo: 8B, 70B ou 405B, em que o B significa «billion», ou seja, mil milhões em português.
Quanto mais parâmetros um modelo tem, mais conhecimento consegue reter e mais finamente consegue raciocinar, mas também mais memória e cálculo exige. Cada parâmetro ocupa 2 bytes em 16 bits: um modelo de 70 mil milhões de parâmetros pesa, portanto, cerca de 140 GB, e perto de 40 GB depois de quantizado em 4 bits. Os modelos de mistura de especialistas distinguem o número total de parâmetros do número de parâmetros ativos para cada token, o que os torna mais rápidos do que o seu tamanho faria supor.
Para escolher uma máquina, parta do modelo pretendido. Em 4 bits, conte um pouco mais de metade do número de milhares de milhões de parâmetros em gigabytes, mais uma margem para o contexto. Uma placa de 16 GB executa modelos até cerca de 14 mil milhões de parâmetros, 32 GB permitem chegar a perto de 30 mil milhões e os modelos de 70 mil milhões exigem pelo menos 48 GB. Aliás, um modelo recente e mais pequeno pode superar um modelo maior mas mais antigo.
As nossas estações de IA vão de uma placa de 16 GB a várias placas profissionais de 96 GB: diga-nos que modelos pretende usar e orientamo-lo para a configuração certa.