Mistura de especialistas

Num modelo clássico, chamado denso, todos os parâmetros participam no cálculo de cada token. Uma mistura de especialistas, muitas vezes abreviada MoE, de Mixture of Experts, substitui algumas camadas do Transformer por vários «especialistas», pequenas redes colocadas em paralelo. Um router escolhe, para cada token, um pequeno número de especialistas considerados relevantes, e só esses são calculados. Mixtral, DeepSeek e algumas versões de Qwen ou de Llama assentam neste princípio.

Distinguem-se, portanto, dois números: o número total de parâmetros e o número de parâmetros ativos. Um modelo com um total elevado mas poucos parâmetros ativos gera as respostas quase tão depressa como um pequeno modelo denso, beneficiando ao mesmo tempo dos conhecimentos de um modelo muito maior. É isto que torna possíveis modelos muito grandes com um custo de cálculo razoável.

A armadilha é a memória. Mesmo que poucos especialistas trabalhem em cada momento, todos têm de estar carregados: um MoE exige tanta VRAM quanto o seu número total de parâmetros impõe. Para escolher uma máquina, veja o total para dimensionar a memória e os parâmetros ativos para estimar a velocidade. Os MoE tiram bom partido de uma grande quantidade de VRAM repartida por várias GPU, e algumas ferramentas conseguem deixar parte dos especialistas na memória RAM do processador, à custa de uma velocidade menor.

Ajudamo-lo a escolher entre uma placa única e uma configuração multi-GPU consoante os modelos, densos ou MoE, que pretende executar.