Mixture of experts

In un modello classico, detto denso, tutti i parametri partecipano al calcolo di ogni token. Un mixture of experts, spesso abbreviato in MoE, sostituisce alcuni livelli del Transformer con diversi «esperti», piccole reti disposte in parallelo. Un router sceglie per ogni token un piccolo numero di esperti ritenuti pertinenti, e solo quelli vengono calcolati. Mixtral, DeepSeek e alcune versioni di Qwen o di Llama si basano su questo principio.

Si distinguono quindi due valori: il numero totale di parametri e il numero di parametri attivi. Un modello con un totale elevato ma pochi parametri attivi genera le risposte quasi alla stessa velocità di un piccolo modello denso, beneficiando però delle conoscenze di un modello molto più grande. È ciò che rende possibili modelli molto grandi a un costo di calcolo ragionevole.

L'insidia è la memoria. Anche se pochi esperti lavorano in ogni istante, devono essere caricati tutti: un MoE richiede tanta VRAM quanta ne impone il suo numero totale di parametri. Per scegliere una macchina, guarda il totale per dimensionare la memoria e i parametri attivi per stimare la velocità. I MoE traggono vantaggio da una grande quantità di VRAM distribuita su più GPU, e alcuni strumenti sanno lasciare una parte degli esperti nella RAM del processore, a scapito della velocità.

Ti aiutiamo a scegliere tra una scheda singola e una configurazione multi-GPU in base ai modelli, densi o MoE, che vuoi far girare.