Multi-GPU
Uso di più schede grafiche nella stessa macchina per sommarne la memoria e la potenza di calcolo, sia nell'IA sia nel mining.
Si parla di configurazione multi-GPU quando una macchina integra più schede grafiche che lavorano insieme. Si va dalla workstation con due schede fino al server con otto GPU, e perfino a cluster di server collegati in rete. Il principio è semplice: sommare la memoria e la potenza di calcolo di più GPU.
Nel mining, ogni scheda di un rig lavora in modo indipendente: l'hashrate totale è semplicemente la somma di quello delle schede. Nell'IA è più complesso. Un modello troppo grande per una sola GPU viene suddiviso tra più schede, livello per livello o all'interno di ciascun livello, e le GPU devono allora scambiarsi dati. Due schede da 16 GB permettono così di caricare un modello da circa 25 GB, ma la velocità non raddoppia: tutto dipende dal collegamento tra di esse, PCIe o NVLink, e dal software utilizzato.
Prima di scegliere una macchina multi-GPU, verifica il numero di linee PCIe disponibili per ogni scheda, la potenza dell'alimentatore, il raffreddamento e lo spazio tra le schede. Lato software, Ollama distribuisce automaticamente un modello su più GPU, e vLLM sa farle lavorare in parallelo per servire più utenti. Più schede di fascia media offrono spesso più memoria, a parità di budget, di una sola scheda di fascia alta.
La nostra workstation IA Pro riunisce due schede da 16 GB per 32 GB di memoria video, e proponiamo su preventivo server fino a 8 GPU.