NVLink
Detto anche: NVSwitch
Collegamento ad alta velocità di NVIDIA che unisce direttamente più GPU tra loro, molto più veloce del PCIe, perché lavorino come una sola.
NVLink è una connessione proprietaria di NVIDIA che fa comunicare le GPU direttamente tra loro, senza passare dal bus PCIe né dal processore. NVSwitch è il chip di commutazione che la accompagna nei grandi server: permette a ogni GPU di scambiare dati con tutte le altre alla massima velocità, e non solo con quella vicina.
Quando un modello di IA è troppo grande per una sola GPU, viene suddiviso tra più schede che devono scambiarsi dati di continuo. Su un collegamento lento, le GPU passano il tempo ad aspettare. Con NVLink la velocità di trasferimento è diverse volte superiore a quella del PCIe: circa 900 GB/s per GPU sulla generazione Hopper, e il doppio su Blackwell. Otto GPU collegate tramite NVSwitch si comportano allora quasi come un unico acceleratore gigante, il che avvantaggia soprattutto l'addestramento e l'inferenza dei modelli molto grandi.
Nella scheda prodotto, cerca la dicitura NVLink e la sua generazione, oltre alla presenza di NVSwitch sui server a 8 GPU. I moduli SXM delle piattaforme HGX ne sfruttano appieno le potenzialità, e alcune schede PCIe per data center accettano un bridge NVLink tra due o quattro schede. Le schede consumer recenti non lo hanno più: per far girare un modello in locale su una o due schede, il PCIe è più che sufficiente.
Per i server multi-GPU che proponiamo su preventivo, indichiamo sempre il tipo di collegamento tra le GPU e ti aiutiamo a valutare se NVLink è utile per il tuo utilizzo.