NVLink
Auch genannt: NVSwitch
Hochgeschwindigkeitsverbindung von NVIDIA, die mehrere GPUs direkt und weit schneller als PCIe verbindet, damit sie wie eine einzige arbeiten.
NVLink ist eine proprietäre Verbindung von NVIDIA, über die GPUs direkt miteinander kommunizieren, ohne den Umweg über den PCIe-Bus oder den Prozessor. NVSwitch ist der zugehörige Vermittlungschip in großen Servern: Er ermöglicht jeder GPU, mit allen anderen bei voller Geschwindigkeit Daten auszutauschen, und nicht nur mit ihrer Nachbarin.
Ist ein KI-Modell zu groß für eine einzelne GPU, wird es auf mehrere Karten aufgeteilt, die ständig Daten austauschen müssen. Bei einer langsamen Verbindung verbringen die GPUs ihre Zeit mit Warten. Mit NVLink ist die Datenrate um ein Vielfaches höher als bei PCIe: rund 900 GB/s pro GPU bei der Hopper-Generation und das Doppelte bei Blackwell. Acht über NVSwitch verbundene GPUs verhalten sich dann fast wie ein einziger riesiger Beschleuniger, wovon vor allem Training und Inferenz sehr großer Modelle profitieren.
Achten Sie auf der Produktseite auf die Angabe NVLink und deren Generation sowie bei Servern mit 8 GPUs auf NVSwitch. Die SXM-Module der HGX-Plattformen nutzen es voll aus, und einige PCIe-Karten für Rechenzentren unterstützen eine NVLink-Brücke zwischen zwei oder vier Karten. Aktuelle Consumer-Karten haben es nicht mehr: Um ein Modell lokal auf einer oder zwei Karten zu betreiben, reicht PCIe völlig aus.
Bei den Multi-GPU-Servern, die wir auf Anfrage anbieten, geben wir immer die Art der Verbindung zwischen den GPUs an und helfen Ihnen einzuschätzen, ob NVLink für Ihren Einsatz sinnvoll ist.