Multi-GPU
Einsatz mehrerer Grafikkarten in einer Maschine, um ihren Speicher und ihre Rechenleistung zu bündeln, in der KI ebenso wie beim Mining.
Von einer Multi-GPU-Konfiguration spricht man, wenn eine Maschine mehrere Grafikkarten enthält, die zusammenarbeiten. Das reicht von der Workstation mit zwei Karten bis zum Server mit acht GPUs und sogar zu Clustern aus vernetzten Servern. Das Prinzip ist einfach: Speicher und Rechenleistung mehrerer GPUs addieren.
Beim Mining arbeitet jede Karte eines Rigs unabhängig: Die Gesamt-Hashrate ist einfach die Summe der einzelnen Karten. Bei KI ist es komplizierter. Ein Modell, das für eine einzelne GPU zu groß ist, wird auf mehrere Karten aufgeteilt, Schicht für Schicht oder innerhalb jeder Schicht, und die GPUs müssen dann Daten austauschen. Zwei Karten mit 16 GB können so ein Modell von etwa 25 GB laden, aber das Tempo verdoppelt sich nicht: Alles hängt von der Verbindung zwischen ihnen ab, PCIe oder NVLink, und von der eingesetzten Software.
Prüfen Sie vor der Wahl einer Multi-GPU-Maschine die Zahl der PCIe-Lanes, die für jede Karte verfügbar sind, die Leistung des Netzteils, die Kühlung und den Abstand zwischen den Karten. Auf der Softwareseite verteilt Ollama ein Modell automatisch auf mehrere GPUs, und vLLM kann sie parallel arbeiten lassen, um mehrere Nutzer zu bedienen. Mehrere Mittelklassekarten bieten fürs gleiche Budget oft mehr Speicher als eine einzelne High-End-Karte.
Unsere KI-Workstation Pro vereint zwei Karten mit je 16 GB zu 32 GB Grafikspeicher, und auf Anfrage bieten wir Server mit bis zu 8 GPUs an.