CUDA

CUDA bezeichnet zwei zusammenhängende Dinge. Zunächst ist es eine Softwareplattform, die NVIDIA 2007 eingeführt hat: eine Sammlung von Werkzeugen, Bibliotheken und Treibern, mit der Entwickler die GPU für allgemeine Berechnungen nutzen können und nicht nur für die Bildausgabe. Im erweiterten Sinne nennt man CUDA-Kerne die grundlegenden Recheneinheiten, die zu Tausenden in den Grafikprozessoren von NVIDIA stecken.

Die meiste KI-Software baut auf CUDA auf: PyTorch, Inferenz-Engines wie vLLM oder Ollama und viele Werkzeuge für wissenschaftliches Rechnen. Das ist einer der Gründe für die führende Stellung von NVIDIA in der KI. Die CUDA-Kerne verarbeiten eine große Zahl von Operationen parallel, während die Tensor Cores aktueller Karten gezielt die Matrixmultiplikationen beschleunigen, die den Kern neuronaler Netze bilden. Die installierten Treiber und die CUDA-Version müssen mit der verwendeten Software kompatibel sein.

Auf einer Produktseite gibt die Zahl der CUDA-Kerne einen Hinweis auf die Rechenleistung, lässt sich aber nur zwischen Karten derselben Generation sinnvoll vergleichen. Für KI zählen außerdem die VRAM-Menge, die Speicherbandbreite und die Generation der Tensor Cores. Prüfen Sie in der Praxis, ob Ihr Betriebssystem und Ihre Treiber die Karte unterstützen.

Auf unserer Seite zur NVIDIA H200 stellen wir eine Rechenzentrums-GPU vor, die für die anspruchsvollsten CUDA-Workloads entwickelt wurde.