Hopper
Architettura GPU di NVIDIA per data center presentata nel 2022, quella di H100 e H200. Ha introdotto l'FP8 e il Transformer Engine.
Hopper è l'architettura GPU che NVIDIA ha presentato nel 2022 per i data center, dal nome dell'informatica Grace Hopper. Equipaggia H100 e H200, oltre al chip GH200, che abbina una GPU Hopper a un processore Grace. Ha raccolto l'eredità di Ampere, l'architettura dell'A100, prima di essere a sua volta sostituita da Blackwell.
Hopper ha segnato una svolta per l'IA generativa. I suoi Tensor Core di quarta generazione gestiscono la precisione FP8, e il suo Transformer Engine sceglie automaticamente tra FP8 e FP16 a seconda dei livelli del modello, il che accelera nettamente l'addestramento e l'inferenza dei modelli di tipo Transformer. Porta anche NVLink di quarta generazione, a circa 900 GB/s per GPU, e la memoria HBM3.
Tra H100 e H200 la potenza di calcolo è identica: la differenza sta nella memoria. La H100 SXM dispone di 80 GB di HBM3, la H200 di 141 GB di HBM3e con una larghezza di banda di circa 4,8 TB/s. Per far girare grandi modelli linguistici è spesso la memoria a fare da limite, e la H200 permette allora di caricare modelli più grandi o di elaborare più richieste in parallelo. Nella scheda prodotto, verifica anche il formato, SXM o PCIe, e la generazione di NVLink.
Proponiamo configurazioni basate su H200 su preventivo, con un acconto di prenotazione rimborsato se rinunci.