Hopper
Arquitetura de GPU da NVIDIA para centros de dados apresentada em 2022, a das H100 e H200. Introduziu o FP8 e o Transformer Engine.
Hopper é a arquitetura de GPU que a NVIDIA apresentou em 2022 para os centros de dados, com o nome da cientista informática Grace Hopper. Equipa as H100 e H200, bem como o chip GH200, que combina uma GPU Hopper com um processador Grace. Sucedeu à Ampere, a arquitetura da A100, antes de ser ela própria substituída pela Blackwell.
A Hopper marcou uma viragem para a IA generativa. Os seus Tensor Cores de quarta geração suportam a precisão FP8, e o seu Transformer Engine escolhe automaticamente entre FP8 e FP16 consoante as camadas do modelo, o que acelera claramente o treino e a inferência dos modelos do tipo Transformer. Trouxe também o NVLink de quarta geração, com cerca de 900 GB/s por GPU, e a memória HBM3.
Entre a H100 e a H200, o poder de cálculo é idêntico: a diferença está na memória. A H100 SXM tem 80 GB de HBM3, a H200 tem 141 GB de HBM3e com uma largura de banda de cerca de 4,8 TB/s. Para executar grandes modelos de linguagem, é muitas vezes a memória que limita, e a H200 permite então carregar modelos maiores ou processar mais pedidos em paralelo. Numa ficha de produto, verifique também o formato, SXM ou PCIe, e a geração do NVLink.
Propomos configurações com H200 mediante orçamento, com um sinal de reserva reembolsado se desistir.