HBM
Também chamado: HBM3e, High Bandwidth Memory
Memória de largura de banda muito elevada, empilhada em camadas mesmo ao lado da GPU. A HBM3e equipa aceleradores de IA como a NVIDIA H200.
HBM significa High Bandwidth Memory, memória de elevada largura de banda. Em vez de chips distribuídos pela placa, como a GDDR, a HBM empilha várias camadas de memória umas sobre as outras e coloca-as mesmo ao lado do processador gráfico, no mesmo suporte. As gerações sucedem-se: HBM2, HBM2e, HBM3 e depois HBM3e, usada nos aceleradores de IA mais recentes.
Esta proximidade permite uma interface extremamente larga, de vários milhares de bits, quando uma placa de consumo se limita a algumas centenas. O resultado é uma largura de banda que se mede em terabytes por segundo. A NVIDIA H200, por exemplo, tem 141 GB de HBM3e para uma largura de banda de cerca de 4,8 TB/s. Para a IA, isto é decisivo: o treino e a inferência dos grandes modelos passam a maior parte do tempo a ler e a escrever dados na memória.
A HBM é cara de fabricar e está reservada às GPU de centro de dados e aos servidores de IA, como as plataformas HGX. Numa ficha de produto, compare a capacidade total, a geração de HBM e a largura de banda. Para um modelo de linguagem, a capacidade indica que tamanho de modelo pode ser carregado, e a largura de banda a que velocidade conseguirá gerar texto.
A nossa página dedicada à NVIDIA H200 apresenta em detalhe esta placa e a sua memória HBM3e.