Largura de banda de memória
Volume de dados que a memória de uma GPU consegue trocar com o chip por segundo, em GB/s ou TB/s. Um critério-chave para a velocidade da IA.
A largura de banda de memória mede o volume de dados que a memória de uma placa gráfica consegue transmitir ao processador gráfico num segundo. Exprime-se em gigabytes por segundo (GB/s) ou, nas GPU de centro de dados, em terabytes por segundo (TB/s). Depende do tipo de memória, da sua frequência e da largura do barramento que a liga à GPU.
Uma GPU pode ter um enorme poder de cálculo e, mesmo assim, ficar parada à espera dos dados. É o que acontece muitas vezes na inteligência artificial: durante a geração de texto, cada novo token obriga a GPU a reler praticamente todos os parâmetros do modelo. A velocidade de geração depende, portanto, mais da largura de banda do que da potência bruta. Simplificando, dividir a largura de banda pelo tamanho do modelo em memória dá um limite máximo do número de tokens por segundo para um pedido.
Numa ficha de produto, a largura de banda aparece muitas vezes ao lado da capacidade de VRAM. Para comparar duas placas destinadas à IA, analise as duas em conjunto: a capacidade determina que modelos podem ser carregados, a largura de banda determina a sua rapidez de resposta. As memórias HBM oferecem as larguras de banda mais elevadas, à frente da GDDR7 e da GDDR6X. Na mineração, alguns algoritmos também são limitados pela memória, o que explica o interesse dos ajustes de frequência da memória.
A nossa página sobre a NVIDIA H200 ilustra o que representa uma largura de banda muito elevada para as cargas de IA.