VRAM
Também chamado: memória de vídeo, memória da GPU
Memória integrada numa placa gráfica, onde a GPU guarda os dados que processa. Em IA, a sua capacidade define o tamanho dos modelos utilizáveis.
A VRAM, ou memória de vídeo, é a memória instalada diretamente na placa gráfica, à volta do processador gráfico. É separada da memória RAM do computador e muito mais rápida. Mede-se em gigabytes: 8 GB numa placa de gama de entrada, várias dezenas nas placas profissionais e mais de 100 GB em algumas GPU de centro de dados.
Para a inteligência artificial, a VRAM é muitas vezes o critério número um. Um modelo de linguagem tem de caber na memória, com os seus parâmetros, a sua cache de contexto e os dados em processamento. Como ordem de grandeza, cada mil milhões de parâmetros ocupa cerca de 2 GB em precisão de 16 bits, e duas a quatro vezes menos depois de quantizado. Se a VRAM for insuficiente, o modelo não carrega ou fica muito lento. Na mineração, a quantidade de VRAM também conta para alguns algoritmos exigentes em memória.
Numa ficha de produto, veja a capacidade de VRAM, o seu tipo, por exemplo GDDR7 ou HBM, e a sua largura de banda. Para executar um modelo localmente, parta do tamanho do modelo pretendido e acrescente uma margem para a janela de contexto. Com várias GPU, a memória pode ser repartida entre as placas, mas a ligação entre elas passa então a ser importante.
A nossa coleção de GPU para IA e a nossa página dedicada ajudam-no a escolher a quantidade de VRAM adequada aos seus modelos.