Multi-GPU
Utilização de várias placas gráficas na mesma máquina para somar a sua memória e o seu poder de cálculo, tanto em IA como em mineração.
Fala-se de configuração multi-GPU quando uma máquina tem várias placas gráficas a trabalhar em conjunto. Isto vai da estação de trabalho com duas placas até ao servidor de oito GPU, e mesmo a clusters de servidores ligados em rede. O princípio é simples: somar a memória e o poder de cálculo de várias GPU.
Na mineração, cada placa de um rig trabalha de forma independente: o hashrate total é simplesmente a soma do de cada placa. Na IA, é mais subtil. Um modelo demasiado grande para uma única GPU é dividido por várias placas, camada a camada ou dentro de cada camada, e as GPU têm então de trocar dados entre si. Duas placas de 16 GB permitem assim carregar um modelo de cerca de 25 GB, mas a velocidade não duplica: tudo depende da ligação entre elas, PCIe ou NVLink, e do software utilizado.
Antes de escolher uma máquina multi-GPU, verifique o número de linhas PCIe disponíveis para cada placa, a potência da fonte de alimentação, a refrigeração e o espaço entre as placas. Do lado do software, o Ollama reparte automaticamente um modelo por várias GPU, e o vLLM consegue pô-las a trabalhar em paralelo para servir vários utilizadores. Várias placas de gama média oferecem muitas vezes mais memória pelo mesmo orçamento do que uma única placa de topo de gama.
A nossa estação de IA Pro reúne duas placas de 16 GB, num total de 32 GB de memória de vídeo, e propomos mediante orçamento servidores até 8 GPU.