Multi-GPU
Uso de varias tarjetas gráficas en una misma máquina para sumar su memoria y su potencia de cálculo, tanto en IA como en minería.
Se habla de configuración multi-GPU cuando una máquina incorpora varias tarjetas gráficas que trabajan juntas. Va desde la estación de trabajo con dos tarjetas hasta el servidor de ocho GPU, e incluso clústeres de servidores conectados en red. El principio es sencillo: sumar la memoria y la potencia de cálculo de varias GPU.
En minería, cada tarjeta de un rig trabaja de forma independiente: el hashrate total es simplemente la suma del de las tarjetas. En IA es más sutil. Un modelo demasiado grande para una sola GPU se reparte entre varias tarjetas, capa a capa o dentro de cada capa, y las GPU tienen que intercambiar datos. Dos tarjetas de 16 GB permiten así cargar un modelo de unos 25 GB, pero la velocidad no se duplica: todo depende del enlace entre ellas, PCIe o NVLink, y del software utilizado.
Antes de elegir una máquina multi-GPU, comprueba el número de líneas PCIe disponibles para cada tarjeta, la potencia de la fuente, la refrigeración y el espacio entre tarjetas. En cuanto al software, Ollama reparte automáticamente un modelo entre varias GPU, y vLLM sabe hacerlas trabajar en paralelo para dar servicio a varios usuarios. Varias tarjetas de gama media suelen ofrecer más memoria por el mismo presupuesto que una sola tarjeta de gama alta.
Nuestra estación de IA Pro reúne dos tarjetas de 16 GB para un total de 32 GB de memoria de vídeo, y ofrecemos bajo presupuesto servidores de hasta 8 GPU.