VRAM
También llamado: memoria de vídeo, memoria gráfica
Memoria integrada en una tarjeta gráfica, donde la GPU guarda los datos que procesa. En IA, su capacidad fija el tamaño de los modelos utilizables.
La VRAM, o memoria de vídeo, es la memoria instalada directamente en la tarjeta gráfica, alrededor del procesador gráfico. Está separada de la memoria RAM del ordenador y es mucho más rápida. Se mide en gigabytes: 8 GB en una tarjeta de gama de entrada, varias decenas en las tarjetas profesionales y más de 100 GB en algunas GPU de centro de datos.
Para la inteligencia artificial, la VRAM suele ser el criterio número uno. Un modelo de lenguaje tiene que caber en la memoria, con sus parámetros, su caché de contexto y los datos en proceso. Como orden de magnitud, cada mil millones de parámetros ocupa unos 2 GB en precisión de 16 bits, y entre dos y cuatro veces menos una vez cuantizado. Si la VRAM no es suficiente, el modelo no se carga o va muy lento. Para la minería, la cantidad de VRAM también cuenta en algunos algoritmos que consumen mucha memoria.
En una ficha de producto, fíjate en la capacidad de VRAM, su tipo, por ejemplo GDDR7 o HBM, y su ancho de banda. Para ejecutar un modelo en local, parte del tamaño del modelo que quieres usar y añade un margen para la ventana de contexto. Con varias GPU, la memoria puede repartirse entre las tarjetas, pero entonces el enlace entre ellas pasa a ser importante.
Nuestra colección de GPU para IA y nuestra página dedicada te ayudan a elegir la cantidad de VRAM adecuada para tus modelos.