VRAM
Detto anche: memoria video, memoria della GPU
Memoria integrata in una scheda grafica, dove la GPU conserva i dati che elabora. Nell'IA, la sua capacità determina la dimensione dei modelli utilizzabili.
La VRAM, o memoria video, è la memoria installata direttamente sulla scheda grafica, intorno al processore grafico. È separata dalla RAM del computer ed è molto più veloce. Si misura in gigabyte: 8 GB su una scheda entry level, diverse decine sulle schede professionali e oltre 100 GB su alcune GPU da data center.
Per l'intelligenza artificiale, la VRAM è spesso il criterio numero uno. Un modello linguistico deve stare in memoria, con i suoi parametri, la sua cache di contesto e i dati in elaborazione. Come ordine di grandezza, ogni miliardo di parametri occupa circa 2 GB in precisione a 16 bit, e da due a quattro volte meno una volta quantizzato. Se la VRAM non basta, il modello non si carica o diventa molto lento. Per il mining, anche la quantità di VRAM conta per alcuni algoritmi che richiedono molta memoria.
Nella scheda prodotto, guarda la capacità della VRAM, il suo tipo, ad esempio GDDR7 o HBM, e la sua larghezza di banda. Per far girare un modello in locale, parti dalla dimensione del modello che ti interessa e aggiungi un margine per la finestra di contesto. Con più GPU, la memoria può essere ripartita tra le schede, ma il collegamento tra di esse diventa allora importante.
La nostra collezione di GPU per l'IA e la nostra pagina dedicata ti aiutano a scegliere la quantità di VRAM adatta ai tuoi modelli.