NVMe
Detto anche: SSD NVMe
Protocollo che collega un SSD direttamente al bus PCIe. Un SSD NVMe legge e scrive molto più velocemente di un SSD SATA e accelera il caricamento dei dati.
NVMe, sigla di «Non-Volatile Memory Express», è il protocollo di comunicazione degli SSD moderni. Invece di passare dall'interfaccia SATA, ereditata dai dischi rigidi, l'SSD è collegato direttamente a linee PCIe. Il formato più diffuso è il piccolo modulo M.2 che si avvita sulla scheda madre; i server usano anche i formati U.2 o E1.S, sostituibili a caldo.
Il SATA si ferma intorno ai 550 MB/s. Un SSD NVMe PCIe 4.0 supera i 7 GB/s, e i modelli PCIe 5.0 vanno oltre i 10 GB/s. NVMe gestisce anche un numero elevatissimo di code di comandi in parallelo, il che riduce molto i tempi di attesa quando si leggono molti file contemporaneamente.
Per l'IA, lo storage NVMe conta soprattutto in fase di caricamento: un modello linguistico pesa da pochi gigabyte a diverse centinaia, e va trasferito dal disco alla memoria della GPU a ogni avvio. Per l'addestramento, alimenta le GPU con i dati senza farle aspettare. Nella scheda prodotto, guarda la capacità, perché i modelli si accumulano in fretta, la generazione PCIe e, per un server, la durata espressa in terabyte scritti (TBW). Per una macchina da mining, invece, basta uno storage modesto.
La workstation IA Threadripper che proponiamo integra 4 TB di storage NVMe, abbastanza per conservare numerosi modelli.