GPU e IA

NVMe

También llamado: SSD NVMe

Protocolo que conecta un SSD directamente al bus PCIe. Un SSD NVMe lee y escribe mucho más rápido que un SSD SATA y acelera la carga de datos.

NVMe, por «Non-Volatile Memory Express», es el protocolo de comunicación de los SSD modernos. En lugar de pasar por la interfaz SATA, heredada de los discos duros, el SSD se conecta directamente a líneas PCIe. El formato más habitual es el pequeño módulo M.2 que se atornilla a la placa base; los servidores usan también formatos U.2 o E1.S, sustituibles en caliente.

El SATA se queda en torno a 550 MB/s. Un SSD NVMe PCIe 4.0 supera los 7 GB/s, y los modelos PCIe 5.0 van más allá de los 10 GB/s. NVMe gestiona además un gran número de colas de comandos en paralelo, lo que reduce mucho los tiempos de espera cuando se leen muchos archivos a la vez.

Para la IA, el almacenamiento NVMe importa sobre todo en la carga: un modelo de lenguaje pesa desde unos pocos gigabytes hasta varios cientos, y hay que transferirlo del disco a la memoria de la GPU en cada arranque. En el entrenamiento, alimenta a las GPU con datos sin hacerlas esperar. En una ficha de producto, fíjate en la capacidad, porque los modelos se acumulan rápido, en la generación PCIe y, para un servidor, en la resistencia expresada en terabytes escritos (TBW). Para una máquina de minería, en cambio, basta con un almacenamiento modesto.

La estación de IA Threadripper que ofrecemos incluye 4 TB de almacenamiento NVMe, suficiente para guardar muchos modelos.