Precisión FP8 / FP4
También llamado: FP16, FP32
Formatos numéricos de 8 o 4 bits usados en IA. Menos bits significan menos memoria y más cálculos por segundo, a cambio de algo de precisión.
Una GPU calcula con números de coma flotante, almacenados en un número de bits más o menos grande. El FP32, de 32 bits, es la precisión simple clásica; el FP64 se usa en cálculo científico, y el FP16 y el BF16 utilizan 16 bits. Para la IA, NVIDIA añadió el FP8 con las arquitecturas Hopper y Ada Lovelace, y después el FP4 con Blackwell.
Dividir por dos el número de bits es dividir por dos la memoria ocupada y, en Tensor Cores compatibles, duplicar aproximadamente el número de operaciones por segundo. Una red neuronal tolera bien esta pérdida de precisión, sobre todo en inferencia: un modelo bien convertido a FP8 da respuestas casi idénticas. El FP4 va más allá y requiere técnicas de calibración para limitar la pérdida de calidad. El entrenamiento se hace casi siempre en precisión mixta, en BF16 o incluso en FP8.
En una ficha de producto, el rendimiento en TFLOPS siempre se indica para una precisión concreta. Una cifra en FP4 puede ser varias veces, e incluso decenas de veces, superior a la cifra en FP32: compara, por tanto, dos tarjetas con la misma precisión y fíjate en la mención «con dispersión» (sparsity), que vuelve a duplicar el resultado. Comprueba también que el hardware admite realmente la precisión que buscas: en NVIDIA, el FP4 nativo solo llega con Blackwell.
Te ayudamos a elegir entre una estación de IA y un servidor según la precisión y el tamaño de los modelos que quieres ejecutar.