Precisione FP8 / FP4
Detto anche: FP16, FP32
Formati numerici a 8 o 4 bit usati nell'IA. Meno bit significano meno memoria e più calcoli al secondo, al prezzo di un po' di precisione.
Una GPU calcola con numeri in virgola mobile, memorizzati su un numero di bit più o meno grande. L'FP32, a 32 bit, è la classica precisione singola, l'FP64 serve al calcolo scientifico, l'FP16 e il BF16 usano 16 bit. Per l'IA, NVIDIA ha aggiunto l'FP8 con le architetture Hopper e Ada Lovelace, poi l'FP4 con Blackwell.
Dimezzare il numero di bit significa dimezzare la memoria occupata e, su Tensor Core compatibili, raddoppiare più o meno il numero di operazioni al secondo. Una rete neurale tollera bene questa perdita di finezza, soprattutto per l'inferenza: un modello convertito correttamente in FP8 dà risposte quasi identiche. L'FP4 si spinge oltre e richiede tecniche di calibrazione per limitare la perdita di qualità. L'addestramento avviene per lo più in precisione mista, in BF16 o perfino in FP8.
Nella scheda prodotto, le prestazioni in TFLOPS sono sempre indicate per una determinata precisione. Un dato in FP4 può essere diverse volte, persino decine di volte superiore al dato in FP32: confronta quindi due schede nella stessa precisione e individua la dicitura «con sparsità», che raddoppia ancora il risultato. Verifica anche che la precisione desiderata sia davvero supportata dall'hardware: in casa NVIDIA, l'FP4 nativo compare solo con Blackwell.
Ti aiutiamo a scegliere tra una workstation IA e un server in base alla precisione e alla dimensione dei modelli che vuoi far girare.