Precisão FP8 / FP4
Também chamado: FP16, FP32
Formatos numéricos de 8 ou 4 bits usados em IA. Menos bits significa menos memória e mais cálculos por segundo, à custa de alguma precisão.
Uma GPU calcula com números de vírgula flutuante, guardados num número de bits maior ou menor. O FP32, de 32 bits, é a precisão simples clássica, o FP64 serve para cálculo científico, e o FP16 e o BF16 usam 16 bits. Para a IA, a NVIDIA acrescentou o FP8 com as arquiteturas Hopper e Ada Lovelace e, depois, o FP4 com a Blackwell.
Reduzir para metade o número de bits é reduzir para metade a memória ocupada e, em Tensor Cores compatíveis, duplicar aproximadamente o número de operações por segundo. Uma rede neuronal tolera bem esta perda de precisão, sobretudo na inferência: um modelo bem convertido para FP8 dá respostas quase idênticas. O FP4 vai mais longe e exige técnicas de calibração para limitar a perda de qualidade. O treino faz-se na maioria das vezes em precisão mista, em BF16 ou mesmo em FP8.
Numa ficha de produto, o desempenho em TFLOPS é sempre indicado para uma determinada precisão. Um valor em FP4 pode ser várias vezes, ou até dezenas de vezes, superior ao valor em FP32: compare, por isso, duas placas na mesma precisão e repare na menção «com esparsidade», que duplica ainda o resultado. Verifique também se a precisão pretendida é realmente suportada pelo hardware: na NVIDIA, o FP4 nativo só surge com a Blackwell.
Ajudamo-lo a escolher entre uma estação de IA e um servidor consoante a precisão e o tamanho dos modelos que pretende executar.