Tensor Cores
Unidades de cálculo especializadas das GPU NVIDIA, concebidas para multiplicar matrizes a grande velocidade. Fazem o grosso do trabalho em IA.
Os Tensor Cores são unidades de cálculo integradas nas GPU NVIDIA desde a arquitetura Volta, em 2017. Ao lado dos núcleos CUDA, que são versáteis, só sabem fazer uma coisa: multiplicar pequenas matrizes e somar o resultado, numa única operação. É precisamente o cálculo que se repete sem parar numa rede neuronal.
Treinar um modelo ou pô-lo a gerar texto significa encadear milhares de milhões de multiplicações de matrizes. Os Tensor Cores processam-nas em bloco, muito mais depressa do que os núcleos clássicos. Cada geração acrescenta formatos numéricos mais compactos: FP16 e BF16, depois FP8 com Hopper e Ada Lovelace e, mais tarde, FP4 com Blackwell, que vai já na quinta geração. Menos bits por número significa mais operações por segundo.
Numa ficha de produto, veja a geração dos Tensor Cores e o desempenho indicado em TFLOPS para cada precisão. Compare sempre duas placas com a mesma precisão e verifique se o valor é dado «com esparsidade», o que o duplica. Uma placa RTX de consumo também tem Tensor Cores: é suficiente para executar um modelo localmente, ao passo que uma H200 se destina a modelos muito grandes e a muitos utilizadores em simultâneo.
As nossas estações de IA e os nossos servidores GPU assentam todos em Tensor Cores recentes, e ajudamo-lo a escolher a geração adequada aos seus modelos.