Transformer

O Transformer é uma arquitetura de rede neuronal apresentada em 2017 por investigadores da Google no artigo «Attention Is All You Need». É hoje a base de quase todos os grandes modelos de linguagem, como GPT, Llama, Mistral ou Gemini, e serve também para tradução, visão por computador e reconhecimento de voz.

A sua ideia central é o mecanismo de atenção. O texto é dividido em tokens, cada token é transformado num vetor e, depois, o modelo calcula para cada um a importância de todos os outros. Em «o minerador aquece porque está a funcionar em plena carga», a atenção ajuda a perceber que quem está a funcionar é o minerador. Estes cálculos são feitos em paralelo, sob a forma de grandes multiplicações de matrizes, o que explica porque é que as GPU e os seus Tensor Cores são tão eficazes a executar um Transformer. Um modelo empilha dezenas de camadas deste tipo.

Há duas características de um modelo que contam na escolha de uma máquina. O número de parâmetros define a memória necessária para o carregar. A janela de contexto também pesa, porque o custo da atenção e a memória da cache aumentam com o comprimento do texto processado. Uma GPU com muita VRAM e uma largura de banda de memória elevada produzirá mais tokens por segundo.

A nossa página dedicada ao funcionamento de um LLM mostra passo a passo o que acontece dentro de um Transformer, desde a divisão em tokens até à escolha da palavra seguinte.