Transformer

Il Transformer è un'architettura di rete neurale presentata nel 2017 da ricercatori di Google nell'articolo «Attention Is All You Need». Oggi è alla base di quasi tutti i grandi modelli linguistici, come GPT, Llama, Mistral o Gemini, e serve anche per la traduzione, la visione artificiale e il riconoscimento vocale.

La sua idea centrale è il meccanismo di attenzione. Il testo viene suddiviso in token, ogni token viene trasformato in un vettore, poi il modello calcola per ciascuno l'importanza di tutti gli altri. Nella frase «il miner scalda perché lavora a pieno carico», l'attenzione aiuta a capire che il soggetto di «lavora» è il miner. Questi calcoli avvengono in parallelo, sotto forma di grandi moltiplicazioni di matrici, il che spiega perché le GPU e i loro Tensor Core siano così efficienti nel far girare un Transformer. Un modello sovrappone decine di livelli di questo tipo.

Due caratteristiche di un modello contano nella scelta di una macchina. Il suo numero di parametri determina la memoria necessaria per caricarlo. Anche la finestra di contesto pesa, perché il costo dell'attenzione e la memoria della cache aumentano con la lunghezza del testo elaborato. Una GPU con molta VRAM e un'elevata larghezza di banda della memoria produrrà più token al secondo.

La nostra pagina dedicata al funzionamento di un LLM mostra passo dopo passo che cosa succede in un Transformer, dalla suddivisione in token fino alla scelta della parola successiva.