Token

Un token è il piccolo pezzo di testo con cui lavora un modello linguistico. Prima di essere elaborato, ogni testo viene suddiviso da uno strumento chiamato tokenizer: una parola comune forma spesso un solo token, mentre una parola lunga, rara o composta viene spezzata in più parti. Anche la punteggiatura, gli spazi e le cifre hanno i loro token. Ogni modello ha un proprio vocabolario, da qualche decina di migliaia a oltre centomila token.

Tutto si conta in token. Il modello genera la risposta un token alla volta, e ciascuno dipende da tutti quelli che lo precedono. La finestra di contesto, cioè la quantità di testo che il modello può considerare contemporaneamente, si esprime in token. E i servizi di IA online fatturano in genere a consumo, in base al numero di token inviati e ricevuti. In italiano, un testo conta di solito un po' più token che parole.

Per valutare una macchina per l'IA in locale, l'indicatore chiave è la velocità di generazione in token al secondo. Dipende soprattutto dalla larghezza di banda della memoria della GPU e dalla dimensione del modello. Oltre una ventina di token al secondo, il testo compare più velocemente di quanto lo si legga. Guarda anche la velocità di lettura del prompt, importante quando sottoponi lunghi documenti da analizzare.

Con una workstation IA a casa tua, niente più fatturazione a token: usi il tuo modello quanto vuoi, e il costo d'uso si limita all'elettricità consumata.