Token

Um token é o pequeno pedaço de texto com que um modelo de linguagem trabalha. Antes de ser processado, todo o texto é dividido por uma ferramenta chamada tokenizer: uma palavra comum forma muitas vezes um único token, enquanto uma palavra longa, rara ou composta é cortada em vários pedaços. A pontuação, os espaços e os algarismos também têm os seus tokens. Cada modelo tem o seu próprio vocabulário, de algumas dezenas de milhares a mais de cem mil tokens.

Tudo se conta em tokens. O modelo gera a resposta um token de cada vez, cada um dependente de todos os anteriores. A janela de contexto, ou seja, a quantidade de texto que o modelo consegue ter em conta ao mesmo tempo, exprime-se em tokens. E os serviços de IA online cobram geralmente pela utilização, consoante o número de tokens enviados e recebidos. Em português, um texto tem em geral um pouco mais de tokens do que palavras.

Para avaliar uma máquina de IA local, o indicador-chave é a velocidade de geração em tokens por segundo. Depende sobretudo da largura de banda da memória da GPU e do tamanho do modelo. Acima de uns vinte tokens por segundo, o texto aparece mais depressa do que se consegue ler. Veja também a velocidade de leitura do prompt, importante quando submete documentos longos para análise.

Com uma estação de IA em casa, acabou a faturação ao token: usa o seu modelo tanto quanto quiser, e o custo de utilização resume-se à eletricidade consumida.