Token

Un token es el pequeño fragmento de texto con el que trabaja un modelo de lenguaje. Antes de procesarse, todo texto se divide mediante una herramienta llamada tokenizador: una palabra común suele formar un solo token, mientras que una palabra larga, rara o compuesta se corta en varios fragmentos. Los signos de puntuación, los espacios y las cifras también tienen sus tokens. Cada modelo tiene su propio vocabulario, desde unas decenas de miles hasta más de cien mil tokens.

Todo se cuenta en tokens. El modelo genera su respuesta token a token, y cada uno depende de todos los anteriores. La ventana de contexto, es decir, la cantidad de texto que el modelo puede tener en cuenta a la vez, se expresa en tokens. Y los servicios de IA en línea suelen cobrar por uso, según el número de tokens enviados y recibidos. En español, un texto suele tener algo más de tokens que de palabras.

Para valorar una máquina de IA local, el indicador clave es la velocidad de generación en tokens por segundo. Depende sobre todo del ancho de banda de la memoria de la GPU y del tamaño del modelo. Por encima de unos veinte tokens por segundo, el texto aparece más rápido de lo que se lee. Fíjate también en la velocidad de lectura del prompt, importante cuando envías documentos largos para analizar.

Con una estación de IA en casa, se acabó pagar por token: usas tu modelo tanto como quieras, y el coste de uso se limita a la electricidad consumida.