Transformer

El Transformer es una arquitectura de red neuronal presentada en 2017 por investigadores de Google en el artículo «Attention Is All You Need». Hoy es la base de casi todos los grandes modelos de lenguaje, como GPT, Llama, Mistral o Gemini, y también se usa en traducción, visión por ordenador y reconocimiento de voz.

Su idea central es el mecanismo de atención. El texto se divide en tokens, cada token se convierte en un vector y, después, el modelo calcula para cada uno la importancia de todos los demás. En «el minero se calienta porque funciona a plena carga», la atención ayuda a entender que el sujeto de «funciona» es el minero. Estos cálculos se hacen en paralelo, en forma de grandes multiplicaciones de matrices, lo que explica por qué las GPU y sus Tensor Cores son tan eficaces para ejecutar un Transformer. Un modelo apila decenas de capas de este tipo.

Dos características de un modelo importan a la hora de elegir una máquina. Su número de parámetros fija la memoria necesaria para cargarlo. Su ventana de contexto también pesa, porque el coste de la atención y la memoria de la caché aumentan con la longitud del texto procesado. Una GPU con mucha VRAM y un ancho de banda de memoria elevado generará más tokens por segundo.

Nuestra página dedicada al funcionamiento de un LLM muestra paso a paso lo que ocurre dentro de un Transformer, desde la división en tokens hasta la elección de la palabra siguiente.