Ventana de contexto
También llamado: contexto, context window
La ventana de contexto es la cantidad máxima de texto, en tokens, que un modelo de IA tiene en cuenta a la vez: instrucciones, documentos y respuesta.
Un modelo de lenguaje no lee un texto de forma ilimitada. En cada petición recibe un conjunto de tokens: las instrucciones, el historial de la conversación, los posibles documentos adjuntos y la respuesta que genera. La ventana de contexto es el tamaño máximo de ese conjunto. Se expresa en tokens, por ejemplo 8.000, 32.000 o 128.000. Una palabra común suele ser un solo token; una palabra larga o rara, varios.
Todo lo que supera la ventana se ignora: en una conversación larga, el modelo acaba «oolvidando» el principio. Es una memoria de trabajo, no una memoria permanente. Una ventana grande permite analizar un contrato entero o una base de código extensa de una sola vez, pero sale cara en cálculo y en memoria, porque el modelo guarda para cada token unos datos intermedios llamados caché clave-valor.
En una máquina local, suele ser la VRAM la que limita la ventana realmente utilizable, mucho antes que el límite teórico del modelo. Un modelo que cabe en 16 GB con un contexto corto puede dejar de caber con un contexto de 64.000 tokens. Herramientas como Ollama o vLLM permiten ajustar esta longitud. Para aprovechar grandes volúmenes de documentos, el RAG evita cargarlo todo de golpe y solo pasa al modelo los fragmentos útiles.
Cuando configuramos una estación de IA, tenemos en cuenta la longitud de contexto que necesitas para elegir la cantidad de memoria de la GPU.