Janela de contexto
Também chamado: contexto, context window
A janela de contexto é a quantidade máxima de texto, contada em tokens, que um modelo de IA tem em conta de uma só vez: instruções, documentos e resposta.
Um modelo de linguagem não lê um texto de forma ilimitada. Em cada pedido, recebe um conjunto de tokens: as instruções, o histórico da conversa, eventuais documentos anexados e, depois, a resposta que gera. A janela de contexto é o tamanho máximo desse conjunto. Exprime-se em tokens, por exemplo 8000, 32 000 ou 128 000. Uma palavra comum corresponde muitas vezes a um único token, uma palavra longa ou rara a vários.
Tudo o que ultrapassa a janela é ignorado: numa conversa longa, o modelo acaba por «esquecer» o início. É uma memória de trabalho, não uma memória permanente. Uma janela grande permite analisar um contrato inteiro ou uma extensa base de código de uma só vez, mas sai cara em cálculo e em memória, porque o modelo guarda para cada token dados intermédios chamados cache chave-valor.
Numa máquina local, é muitas vezes a VRAM que limita a janela realmente utilizável, muito antes do limite teórico do modelo. Um modelo que cabe em 16 GB com um contexto curto pode deixar de caber com um contexto de 64 000 tokens. Ferramentas como o Ollama ou o vLLM permitem ajustar esse comprimento. Para trabalhar com grandes volumes de documentos, o RAG evita carregar tudo de uma vez, transmitindo ao modelo apenas os excertos úteis.
Quando configuramos uma estação de IA, temos em conta o comprimento de contexto de que precisa para escolher a quantidade de memória da GPU.