Finestra di contesto

Un modello linguistico non legge un testo in modo illimitato. A ogni richiesta riceve un insieme di token: le istruzioni, la cronologia della conversazione, gli eventuali documenti allegati e poi la risposta che genera. La finestra di contesto è la dimensione massima di questo insieme. Si esprime in token, ad esempio 8.000, 32.000 o 128.000. Una parola comune corrisponde spesso a un solo token, una parola lunga o rara a più token.

Tutto ciò che supera la finestra viene ignorato: in una lunga conversazione, il modello finisce per «dimenticare» l'inizio. È una memoria di lavoro, non una memoria permanente. Una finestra ampia permette di analizzare un intero contratto o una lunga base di codice in una sola volta, ma costa molto in calcolo e memoria, perché il modello conserva per ogni token dei dati intermedi chiamati cache chiave-valore.

Su una macchina locale è spesso la VRAM a limitare la finestra davvero utilizzabile, ben prima del limite teorico del modello. Un modello che sta in 16 GB con un contesto breve può non starci più con un contesto di 64.000 token. Strumenti come Ollama o vLLM permettono di regolare questa lunghezza. Per sfruttare grandi volumi di documenti, il RAG evita di caricare tutto in una volta, trasmettendo al modello solo i passaggi utili.

Quando configuriamo una workstation IA, teniamo conto della lunghezza di contesto di cui hai bisogno per scegliere la quantità di memoria della GPU.