vLLM

vLLM è un software libero, nato all'Università di Berkeley, specializzato nell'inferenza dei grandi modelli linguistici. Mentre Ollama punta alla semplicità su una postazione individuale, vLLM punta al throughput: lo si usa per far funzionare assistenti aziendali, API interne o servizi che ricevono molte richieste simultanee.

La sua tecnica di punta si chiama PagedAttention. Organizza la cache legata alla finestra di contesto in piccoli blocchi, come la memoria virtuale di un sistema operativo, il che evita di sprecare VRAM. Combinata con l'elaborazione continua delle richieste, che raggruppa le domande di più utenti negli stessi calcoli, permette di servire molte più conversazioni in parallelo con la stessa GPU. vLLM sa anche distribuire un modello su più schede e offre un'API compatibile con la maggior parte degli strumenti sul mercato.

vLLM si usa soprattutto con Linux e schede NVIDIA recenti. Per impostazione predefinita riserva la maggior parte della VRAM alla sua cache: la memoria disponibile determina direttamente il numero di utenti simultanei e la lunghezza di contesto possibile. Per un modello distribuito su più GPU, un collegamento veloce tra le schede, come NVLink sui modelli che ne dispongono, migliora le prestazioni. Mettila in conto: richiede un po' più di configurazione rispetto a Ollama.

Per un team o un'azienda, possiamo dimensionare una configurazione multi-GPU adatta a vLLM in base al numero di utenti previsto.