vLLM

O vLLM é um software livre, nascido na Universidade de Berkeley, especializado na inferência de grandes modelos de linguagem. Enquanto o Ollama aposta na simplicidade num posto individual, o vLLM aposta no débito: é usado para pôr a funcionar assistentes empresariais, APIs internas ou serviços que recebem muitos pedidos em simultâneo.

A sua técnica de referência chama-se PagedAttention. Organiza a cache associada à janela de contexto em pequenos blocos, à semelhança da memória virtual de um sistema operativo, o que evita desperdiçar VRAM. Combinada com o processamento contínuo dos pedidos, que agrupa os pedidos de vários utilizadores nos mesmos cálculos, permite servir muito mais conversas em paralelo com a mesma GPU. O vLLM consegue também repartir um modelo por várias placas e disponibiliza uma API compatível com a maioria das ferramentas do mercado.

O vLLM usa-se sobretudo em Linux com placas NVIDIA recentes. Por omissão, reserva a maior parte da VRAM para a sua cache: a memória disponível determina diretamente o número de utilizadores em simultâneo e o comprimento de contexto possível. Para um modelo repartido por várias GPU, uma ligação rápida entre as placas, como o NVLink nos modelos que o têm, melhora o desempenho. Conte com um pouco mais de configuração do que com o Ollama.

Para uma equipa ou uma empresa, podemos dimensionar uma configuração multi-GPU adequada ao vLLM consoante o número de utilizadores previsto.