vLLM

vLLM es un software libre, nacido en la Universidad de Berkeley, especializado en la inferencia de grandes modelos de lenguaje. Mientras que Ollama apuesta por la sencillez en un puesto individual, vLLM apuesta por el rendimiento: se utiliza para hacer funcionar asistentes de empresa, API internas o servicios que reciben muchas peticiones simultáneas.

Su técnica estrella se llama PagedAttention. Organiza la caché ligada a la ventana de contexto en pequeños bloques, al estilo de la memoria virtual de un sistema operativo, lo que evita desperdiciar VRAM. Combinada con el procesamiento continuo de peticiones, que agrupa las solicitudes de varios usuarios en los mismos cálculos, permite atender muchas más conversaciones en paralelo con la misma GPU. vLLM también sabe repartir un modelo entre varias tarjetas y ofrece una API compatible con la mayoría de las herramientas del mercado.

vLLM se usa sobre todo en Linux con tarjetas NVIDIA recientes. Por defecto, reserva la mayor parte de la VRAM para su caché: la memoria disponible determina directamente el número de usuarios simultáneos y la longitud de contexto posible. Para un modelo repartido entre varias GPU, un enlace rápido entre las tarjetas, como NVLink en los modelos que lo tienen, mejora el rendimiento. Cuenta con algo más de configuración que con Ollama.

Para un equipo o una empresa, podemos dimensionar una configuración multi-GPU adaptada a vLLM según el número de usuarios previsto.