Ollama

Ollama es una herramienta libre que simplifica el uso de grandes modelos de lenguaje en local. Basta un solo comando para descargar un modelo abierto, como Llama, Mistral, Qwen, Gemma o DeepSeek, y conversar con él en un terminal. Funciona en Linux, Windows y macOS y detecta automáticamente las tarjetas gráficas compatibles.

Ollama se basa, entre otros, en el motor llama.cpp y en modelos en formato GGUF, casi siempre cuantizados para reducir la memoria necesaria. Gestiona la carga del modelo en la GPU, reparte las capas entre la VRAM y la memoria RAM si la tarjeta es demasiado pequeña y ofrece una API local. Así, otros programas, como Open WebUI, editores de código o herramientas de automatización, pueden conectarse a él como lo harían con un servicio en línea, sin que los datos salgan de la máquina.

Para sacarle todo el partido, el modelo tiene que caber entero en la VRAM: en cuanto una parte se desborda a la memoria RAM, la velocidad cae en picado. Con una tarjeta de 16 GB, apunta a modelos de hasta unos 14.000 millones de parámetros en cuantización de 4 bits. Con dos tarjetas, Ollama sabe repartir un modelo más grande. Es ideal para un uso personal o un equipo pequeño; para dar servicio a muchos usuarios simultáneos, vLLM suele ser más adecuado.

Nuestras estaciones de IA se entregan con Ollama ya instalado y configurado, junto con Open WebUI, para empezar desde el primer encendido.