Ollama

Ollama è uno strumento libero che semplifica l'uso dei grandi modelli linguistici in locale. Basta un solo comando per scaricare un modello aperto, come Llama, Mistral, Qwen, Gemma o DeepSeek, e poi dialogare con lui in un terminale. Funziona con Linux, Windows e macOS e rileva automaticamente le schede grafiche compatibili.

Ollama si basa in particolare sul motore llama.cpp e su modelli in formato GGUF, il più delle volte quantizzati per ridurre la memoria necessaria. Gestisce il caricamento del modello sulla GPU, distribuisce i livelli tra la VRAM e la RAM se la scheda è troppo piccola ed espone un'API locale. Altri software, come Open WebUI, editor di codice o strumenti di automazione, possono così collegarsi a esso come farebbero con un servizio online, senza che i dati lascino la macchina.

Per sfruttarlo appieno, il modello deve stare interamente nella VRAM: non appena una parte trabocca nella RAM, la velocità crolla. Su una scheda da 16 GB, punta a modelli fino a circa 14 miliardi di parametri con quantizzazione a 4 bit. Con due schede, Ollama sa distribuire un modello più grande. È ideale per un uso personale o un piccolo team; per servire numerosi utenti simultanei, vLLM è spesso più adatto.

Le nostre workstation IA vengono consegnate con Ollama già installato e configurato, insieme a Open WebUI, per partire fin dalla prima accensione.