Ollama

O Ollama é uma ferramenta livre que simplifica a utilização dos grandes modelos de linguagem em local. Basta um único comando para descarregar um modelo aberto, como Llama, Mistral, Qwen, Gemma ou DeepSeek, e conversar com ele num terminal. Funciona em Linux, Windows e macOS e deteta automaticamente as placas gráficas compatíveis.

O Ollama assenta nomeadamente no motor llama.cpp e em modelos no formato GGUF, na maioria das vezes quantizados para reduzir a memória necessária. Trata do carregamento do modelo na GPU, reparte as camadas entre a VRAM e a memória RAM se a placa for demasiado pequena e disponibiliza uma API local. Outros programas, como o Open WebUI, editores de código ou ferramentas de automação, podem assim ligar-se a ele tal como fariam com um serviço online, sem que os dados saiam da máquina.

Para tirar pleno partido dele, o modelo tem de caber inteiramente na VRAM: assim que uma parte transborda para a memória RAM, a velocidade cai drasticamente. Numa placa de 16 GB, aponte para modelos até cerca de 14 mil milhões de parâmetros em quantização de 4 bits. Com duas placas, o Ollama consegue repartir um modelo maior. É ideal para uso pessoal ou para uma pequena equipa; para servir muitos utilizadores em simultâneo, o vLLM é muitas vezes mais adequado.

As nossas estações de IA são entregues com o Ollama já instalado e configurado, associado ao Open WebUI, para começar a usar logo no primeiro arranque.