IA local

Com um assistente online, cada pergunta e cada documento seguem para os servidores de um fornecedor. A IA local, também chamada IA privada ou IA on-premise, inverte a lógica: o modelo é instalado num computador ou num servidor que lhe pertence, e todos os cálculos são feitos no local. Graças a modelos abertos como Llama, Mistral, Qwen ou Gemma, obtêm-se hoje resultados muito úteis sem depender de um serviço externo.

A primeira vantagem é a confidencialidade: contratos, processos de clientes, dados médicos ou planos técnicos ficam dentro de portas, o que também simplifica a conformidade com o RGPD. Somam-se a ausência de subscrição por utilizador ou de faturação ao token, o funcionamento sem ligação à Internet e a liberdade de escolher e personalizar os seus modelos. Em contrapartida, os maiores modelos do mercado continuam fora do alcance de uma máquina de escritório, e a manutenção fica a seu cargo, a menos que a confie a um prestador de serviços.

Para se equipar, tudo começa pela memória da GPU. Uma placa de 16 GB executa confortavelmente modelos quantizados de 7 a 14 mil milhões de parâmetros. Com 32 GB repartidos por duas placas, tem acesso a modelos mais capazes ou a contextos mais longos. Do lado do software, o Ollama serve o modelo e o Open WebUI oferece uma interface de conversação semelhante à dos assistentes de consumo.

As nossas estações de IA são entregues com Linux, os drivers NVIDIA, o Ollama e o Open WebUI já instalados. Propomos também, mediante orçamento, um assistente de IA privado ligado aos seus documentos.