IA local

Con un asistente en línea, cada pregunta y cada documento van a los servidores de un proveedor. La IA local, también llamada IA privada o IA on-premise, invierte esa lógica: el modelo se instala en un ordenador o un servidor de tu propiedad, y todos los cálculos se hacen allí mismo. Gracias a modelos abiertos como Llama, Mistral, Qwen o Gemma, hoy se obtienen resultados muy útiles sin depender de un servicio externo.

La primera ventaja es la confidencialidad: contratos, expedientes de clientes, datos médicos o planos técnicos no salen de tus instalaciones, lo que también simplifica el cumplimiento del RGPD. A esto se suman la ausencia de suscripciones por usuario o de cobro por token, el funcionamiento sin conexión a Internet y la libertad de elegir y personalizar tus modelos. A cambio, los modelos más grandes del mercado quedan fuera del alcance de una máquina de oficina, y el mantenimiento corre de tu cuenta, salvo que lo confíes a un proveedor.

Para equiparse, todo empieza por la memoria de la GPU. Una tarjeta de 16 GB ejecuta con soltura modelos cuantizados de 7.000 a 14.000 millones de parámetros. Con 32 GB repartidos en dos tarjetas, se accede a modelos más capaces o a contextos más largos. En cuanto al software, Ollama sirve el modelo y Open WebUI ofrece una interfaz de chat parecida a la de los asistentes para el gran público.

Nuestras estaciones de IA se entregan con Linux, los controladores de NVIDIA, Ollama y Open WebUI ya instalados. También ofrecemos, bajo presupuesto, un asistente de IA privado conectado a tus documentos.