IA locale
Detto anche: IA privata, IA on-premise, IA in sede
L'IA locale fa girare un modello di intelligenza artificiale sul tuo hardware, in ufficio o a casa, senza inviare i tuoi dati nel cloud.
Con un assistente online, ogni domanda e ogni documento finiscono sui server di un fornitore. L'IA locale, detta anche IA privata o IA on-premise, ribalta la logica: il modello è installato su un computer o un server di tua proprietà, e tutti i calcoli avvengono sul posto. Grazie ai modelli aperti come Llama, Mistral, Qwen o Gemma, oggi si ottengono risultati molto utili senza dipendere da un servizio esterno.
Il primo vantaggio è la riservatezza: contratti, pratiche dei clienti, dati medici o progetti tecnici restano tra le tue mura, il che semplifica anche la conformità al GDPR. A questo si aggiungono l'assenza di abbonamenti per utente o di fatturazione a token, il funzionamento senza connessione a Internet e la libertà di scegliere e personalizzare i tuoi modelli. In cambio, i modelli più grandi sul mercato restano fuori dalla portata di una macchina da ufficio, e la manutenzione spetta a te, a meno che tu non la affidi a un fornitore.
Per attrezzarsi, tutto parte dalla memoria della GPU. Una scheda da 16 GB fa girare comodamente modelli quantizzati da 7 a 14 miliardi di parametri. Con 32 GB distribuiti su due schede si accede a modelli più capaci o a contesti più lunghi. Lato software, Ollama serve il modello e Open WebUI offre un'interfaccia di chat simile a quella degli assistenti consumer.
Le nostre workstation IA vengono consegnate con Linux, i driver NVIDIA, Ollama e Open WebUI già installati. Proponiamo anche, su preventivo, un assistente IA privato collegato ai tuoi documenti.