LLM

LLM è l'abbreviazione di «Large Language Model», in italiano modello linguistico di grandi dimensioni. È una rete neurale di tipo Transformer, addestrata su quantità enormi di testi per apprendere le regolarità della lingua, del codice e delle conoscenze che contengono. Gli assistenti conversazionali si basano su questo tipo di modello, così come famiglie di modelli aperti come Llama, Mistral o Qwen, che si possono installare in casa propria.

Un LLM funziona prevedendo la continuazione più probabile di un testo. La tua domanda viene suddivisa in token, pezzi di parole, poi il modello calcola il token successivo, lo aggiunge al testo e ricomincia fino alla fine della risposta. Le sue conoscenze sono memorizzate nei suoi parametri, miliardi di numeri regolati durante l'addestramento. Un LLM non consulta Internet di sua iniziativa e può sbagliare con grande sicurezza: verifica sempre le sue risposte importanti.

Per far girare un LLM sulla tua macchina, il criterio principale è la memoria video della GPU: deve contenere il modello, in base alla sua dimensione e alla sua quantizzazione, più un margine per il contesto. La larghezza di banda di questa memoria determina poi la velocità di risposta, in token al secondo. Una volta quantizzato, un modello da 7 a 14 miliardi di parametri sta in una scheda da 16 GB; i modelli più grandi richiedono più GPU o schede professionali.

Le nostre workstation IA vengono consegnate pronte all'uso con Ollama e Open WebUI: il tuo LLM funziona in locale e i tuoi dati restano a casa tua.