Parametri di un modello
Detto anche: miliardi di parametri, parameters
Numeri regolati durante l'addestramento che contengono il sapere di un modello di IA. Il loro numero, in miliardi, ne indica dimensione e memoria richiesta.
I parametri di un modello di IA sono i numeri, chiamati anche pesi, che collegano tra loro i suoi neuroni artificiali. All'inizio sono casuali; durante l'addestramento vengono regolati un numero enorme di volte finché il modello non produce buone risposte. Una volta terminato l'addestramento, contengono tutto ciò che il modello ha imparato. Il loro numero serve a indicare la dimensione del modello: 8B, 70B o 405B, dove la B sta per «billion», cioè un miliardo.
Più parametri ha un modello, più conoscenze può memorizzare e più finemente può ragionare, ma più memoria e calcolo richiede. Ogni parametro occupa 2 byte a 16 bit: un modello da 70 miliardi di parametri pesa quindi circa 140 GB, e intorno ai 40 GB una volta quantizzato a 4 bit. I modelli a mixture of experts distinguono il numero totale di parametri e il numero di parametri attivi per ogni token, il che li rende più veloci di quanto la loro dimensione lasci pensare.
Per scegliere una macchina, parti dal modello che ti interessa. A 4 bit, calcola in gigabyte poco più della metà del numero di miliardi di parametri, più un margine per il contesto. Una scheda da 16 GB fa girare modelli fino a circa 14 miliardi di parametri, 32 GB permettono di salire verso i 30 miliardi, e i modelli da 70 miliardi richiedono almeno 48 GB. Un modello recente e più piccolo può del resto battere un modello più grande ma più vecchio.
Le nostre workstation IA vanno da una scheda da 16 GB a più schede professionali da 96 GB: dicci quali modelli ti interessano e ti indirizziamo verso la configurazione giusta.