Inferenza
Fase in cui un modello di IA già addestrato viene usato per rispondere: generare un testo, analizzare un documento o un'immagine. È l'uso quotidiano di un'IA.
L'inferenza indica l'uso di un modello di IA una volta terminato il suo addestramento. Ogni volta che fai una domanda a un assistente, che fai riassumere un documento o descrivere un'immagine, il modello esegue un'inferenza: applica ciò che ha imparato, senza modificare i suoi parametri. È l'opposto dell'addestramento, che serve a costruire il modello e richiede risorse molto più pesanti.
Per un modello linguistico, l'inferenza avviene in due fasi. Prima il modello legge l'intera richiesta in un colpo solo: questa fase sollecita soprattutto la potenza di calcolo. Poi genera la risposta token dopo token, rileggendo ogni volta tutti i suoi parametri in memoria: questa fase dipende soprattutto dalla larghezza di banda della memoria della GPU. Per questo una GPU con una memoria molto veloce risponde più rapidamente, anche a parità di potenza di calcolo.
La buona notizia è che l'inferenza è alla portata di una sola macchina. Per un uso personale o un piccolo team, una workstation con una o due schede grafiche basta per numerosi modelli. Per servire decine di utenti simultanei si passa a un server multi-GPU e a un software ottimizzato come vLLM. I criteri da verificare sono la memoria video, la sua larghezza di banda, le precisioni supportate e il consumo elettrico.
Le nostre workstation IA e i nostri server GPU sono pensati per l'inferenza in locale: i tuoi dati restano tra le tue mura, senza abbonamenti a servizi online.