Embedding

Un computer non capisce le parole, manipola numeri. Un embedding, in italiano anche rappresentazione vettoriale, traduce un elemento, che sia un token, una frase, un paragrafo o perfino un'immagine, in un vettore di diverse centinaia o migliaia di numeri. Questi numeri collocano l'elemento in uno spazio matematico in cui la distanza riflette la somiglianza di significato.

Gli embedding sono ovunque nell'IA. All'interno di un LLM, ogni token viene prima convertito in vettore prima di attraversare i livelli del Transformer. All'esterno, modelli di embedding dedicati servono alla ricerca semantica: «guasto della ventola» e «la ventola non gira più» ottengono vettori vicini anche se non hanno quasi nessuna parola in comune. È la base del RAG: i documenti vengono trasformati in vettori e archiviati in un database vettoriale, il che permette di ritrovare in una frazione di secondo i passaggi che rispondono a una domanda.

Per un assistente documentale, la scelta del modello di embedding conta quanto quella dell'LLM: deve gestire bene la tua lingua e il vocabolario del tuo settore. Questi modelli sono molto più piccoli di un LLM e girano senza difficoltà accanto a esso sulla stessa GPU, ma la vettorizzazione iniziale di grandi archivi trae vantaggio da una scheda veloce. Attenzione: se cambi modello di embedding, bisogna vettorizzare di nuovo tutti i documenti.

Quando installiamo un assistente IA privato, impostiamo la vettorizzazione dei tuoi documenti con un modello adatto alla tua lingua.