RAG

RAG sta per Retrieval-Augmented Generation, in italiano generazione aumentata dal recupero. Il principio è semplice: prima di rispondere, l'IA cerca in una base di documenti i passaggi che riguardano la domanda, poi li usa per scrivere la risposta. È la tecnica utilizzata dalla maggior parte degli assistenti documentali aziendali.

Il funzionamento avviene in due fasi. Prima l'indicizzazione: i documenti vengono suddivisi in pezzi, ogni pezzo viene convertito in embedding, un vettore che ne riassume il significato, e poi archiviato in un database vettoriale. Poi, a ogni domanda, anche questa viene trasformata in vettore, i pezzi più vicini vengono recuperati e trasmessi all'LLM nella sua finestra di contesto. Il modello quindi non risponde più a memoria: si basa sui tuoi testi, può indicare le sue fonti e sbaglia molto meno. Basta aggiungere un documento per aggiornare l'assistente, senza riaddestramento.

La qualità dipende tanto dalla preparazione quanto dall'hardware: documenti puliti, scansioni passate all'OCR, suddivisione coerente e un buon modello di embedding. Lato macchina, bisogna far girare sia il modello di embedding sia l'LLM. Una scheda da 16 GB basta per iniziare; più VRAM permette un modello più capace e un contesto più lungo per citare più passaggi. Open WebUI integra già una funzione RAG per fare le prime prove.

Installiamo nei tuoi locali assistenti IA privati collegati ai tuoi documenti, con hardware, installazione e affiancamento, su preventivo.