RAG

RAG significa Retrieval-Augmented Generation, em português geração aumentada por recuperação. O princípio é simples: antes de responder, a IA procura numa base de documentos os excertos relacionados com a pergunta e usa-os para redigir a resposta. É a técnica utilizada pela maioria dos assistentes documentais de empresa.

O funcionamento decorre em dois tempos. Primeiro, a indexação: os documentos são divididos em fragmentos, cada fragmento é convertido num embedding, um vetor que resume o seu sentido, e depois guardado numa base vetorial. Em seguida, a cada pergunta, esta é também transformada num vetor, os fragmentos mais próximos são encontrados e transmitidos ao LLM na sua janela de contexto. O modelo deixa assim de responder de memória: apoia-se nos seus textos, pode indicar as fontes e engana-se muito menos. Basta acrescentar um documento para atualizar o assistente, sem novo treino.

A qualidade depende tanto da preparação como do hardware: documentos limpos, digitalizações passadas por OCR, divisão coerente e um bom modelo de embedding. Do lado da máquina, é preciso executar ao mesmo tempo o modelo de embedding e o LLM. Uma placa de 16 GB chega para começar; mais VRAM permite um modelo mais capaz e um contexto mais longo para citar mais excertos. O Open WebUI já integra uma função RAG para fazer os primeiros testes.

Instalamos nas suas instalações assistentes de IA privados ligados aos seus documentos, com o hardware, a instalação e o acompanhamento, mediante orçamento.