Inferência
Fase em que um modelo de IA já treinado é usado para responder: gerar texto, analisar um documento ou uma imagem. É a utilização diária de uma IA.
A inferência designa a utilização de um modelo de IA depois de terminado o seu treino. Sempre que faz uma pergunta a um assistente, pede o resumo de um documento ou a descrição de uma imagem, o modelo realiza uma inferência: aplica o que aprendeu, sem alterar os seus parâmetros. É o inverso do treino, que serve para construir o modelo e exige recursos muito mais pesados.
Num modelo de linguagem, a inferência decorre em dois tempos. Primeiro, o modelo lê todo o seu pedido de uma só vez: esta etapa exige sobretudo poder de cálculo. Depois, gera a resposta token a token, relendo de cada vez todos os seus parâmetros em memória: esta etapa depende sobretudo da largura de banda da memória da GPU. É por isso que uma GPU com memória muito rápida responde mais depressa, mesmo com um poder de cálculo comparável.
A boa notícia é que a inferência está ao alcance de uma única máquina. Para uso pessoal ou para uma pequena equipa, uma estação com uma ou duas placas gráficas chega para muitos modelos. Para servir dezenas de utilizadores em simultâneo, passa-se para um servidor multi-GPU e para um software otimizado como o vLLM. Os critérios a verificar são a memória de vídeo, a sua largura de banda, as precisões suportadas e o consumo elétrico.
As nossas estações de IA e os nossos servidores GPU foram pensados para inferência local: os seus dados ficam dentro de portas, sem subscrição de um serviço online.