LLM

LLM é a sigla de «Large Language Model», grande modelo de linguagem em português. É uma rede neuronal do tipo Transformer, treinada com quantidades gigantescas de texto para aprender as regularidades da língua, do código e dos conhecimentos que contêm. Os assistentes conversacionais assentam neste tipo de modelo, tal como famílias de modelos abertos como Llama, Mistral ou Qwen, que se podem instalar em casa.

Um LLM funciona prevendo a continuação mais provável de um texto. A sua pergunta é dividida em tokens, pedaços de palavras, e depois o modelo calcula o token seguinte, acrescenta-o ao texto e recomeça até ao fim da resposta. Os seus conhecimentos estão guardados nos parâmetros, milhares de milhões de números ajustados durante o treino. Um LLM não consulta a Internet por iniciativa própria e pode enganar-se com toda a confiança: verifique sempre as respostas importantes.

Para executar um LLM na sua própria máquina, o critério principal é a memória de vídeo da GPU: tem de conter o modelo, conforme o seu tamanho e a sua quantização, mais uma margem para o contexto. A largura de banda dessa memória determina depois a velocidade de resposta, em tokens por segundo. Depois de quantizado, um modelo de 7 a 14 mil milhões de parâmetros cabe numa placa de 16 GB; os modelos maiores exigem várias GPU ou placas profissionais.

As nossas estações de IA são entregues prontas a usar com o Ollama e o Open WebUI: o seu LLM funciona localmente e os seus dados ficam consigo.