LLM

LLM es la abreviatura de «Large Language Model», gran modelo de lenguaje en español. Es una red neuronal de tipo Transformer, entrenada con cantidades gigantescas de texto para aprender las regularidades del lenguaje, del código y de los conocimientos que contienen. Los asistentes conversacionales se basan en este tipo de modelo, igual que familias de modelos abiertos como Llama, Mistral o Qwen, que se pueden instalar en casa.

Un LLM funciona prediciendo la continuación más probable de un texto. Tu pregunta se divide en tokens, fragmentos de palabras, y el modelo calcula el token siguiente, lo añade al texto y vuelve a empezar hasta terminar la respuesta. Sus conocimientos están almacenados en sus parámetros, miles de millones de números ajustados durante el entrenamiento. Un LLM no consulta Internet por sí solo y puede equivocarse con total seguridad: comprueba siempre sus respuestas importantes.

Para ejecutar un LLM en tu propia máquina, el criterio principal es la memoria de vídeo de la GPU: tiene que contener el modelo, según su tamaño y su cuantización, más un margen para el contexto. El ancho de banda de esa memoria determina después la velocidad de respuesta, en tokens por segundo. Una vez cuantizado, un modelo de 7.000 a 14.000 millones de parámetros cabe en una tarjeta de 16 GB; los modelos más grandes requieren varias GPU o tarjetas profesionales.

Nuestras estaciones de IA se entregan listas para usar con Ollama y Open WebUI: tu LLM funciona en local y tus datos se quedan en casa.