Mezcla de expertos
También llamado: MoE, Mixture of Experts
Una mezcla de expertos (MoE) es un modelo de IA dividido en subredes especializadas de las que solo unas pocas calculan cada token: más rápido a igual tamaño.
En un modelo clásico, llamado denso, todos los parámetros participan en el cálculo de cada token. Una mezcla de expertos, a menudo abreviada MoE por Mixture of Experts, sustituye algunas capas del Transformer por varios «expertos», pequeñas redes situadas en paralelo. Un enrutador elige para cada token un pequeño número de expertos considerados pertinentes, y solo se calculan esos. Mixtral, DeepSeek y algunas versiones de Qwen o de Llama se basan en este principio.
Por eso se distinguen dos cifras: el número total de parámetros y el número de parámetros activos. Un modelo con un total elevado pero pocos parámetros activos genera sus respuestas casi tan rápido como un modelo denso pequeño, aprovechando a la vez los conocimientos de un modelo mucho más grande. Esto es lo que hace posibles modelos muy grandes con un coste de cálculo razonable.
La trampa es la memoria. Aunque trabajen pocos expertos en cada momento, todos tienen que estar cargados: un MoE necesita tanta VRAM como exige su número total de parámetros. Para elegir una máquina, fíjate en el total para dimensionar la memoria y en los parámetros activos para estimar la velocidad. Los MoE aprovechan bien una gran cantidad de VRAM repartida entre varias GPU, y algunas herramientas pueden dejar parte de los expertos en la memoria RAM del procesador, a costa de una menor velocidad.
Te ayudamos a elegir entre una sola tarjeta y una configuración multi-GPU según los modelos, densos o MoE, que quieres ejecutar.