Mixture of Experts
Auch genannt: MoE, Expertenmischung
Ein Mixture-of-Experts-Modell (MoE) ist in spezialisierte Teilnetze aufgeteilt, von denen nur wenige jedes Token berechnen: schneller bei gleicher Größe.
In einem klassischen, sogenannten dichten Modell sind alle Parameter an der Berechnung jedes Tokens beteiligt. Eine Mixture of Experts, kurz MoE, ersetzt bestimmte Schichten des Transformers durch mehrere „Experten“, kleine parallel angeordnete Netze. Ein Router wählt für jedes Token einige wenige Experten aus, die als relevant gelten, und nur diese werden berechnet. Mixtral, DeepSeek und manche Versionen von Qwen oder Llama beruhen auf diesem Prinzip.
Man unterscheidet daher zwei Zahlen: die Gesamtzahl der Parameter und die Zahl der aktiven Parameter. Ein Modell mit hoher Gesamtzahl, aber wenigen aktiven Parametern erzeugt seine Antworten fast so schnell wie ein kleines dichtes Modell und profitiert dabei vom Wissen eines viel größeren Modells. So werden sehr große Modelle zu vertretbarem Rechenaufwand möglich.
Die Falle ist der Speicher. Auch wenn in jedem Moment nur wenige Experten arbeiten, müssen alle geladen sein: Ein MoE braucht so viel VRAM, wie es seine Gesamtzahl an Parametern verlangt. Schauen Sie bei der Wahl einer Maschine auf die Gesamtzahl, um den Speicher zu dimensionieren, und auf die aktiven Parameter, um das Tempo abzuschätzen. MoE-Modelle profitieren von viel VRAM, verteilt auf mehrere GPUs, und manche Werkzeuge können einen Teil der Experten im Arbeitsspeicher des Prozessors belassen, auf Kosten der Geschwindigkeit.
Wir helfen Ihnen, je nach den Modellen, dicht oder MoE, die Sie betreiben möchten, zwischen einer einzelnen Karte und einer Multi-GPU-Konfiguration zu wählen.