Mixture-of-Experts (MoE)

Mixture-of-Experts (MoE) ist ein modernes Architekturprinzip für Large Language Models, das die KI-Landschaft 2026 grundlegend verändert hat. Das Kernprinzip: Ein Modell besitzt zwar Hunderte Milliarden Parameter, aber bei jeder Anfrage sind nur ein Bruchteil davon aktiv. Ein gelerntes Router-Netzwerk entscheidet in Echtzeit, welche spezialisierten Experten-Module für die jeweilige Aufgabe aktiviert werden. Das Ergebnis: die Qualität eines riesigen Modells bei den Inferenzkosten eines kleinen.

Konkret bedeutet das: DeepSeek V3 hat 671 Milliarden Parameter total, aktiviert aber nur 37 Milliarden pro Anfrage. Qwen3-235B besitzt 235 Milliarden Parameter, nutzt aber nur 22 Milliarden gleichzeitig. Und Llama 4 Maverick arbeitet mit 400 Milliarden Parametern bei einem Bruchteil der aktiven Kapazität. Jedes Experten-Modul spezialisiert sich auf bestimmte Aufgabentypen — Coding, Mathematik, kreatives Schreiben oder Faktenrecall.

Der Gegenentwurf sind Dense Models wie Claude Opus oder GPT-5.2, bei denen alle Parameter bei jeder Anfrage aktiv sind. Dense Models liefern oft die höchste Qualität, sind aber deutlich teurer in der Inferenz. MoE-Modelle schließen diese Lücke: Sie erreichen 90-95% der Dense-Model-Qualität bei 60-80% geringeren Kosten. Das ist der Hauptgrund, warum Open-Source-Modelle wie DeepSeek V3 plötzlich mit den teuersten proprietären Modellen konkurrieren können.

MoE ermöglicht Skalierung ohne proportionalen Kostenanstieg: Ein Modell kann auf immer mehr Wissen trainiert werden (mehr Parameter = mehr Kapazität), ohne dass die Kosten pro Anfrage proportional steigen — weil nur ein kleiner Teil der Parameter tatsächlich berechnet wird. Für Unternehmen bedeutet das: Frontier-Qualität zu Mid-Tier-Preisen.