Foundation Model

Definition und Kerncharakter

Ein Foundation Model ist ein großes, vortrainiertes KI-Modell, das als universelle Basis für eine breite Vielfalt nachgelagerter Aufgaben dient. Der Begriff wurde 2021 vom Stanford Institute for Human-Centered AI (HAI) in der einflussreichen Studie „On the Opportunities and Risks of Foundation Models" von Bommasani, Hudson, Liang und Kollegen geprägt. Die Idee: Statt für jede Aufgabe ein eigenes Modell zu trainieren, wird einmal ein riesiges Modell auf breiten Datenmengen vortrainiert und anschließend adaptiert.

Foundation Models zeichnen sich durch drei Eigenschaften aus: Skalierung (Milliarden Parameter, Billionen Tokens), Self-Supervised Learning (kein gelabelter Datensatz nötig) und Emergenz (neue Fähigkeiten entstehen ab bestimmten Modellgrößen). Sie umfassen LLMs wie GPT-5, Claude Opus 4.7, Gemini 2.5 und Llama 4, multimodale Modelle und Vision-Modelle wie Stable Diffusion oder SAM.

Wie funktioniert es technisch?

Foundation Models werden in einem mehrstufigen Prozess gebaut. Das Pre-Training nutzt Self-Supervised Learning auf riesigen, unbeschrifteten Datenmengen (Web, Bücher, Code, Bilder, Audio). Das Modell lernt, das nächste Token vorherzusagen (autoregressiv) oder maskierte Eingaben zu rekonstruieren (MLM, wie BERT). Architekturen sind fast immer Transformer-basiert, bei Bildgenerierung kommen Diffusion-Modelle dazu.

Im Post-Training wird das Rohmodell mit Instruction-Tuning, RLHF (Reinforcement Learning from Human Feedback), Constitutional AI oder DPO (Direct Preference Optimization) an menschliche Präferenzen ausgerichtet. Anschließend folgt die Adaption: Fine-Tuning ändert alle Gewichte, parameter-effiziente Methoden wie LoRA, QLoRA und Adapter passen nur kleine Teile an. RAG bringt externes Wissen ein, ohne das Modell zu verändern, und Prompt-Engineering nutzt die Fähigkeiten des Modells via Sprache.

Skalierungsgesetze (Kaplan 2020, Chinchilla 2022) bestimmen die optimale Verteilung von Parametern, Daten und Compute. Mixture-of-Experts (MoE) erhöht Modellkapazität, ohne Inference-Kosten zu sprengen — GPT-5, Mixtral und DeepSeek-V3 setzen darauf.

Geschichte und Evolution

Die Vorläufer der Foundation Models waren Word2Vec (2013) und ELMo (2018), die kontextfreie bzw. kontextuelle Wort-Embeddings einführten. BERT (Google 2018) und GPT-1/2/3 (OpenAI 2018–2020) machten Transfer Learning im NLP zur Norm. 2021 prägte Stanford den Begriff „Foundation Model" und beschrieb die Paradigmenverschiebung. Mit dem ChatGPT-Launch Ende 2022 wurden Foundation Models Mainstream. 2023–2025 explodierten Modellgrößen, multimodale Fähigkeiten und Tool-Use. 2026 stehen Reasoning-Modelle, agentische Workflows und 1M–2M-Token-Kontextfenster im Fokus.

Anwendungsfälle Business

Generative Office: Textentwürfe, Übersetzungen, Zusammenfassungen, Präsentationen über Microsoft Copilot, Google Workspace AI oder Claude for Work. Softwareentwicklung: GitHub Copilot, Cursor und Claude Code beschleunigen Entwicklung um 30–55 Prozent. Customer Support: LLM-Chatbots mit RAG beantworten First-Level-Anfragen 24/7 in 30+ Sprachen.

Wissensmanagement: Foundation Models indizieren unstrukturierte Firmen-Dokumente und machen Wissen abrufbar. Marketing: Content-Generierung, Personalisierung, A/B-Test-Hypothesen und SEO-Optimierung. Vertrieb: Lead-Scoring, Mail-Personalisierung, Meeting-Zusammenfassungen. Produktdesign: Vision-Foundation-Modelle wie SAM (Segment Anything) und CLIP automatisieren Bildbearbeitung und Suche.

In regulierten Branchen wie Banking, Healthcare und Public Sector dominieren Foundation Models mit Datensouveränität: Open-Source-Modelle wie Llama 4 oder Mistral werden on-premise oder in der EU-Cloud gehostet. Unsere KI-Beratung unterstützt bei Auswahl und Integration.

Vergleich und Abgrenzung

Foundation Model vs. LLM: Jedes LLM ist ein Foundation Model, aber nicht jedes Foundation Model ist ein LLM. Stable Diffusion, CLIP, SAM und Whisper sind Foundation Models ohne Sprachfokus. Foundation Model vs. Spezialisiertes Modell: General-Purpose-Modelle lösen viele Aufgaben mittelmäßig bis sehr gut; spezialisierte Modelle wie BioBERT oder Med-PaLM schlagen sie in engen Domänen.

Foundation Model vs. KI-Agent: Ein Foundation Model ist die Inferenz-Engine; ein KI-Agent kombiniert es mit Tool-Use, Memory, Planung und Feedback-Loops. Cloud-API vs. Open-Source: API bietet Time-to-Market und Top-Performance, Open-Source bietet Kontrolle, Anpassbarkeit und planbare Kosten. Für DSGVO-sensitive Anwendungen ist Mistral (EU) oder Llama-Self-Hosting oft die beste Wahl.