Transformer

Definition und Kerncharakter

Die Transformer-Architektur ist eine neuronale Netzwerkarchitektur, die 2017 von einem Forscherteam bei Google im wegweisenden Paper "Attention is all you need" vorgestellt wurde. Sie ist heute die technische Grundlage praktisch aller modernen Large Language Models — von GPT über Claude bis Gemini und Llama.

Der Kerncharakter eines Transformers ist der Self-Attention-Mechanismus: Statt Wörter seriell wie ein RNN zu verarbeiten, betrachtet der Transformer die gesamte Eingabesequenz parallel und lernt, welche Tokens für die Bedeutung jedes einzelnen Tokens relevant sind. Diese parallele Verarbeitung macht Transformer extrem skalierbar — sie nutzen moderne GPU-Architekturen optimal aus und ermöglichten erstmals Modelle mit Hunderten Milliarden Parametern. Der Erfolg ist so durchschlagend, dass die Architektur heute auch in Computer Vision (Vision Transformer), Audio (Whisper), Bioinformatik (AlphaFold) und Reinforcement Learning dominiert.

Wie funktioniert ein Transformer technisch?

Ein Transformer besteht aus mehreren übereinander gestapelten Blöcken. Jeder Block enthält zwei Hauptkomponenten: einen Multi-Head-Self-Attention-Layer und ein Feed-Forward-Netz, beide mit Residual Connections und Layer Normalization umrahmt. Vor dem ersten Block wird der Input-Text in Tokens zerlegt und in hochdimensionale Embeddings übersetzt. Positionale Embeddings (Sinusoidal, Learned, RoPE oder ALiBi) liefern die Reihenfolgeinformation.

Im Self-Attention-Layer berechnet jedes Token drei Vektoren: Query (Q), Key (K) und Value (V). Die Aufmerksamkeitsgewichte ergeben sich aus dem Skalarprodukt von Q und K (skaliert durch die Wurzel der Dimensionsgröße) und werden via Softmax normalisiert. Multi-Head-Attention führt diese Operation parallel mit mehreren "Köpfen" durch, was unterschiedliche Aspekte der Beziehung zwischen Tokens erfasst.

Architektur-Varianten: Encoder-Only (BERT) für Sprachverständnis, Decoder-Only (GPT, Claude, Llama) für Textgenerierung mit maskierter Attention, Encoder-Decoder (Original-Transformer, T5) für Sequence-to-Sequence-Aufgaben wie Übersetzung. Moderne Optimierungen wie FlashAttention, Grouped-Query-Attention und Mixture-of-Experts halten die Architektur auch bei extremen Skalen effizient.

Geschichte und Evolution

2017: Vaswani et al. veröffentlichen "Attention is all you need" — der Beginn einer neuen Ära. 2018: Google veröffentlicht BERT (Encoder-Only) und revolutioniert NLP-Benchmarks. OpenAI bringt parallel GPT-1 (Decoder-Only) auf den Markt. 2019/2020: Skalierung beginnt — GPT-2 (1,5B), GPT-3 (175B Parameter) demonstrieren die Macht der Architektur.

2020: Der Vision Transformer (ViT) zeigt, dass die Architektur auch für Bildverarbeitung funktioniert. 2021: AlphaFold 2 nutzt Transformer für Proteinstruktur-Vorhersage — ein wissenschaftlicher Durchbruch. 2022/2023: ChatGPT macht Transformer-basierte KI massentauglich. 2024/2025: Multimodale Transformer (GPT-4o, Gemini, Claude 3.5) verarbeiten Text, Bild, Audio und Video in einem einheitlichen Modell. 2026: Mixture-of-Experts-Transformer dominieren — Modelle wie GPT-5, Claude Opus 4.7 und DeepSeek V3 aktivieren nur einen Bruchteil der Parameter pro Token und sind dadurch effizienter.

Anwendungsfälle in der Praxis

Transformer treiben heute praktisch jede moderne KI-Anwendung an. Natural Language Processing: Chatbots, Übersetzung, Textzusammenfassung, Sentiment-Analyse — alles basiert auf Transformer-Modellen. Computer Vision: Vision Transformer (ViT, DeiT, Swin) ersetzen zunehmend klassische CNNs bei Bildklassifikation, Objekterkennung und Bildsegmentierung. Stable Diffusion, DALL-E und Midjourney kombinieren Transformer mit Diffusionsmodellen.

Audio: Whisper (OpenAI) ist ein Encoder-Decoder-Transformer für Spracherkennung. Music-Generation-Modelle wie MusicLM nutzen ebenfalls Transformer. Code: GitHub Copilot, Cursor und Codex sind Code-spezialisierte Decoder-Transformer. Wissenschaft: AlphaFold (Proteinstrukturen), Galactica (wissenschaftliche Texte), Med-PaLM (Medizin). Multimodal: CLIP, Flamingo, GPT-4o, Gemini 2.5 verarbeiten Text und Bild gemeinsam.

In der KI-Implementierung begegnen Transformer-Modelle Unternehmen indirekt über Produkte (ChatGPT, Claude, Gemini) oder direkt über APIs und Open-Source-Modelle (Llama 4, Mistral). Spezialisierte Branchenlösungen — etwa BloombergGPT für Finance oder Med-PaLM für Healthcare — sind ebenfalls Transformer-Varianten.

Vor- und Nachteile

Vorteile: Parallele Verarbeitung der gesamten Sequenz macht Training und Inferenz GPU-freundlich. Lange Abhängigkeiten werden besser erfasst als bei RNN/LSTM. Die Architektur skaliert exzellent — mehr Parameter, mehr Daten und mehr Compute führen konstant zu besseren Modellen (Scaling Laws). Universell einsetzbar: Text, Bild, Audio, Code, multimodal. Riesiges Ökosystem an Pre-trained-Modellen (Hugging Face), Tools und Forschungsergebnissen.

Nachteile: Self-Attention skaliert quadratisch mit der Sequenzlänge (O(n²)). Bei 100.000 Tokens werden Speicher- und Rechenanforderungen massiv. Lösungsansätze wie FlashAttention, Sparse Attention und Mamba (state-space-basiert, ohne Attention) sind aktive Forschungsfelder. Transformer benötigen riesige Datenmengen und Compute für gutes Training — kleine Datensätze sind oft besser mit klassischen Modellen bedient. Interpretierbarkeit bleibt schwierig, auch wenn Mechanistic Interpretability Fortschritte macht. Energieverbrauch und Kohlenstoffbilanz großer Transformer-Trainings sind kritisch zu sehen.

Verwandte Konzepte und Abgrenzung

Vor dem Transformer dominierten RNNs (Recurrent Neural Networks) und ihre Variante LSTM (Long Short-Term Memory) das NLP-Feld. Sie verarbeiten Sequenzen seriell und leiden unter dem Vanishing-Gradient-Problem bei langen Kontexten. Der Transformer löste diese Probleme durch Parallelverarbeitung und direkten Zugriff auf alle Tokens via Attention.

Wichtige Verwandte: CNN (Convolutional Neural Networks) dominierten Computer Vision vor ViT — sie sind weiterhin relevant für kleine Datasets und Edge-Devices. Mamba und State-Space-Modelle sind die spannendsten Alternativen zur Standard-Attention und versprechen lineare Komplexität bei langen Sequenzen. Mixture-of-Experts (MoE) ist keine neue Architektur, sondern eine Erweiterung des Transformers — nur eine Untermenge der Parameter wird pro Token aktiv. Das senkt Inferenzkosten erheblich und ist bei GPT-5, Claude Opus 4.7 und DeepSeek V3 zentral. Der Transformer bleibt 2026 die unangefochtene Standard-Architektur der KI — auch wenn alternative Ansätze interessante Akzente setzen.