Multimodale KI

Definition und Kerncharakter

Multimodale KI (Multimodal AI) bezeichnet KI-Systeme, die mehrere Datentypen — Modalitäten — gleichzeitig verstehen, kombinieren und generieren. Klassische KI war unimodal: ein Modell für Text, eines für Bilder, eines für Audio. Moderne multimodale Foundation Models wie GPT-5, Claude Opus 4.7 und Gemini 2.5 Pro verarbeiten Text, Bild, Audio, Video und teilweise auch 3D-Daten in einem einzigen Modell.

Der Kern multimodaler KI ist Cross-Modal-Verständnis: Das Modell erfasst Beziehungen zwischen Modalitäten — versteht, dass ein Bild von einem Hund und das Wort „Hund" dasselbe Konzept repräsentieren, kann eine Tabelle aus einem PDF in Markdown-Text umwandeln oder ein gesprochenes Video zusammenfassen und mit relevanten Bildern illustrieren.

Wie funktioniert es technisch?

Multimodale Modelle bestehen aus drei Bausteinen. Erstens Modality-Encoder: ein Vision Transformer (ViT, DINOv2) für Bilder, ein Whisper-Encoder oder Audio-Spektrogramm-Encoder für Audio, ein Tokenizer für Text. Jeder Encoder produziert eine Sequenz von Embedding-Vektoren.

Zweitens ein Projection-/Adapter-Layer, der die modality-spezifischen Embeddings in einen gemeinsamen Embedding-Raum projiziert, kompatibel zum LLM-Tokenraum. Bei LLaVA und Idefics ist das ein MLP, bei moderneren Architekturen ein Q-Former oder Resampler.

Drittens das LLM-Backbone (Transformer), das die projizierten Multi-Modal-Tokens via Self-Attention und Cross-Attention gemeinsam verarbeitet. Output erfolgt meist als Text. Native multimodale Modelle wie Gemini 2.5 und GPT-5 generieren auch nativ Bild und Audio über zusätzliche Decoder. Trainings-Daten: paarweise (Image-Caption) und gemischte Multi-Modal-Sequenzen aus Interleaved-Datensätzen. CLIP (Contrastive Language-Image Pretraining, OpenAI 2021) war das Schlüsselpaper, das Vision und Sprache in einen gemeinsamen Embedding-Raum projizierte.

Geschichte und Evolution

Frühe multimodale Modelle (VQA 2015, Show-and-Tell 2015) waren Task-spezifisch. CLIP und DALL-E (OpenAI 2021) zeigten, dass kontrastives Pretraining Sprache und Bild verbinden kann. Flamingo (DeepMind 2022) und BLIP-2 (Salesforce 2023) brachten Few-Shot-Vision-Language-Modelle. GPT-4V (2023) und Gemini 1.0 (2023) wurden zu den ersten produktiven multimodalen LLMs. 2024 folgte GPT-4o mit nativer Audio-Generierung. 2026 sind multimodale Fähigkeiten Standard — kein Frontier-Modell mehr nur textbasiert.

Anwendungsfälle Business

Document AI: Verträge, Rechnungen, Forschungs-PDFs mit Tabellen und Grafiken automatisch parsen und zusammenfassen. Ein Versicherer reduzierte Schadensbearbeitung um 70 Prozent durch GPT-5-Vision auf Schadensbildern. Visual Search im E-Commerce: Kunden laden ein Bild hoch und finden ähnliche Produkte — Amazon, Pinterest und Zalando setzen das ein.

Voice-Agents mit Vision: GPT-5 Voice oder Gemini Live nutzen Kamera des Smartphones, um in Echtzeit über das zu sprechen, was der Nutzer sieht — Stichwort „Be My Eyes" für Sehbeeinträchtigte. Medical Imaging: Multimodale Modelle kombinieren Röntgenbild, Patientenakte und Symptomschilderung für Diagnose-Unterstützung.

Quality Inspection: Manufacturing-Lines nutzen multimodale Modelle, um Defekte auf Bauteilbildern zu erkennen und mit Spezifikations-PDFs abzugleichen. Video-Intelligence: Marketing-Teams analysieren Konkurrenz-TVCs, generieren Zusammenfassungen langer Webinare und finden relevante Szenen in Bibliotheken. Smart Glasses und Robotik: Meta Ray-Ban Display und Figure-Humanoide nutzen multimodale KI für Echtzeit-Wahrnehmung. Konkrete Umsetzungen begleiten wir in der KI-Beratung.

Vergleich und Abgrenzung

Native Multimodalität vs. Tool-Use: Native multimodale Modelle verarbeiten alles in einem Pass — schneller, kohärenter, mit Cross-Modal-Reasoning. Tool-basierte Pipelines kombinieren spezialisierte Modelle (Whisper + CLIP + LLM) — flexibler, aber mit Latenz und Kontext-Verlust.

Multimodale KI vs. Computer Vision: Klassische CV (YOLO, Detectron) ist Task-spezifisch und meist offline trainiert. Multimodale KI ist generalistisch, versteht natürliche Sprache als Schnittstelle und braucht oft keine Task-spezifischen Labels.

Cross-Modal vs. Multimodal Generation: Cross-Modal-Verständnis (Bild rein, Text raus) ist heute Standard. Cross-Modal-Generation (Text rein, Bild/Audio/Video raus) ist 2026 reif — z. B. Sora für Video, ElevenLabs für Voice. RAG wird zunehmend multimodal: Vektor-DBs indizieren Bilder und Audio neben Text.