Few-Shot Learning

Definition und Kerncharakter

Few-Shot Learning beschreibt die Fähigkeit von KI-Modellen, eine neue Aufgabe nach nur wenigen Beispielen — typisch 2 bis 10 — zu lösen, ohne dass das Modell selbst angepasst (fine-getunt) werden muss. Bei modernen LLMs wie GPT-5 und Claude Opus 4.7 erfolgt das via In-Context-Learning: Die Beispiele stehen im Prompt, das Modell leitet daraus das Muster ab.

Few-Shot Learning ist ein Paradigmenwechsel gegenüber klassischem ML, das tausende bis Millionen gelabelte Beispiele brauchte. Es macht KI für Domänen zugänglich, in denen große Trainingsdatensätze fehlen — Nischen-Industrien, neue Produktkategorien, seltene Sprachen, kleinteilige Klassifikations-Tasks. Zero-Shot und One-Shot sind Sonderfälle mit 0 bzw. 1 Beispiel.

Wie funktioniert es technisch?

Bei Few-Shot werden die Beispiele als Teil des Prompts an das LLM übergeben. Format-Beispiel:

Input: "Die Lieferung war pünktlich und das Produkt einwandfrei." → Sentiment: positiv
Input: "Schlecht verpackt, defekt angekommen." → Sentiment: negativ
Input: "Das Smartphone-Display ist robust." → Sentiment:

Das LLM verarbeitet die Sequenz über Self-Attention und erkennt das Muster: „Es soll ein Sentiment-Label nach dem Pfeil generieren". Es ändert keine Gewichte — das Lernen passiert ausschließlich im Vorwärtspass über den Kontext. Forscher nennen dieses Phänomen In-Context-Learning (ICL) und führen es auf implizite Meta-Learning-Fähigkeiten zurück, die im Pretraining entstehen.

Wichtige Hebel: Beispiel-Auswahl (diverse Beispiele, relevante Edge-Cases), Reihenfolge (manche Modelle reagieren auf Position), Format-Konsistenz (alle Beispiele gleich strukturiert) und Anzahl (mehr ist nicht immer besser — Token-Kosten und Latenz steigen). Dynamic Few-Shot kombiniert RAG mit Beispiel-Auswahl: Eine Embedding-Suche findet zur Laufzeit die ähnlichsten Beispiele aus einer Bibliothek.

Geschichte und Evolution

Few-Shot Learning hat seine Wurzeln im Meta-Learning der 2010er (Matching Networks, Prototypical Networks, MAML), das Modelle trainierte, schnell aus wenigen Beispielen zu lernen. Den Durchbruch in den Mainstream brachte das GPT-3-Paper (Brown et al., OpenAI 2020) „Language Models are Few-Shot Learners". Es zeigte, dass ein 175-Milliarden-Parameter-Modell ohne explizites Meta-Learning Few-Shot-Performance auf Hunderten Tasks erreichte — allein durch Skalierung.

2023 brachte Chain-of-Thought-Prompting (Wei et al.) die nächste Stufe: Mit Beispielen, die Schritt-für-Schritt-Reasoning zeigen, lösen LLMs auch komplexe Mathematik- und Logik-Aufgaben. 2026 dominieren Few-Shot und Zero-Shot bei den meisten textbasierten Tasks.

Anwendungsfälle Business

Textklassifikation: Email-Routing nach Tone (positiv/neutral/negativ) oder Thema (Support/Vertrieb/Beschwerde) ohne Trainingsdatensatz. Datenextraktion: Aus Rechnungen, Verträgen oder Lebensläufen strukturierte Daten ziehen — 3 Beispiele reichen oft, um Genauigkeit über 90 Prozent zu erreichen.

Custom NER: Unternehmensinterne Entitäten erkennen (Produktnamen, Kundenkennungen, interne Codes), für die kein Standard-NER-Modell trainiert ist. Format-Transformation: CSV in Markdown, JSON in HTML, Plain Text in YAML — alles mit wenigen Beispielen steuerbar.

Style-Transfer: Texte in den Tonfall der Marke übersetzen, indem 3–5 Marken-konforme Beispiele gezeigt werden. Code-Refactoring: Code an Team-Konventionen anpassen via Few-Shot-Beispielen aus dem eigenen Repository. Multilinguale Aufgaben: Mit Beispielen in einer Sprache lernt das Modell, dieselbe Aufgabe in 50+ Sprachen anzuwenden. Konkrete Few-Shot-Pipelines bauen wir regelmäßig in der KI-Beratung als Quick-Win-Lösungen, bevor wir ggf. zu Fine-Tuning übergehen.

Vergleich und Abgrenzung

Few-Shot vs. Zero-Shot: Zero-Shot funktioniert ohne Beispiele, nur mit Aufgabenbeschreibung — günstig und schnell, aber ungenauer bei nicht-Standard-Tasks. Few-Shot zeigt 2–10 Beispiele und erhöht Genauigkeit signifikant — zum Preis längerer Prompts und höherer Kosten.

Few-Shot vs. Fine-Tuning: Few-Shot ist die richtige Wahl bei kleinen Datenmengen, schnellem Prototyping, häufig wechselnden Tasks und seltenen Aufrufen. Fine-Tuning lohnt sich bei stabilen, hochvolumigen Tasks und wenn Few-Shot-Performance nicht ausreicht oder die Kosten zu hoch werden.

Few-Shot vs. Chain-of-Thought: CoT-Prompting zeigt Reasoning-Schritte in den Beispielen. Es ist eine Spezialform des Few-Shot-Learnings für komplexe Aufgaben — besonders Mathematik, Logik und Planung. Few-Shot vs. Klassisches ML: Klassische Klassifikatoren brauchen Hunderte bis Tausende Beispiele und sind dann deterministisch und günstig. Few-Shot ist flexibler, aber langsamer und teurer pro Aufruf.