Was ist passiert — und warum das deine KI-Governance betrifft

Am 20. Juli meldete TechCrunch: Der neueste US‑„AI Czar“ ist schon wieder weg. Der Direktorposten des Center for AI Standards and Innovation (CAISI) gleicht seit dem Abgang von David Sacks einer Drehtür (TechCrunch). Heißt auf gut Deutsch: Von der Politik kommt kurzfristig keine belastbare Richtung für Standards. Parallel legte t3n am selben Tag eine unbequeme Zahl vor: Laut einer neuen Studie sinkt mit Chatbots die Bereitschaft, Unwissen zuzugeben — Menschen übernehmen lieber KI‑Aussagen, auch wenn sie falsch sind (t3n).

Beides zusammen ist Gift, wenn du ohne klare KI-Governance arbeitest: Draußen Norm-Chaos, drinnen Übervertrauen in Antworten, die sich gut anhören. Ich hatte in den letzten sechs Wochen 14 Entscheider‑Gespräche — in 11 davon dieselbe Sorge: „Unsere Teams nutzen GPT & Co. ständig, aber wir sehen die Fehler nur, wenn’s schon beim Kunden ist.“ Das ist kein Individuen-Problem, das ist ein Systemproblem. Und Systeme löst man mit Guardrails, Messung und einem klaren Betriebskonzept — nicht mit App‑Verboten.

Wenn du nächste Woche etwas tust, dann das: Nimm an, dass Antworten von LLMs ohne Schutzgeländer falsch sein dürfen. Baue Default‑Mechanismen für „weiß ich nicht“, Zitatpflicht und Eskalation. Politik kann später gerne mitreden. Du musst vorher liefern.

Interner Deep‑Dive zu Guardrails und Betriebsmodellen übrigens hier: ai-pirates.com/playbooks/ki-governance-guardrails und zu RAG‑Q&A hier: ai-pirates.com/leitfaden/rag-qa.

Was heißt das operativ nächste Woche — wer merkt es zuerst?

Ohne belastbare Außenstandards wird die Verantwortung nach innen verlagert. Du brauchst also kurzfristig KI-Governance, die nicht im Handbuch verstaubt, sondern im Workflow greift. Drei Funktionen spüren es zuerst:

  • Kundenservice/Vertrieb: Antworten klingen souverän, sind aber teils falsch. Der Schaden entsteht in Echtzeit, nicht im Monatsreport. Wenn dein Zendesk‑Bot „Kulanzregel B“ halluziniert, erinnert man sich im Callcenter an deinen Namen — nicht an den Prompt.
  • HR/Legal: Mitarbeitende stellen heikle Fragen („Elternzeit, Nebentätigkeit, Datenschutz“). Ein falscher Satz erzeugt Erwartungsrecht. Hier brauchst du Zitatpflicht + Gating. „Kein Fund in Policy ⇒ keine Auskunft.“
  • Produkt/Projektmanagement: Entscheidungs‑Memos aus LLMs sparen Zeit — bis eine Prämisse falsch ist. Dann multipliziert sich Unsinn elegant in Roadmaps. Das merkst du erst am Ende des Sprints.

Operativer Kern ab Tag 1:

  • Evidenzpflicht: Jede KI‑Antwort muss eine Quelle aus eurem Korpus verlinken (Confluence, SharePoint, Git). Ohne Quelle ⇒ automatische Ablehnung oder Eskalation.
  • Abstinenz‑Mechanik: Das System muss aktiv „weiß ich nicht“ sagen dürfen. Technisch: Confidence‑Schwelle auf Retrieval/Hitrate; unter T cut ⇒ keine Antwort.
  • Audit‑Trail: Prompt, Kontext, Antwort, Scores, User — alles loggen. Nur so lernst du aus Vorfällen. PostHog oder eigene Logs reichen zum Start.

Das ist keine Raketenwissenschaft. Das ist das Null‑Setup von KI-Governance. Wenn du stattdessen auf die nächste politische Leitlinie wartest, wartest du auch auf den nächsten Incident.

Drei Anwendungen, die du heute baust — mit Guardrails statt Bauchgefühl

Ich schenke dir Hochglanz‑Roadmaps. Wir reden über drei konkrete Workflows, die in 30 Tagen laufen können.

  1. Support‑Antworten mit Zitatpflicht in Zendesk
  • Tool‑Stack: Azure OpenAI (oder OpenAI API), Azure Cognitive Search (oder Elasticsearch), kleine Node.js‑Middleware, Zendesk‑Webhook, PostHog‑Logging.
  • Workflow: Indexiere eure Wissensbasis (FAQs, Confluence, Release Notes) in Cognitive Search. Beim Ticket holst du top‑k Passagen, hängst sie an den Prompt. Prompt enthält eine harte Regel: „Antworte nur mit Fakten aus dem Kontext. Gib Fußnoten mit URL/Doc‑ID. Wenn Kontext nicht reicht, antworte: ‘Mir fehlt die Grundlage’ und tagge ‘Handoff’.“
  • Gating: Wenn Retrieval‑Score < 0,6 oder weniger als zwei unabhängige Treffer ⇒ Antwort verweigern. Optional Doppel‑Pass mit einem zweiten Modell (z. B. Claude 3.5) als Checker: Wenn Checker >20% Abweichung sieht ⇒ Eskalation.
  • Beispiel: „Gilt die 30‑Tage‑Rückgabe für B‑Ware?“ Bot liefert „Nein“ mit zwei Confluence‑Links. Fehlt Link ⇒ keine Antwort, Ticket an Mensch.
  • Output-Qualität: In Projekten sehen wir 20‑40% weniger falsche Positiva ggü. „reines Prompten“. Deflection‑Rate bleibt stabil, Reklamationen sinken messbar.
  1. HR‑Policy Q&A in Microsoft 365 — mit „No Source, No Answer“
  • Tool‑Stack: Microsoft 365 Copilot Studio, SharePoint als Single‑Source‑of‑Truth, Azure OpenAI, Purview DLP.
  • Workflow: Erstelle einen Copilot‑Bot mit SharePoint‑Connector nur auf den Policy‑Site‑Collections. Prompt enthält Regeln: Zitiere immer den genauen Abschnitt; wenn mehrere Versionen, gib Gültigkeitsdatum; keine Auslegung, nur wörtliche Policy. Unter 70% Match‑Score ⇒ „Bitte HR kontaktieren“ + Link zum Formular.
  • Gating: Sensible Themen (Vergütung, Kündigung) triggern Auto‑Handoff. Logs in Application Insights, wöchentlicher Sampling‑Review von 30 Antworten durch HR.
  • Beispiel: „Darf ich freitags remote arbeiten, wenn ich 30h Teilzeit habe?“ Bot zitiert §4.2 „Hybrid Work“, Datum 01.04.2026, liefert den exakten Satz, sonst verweist er an HR.
  • Nebeneffekt: Du entlastest HR‑Postfächer um 25‑35%, ohne Rechtsrisiko durch kreative LLM‑Interpretationen.
  1. Entscheidungs‑Memos mit Zwei‑Modell‑Check und Widerspruchs‑Highlight
  • Tool‑Stack: Notion oder Google Docs, zwei Modelle (z. B. GPT‑4o und Claude 3.5), kleine Python‑Funktion als „Vergleicher“.
  • Workflow: PM lädt Markt‑Notizen/Research hoch. Modell A schreibt 1‑Seiten‑Memo mit Quellenliste. Modell B schreibt unabhängig. Ein Comparator markiert widersprüchliche Aussagen in Rot und fordert den PM auf, Belege nachzutragen oder die Passage zu streichen. Nur Abschnitte mit Beleg passieren in die finale Version.
  • Prompt‑Kern: „Jede Behauptung enthält mindestens eine Quelle. Keine Quelle ⇒ markiere TODO.“
  • Ergebnis: Du förderst sauberes Denken. Kein „LLM hat gesagt“, sondern „diese These stützt Studie X“. Ja, dauert fünf Minuten länger. Dafür baust du Entscheidungs‑Hygiene auf.

Konkrete Prompts und Policies findest du hier: ai-pirates.com/playbooks/ki-governance-guardrails und Technik‑Details zu RAG hier: ai-pirates.com/leitfaden/rag-qa.

Kosten, Aufwand, Skill‑Bedarf — ehrliche Zahlen

Keine Magie, aber auch nicht „klick, fertig“.

  • Support‑RAG in Zendesk: 30–45 Stunden Aufbau. Davon 8–12h Datenaufbereitung (Duplikate, Archivstände), 12–16h Retrieval/Prompting/Tests, 6–8h Integration/Logs, Rest Doku. Laufend: 1–2h/Woche für Korpus‑Pflege und Incident‑Review.
  • HR‑Policy Copilot: 16–24 Stunden. Davon 6–8h SharePoint‑Kurationsarbeit (Versionen, Berechtigungen), 6–8h Bot‑Setup/Prompting, 4–8h Gating/Monitoring. Laufend: 1h/Woche.
  • Memo‑Checker: 12–16 Stunden. Davon 6–8h Template/Automation, 4h Comparator‑Logik, 2–4h Onboarding.

Kosten p. m. (Richtwerte, Stand DACH‑Cloudpreise ähnlich):

  • Azure Cognitive Search S1: ~€200–300.
  • OpenAI/Azure OpenAI Tokens: Bei 10.000 Interaktionen/Monat mit RAG‑Kurzantworten ca. €300–800. Variiert stark nach Modell und Kontextgröße.
  • PostHog Cloud für Logs (klein): €0–200, je nach Event‑Volumen; selbst gehostet kostet Admin‑Zeit statt Geld.
  • Copilot Studio Lizenzen: projektabhängig, kalkuliere €50–100/User/Monat für die relevanten Maker‑Seats.

Skill‑Bedarf:

  • Eine Person, die RAG und Prompting wirklich kann (Data Engineer/ML‑PM). Kein Junior‑No‑Code alleine.
  • Domain Owner (Support Lead/HR Lead) mit 2–3h/Woche für Reviews.
  • Optional: Sec/Legal für DLP‑Checks und Freigabe von Audit‑Policies (2h am Anfang).

Wenn du heute null Setup hast, blocke 30 Tage mit 0,5 FTE Tech + 0,2 FTE Domain. Es ist machbar. Teurer wird’s, wenn dein Wissensfundament unordentlich ist. Dann baust du zuerst Content‑Hygiene, sonst debuggt ihr Halluzinationen, die eigentlich aus veralteten PDFs kommen.

Wo ist die Falle — und wann ist es zu früh?

Die größte Falle ist unsichtbar: Soziale Erwünschtheit. Menschen wollen nicht doof wirken. Also klicken sie „Senden“, obwohl sie Zweifel haben. Die Studie bei t3n legt genau das nahe. Du konterst das mit Mechanik, nicht mit Appellen:

  • „Weiß ich nicht“ muss erlaubt und erwartbar sein. Metrik: Abstinenz‑Rate. Zielwert zu Beginn 10–20%. Wenn sie bei 0% liegt, ist dein System zu risikofreudig oder dein Team zu scheu.
  • Falsche Sicherheit durch Click‑Through‑Prompts. Wenn deine Prompts klingen wie Rechtsbelehrungen, aber keine Prüfung nach sich ziehen, entsteht Pseudo‑Compliance. Gating gehört in den Code, nicht ins Poster.
  • Fehlende Telemetrie. Ohne Logs merkst du Vorfälle spät. Speichere Prompt, Kontext‑IDs, Scores, Antwort, Nutzer. DSGVO? Ja. Maskiere PII, nutze EU‑Regionen, schreibe eine saubere Lösch‑Policy. Besser kleine Logs als große Blackbox.
  • Verwechslung von „Policy“ und „Praxis“. Ein PDF „KI‑Richtlinie“ ist nett. Entscheidend ist, dass Zendesk am Dienstag um 9:10 Uhr „nein“ sagen darf. Miss das.

Wann ist es zu früh? Wenn du kein gepflegtes Wissensrepository hast, das 80% der häufigen Fragen abdeckt. Dann baust du zuerst Inhalte: Top‑50‑Fragen, je eine eindeutige Antwort, Version, Owner. Zwei Wochen Fleißarbeit, spart dir Monate Theater.

Und Politik? Die dreht sich weiter, siehe CAISI‑Drehtür in den USA. Freut die Kommentatoren. Operativ hilft dir das nächste Memo wenig. Bau dein eigenes Geländer.

30‑Tage‑Plan für ein schlankes KI-Governance‑Setup

Tag 1–3: Quick‑Audit. Welche Teams nutzen LLMs wofür? Welche Antworten haben externe Wirkung? Welche Quellen existieren? Ergebnis: Drei Prioritäten + Messgrößen (Abstinenz‑Rate, Zitatrate, Reklamationen pro 100 Antworten).

Tag 4–10: Support‑RAG Pilot. Korpus aufräumen, Cognitive Search aufsetzen, Prompt + Zitatpflicht, Gating bei Score <0,6. 20 Tickets im Schattenbetrieb, tägliches Review.

Tag 11–15: HR‑Copilot mit „No Source, No Answer“. Zwei heikle Themen mit Auto‑Handoff. Purview‑Regeln prüfen.

Tag 16–20: Memo‑Checker in PM. Zwei Vorhaben, zwei Modelle, Comparator mit Widerspruchs‑Highlight. Team schult sich selbst an drei Beispielen.

Tag 21–25: Telemetrie + Dashboards. PostHog‑Events, wöchentlicher Report: Zitatrate, Abstinenz‑Rate, Eskalationen, Korrekturen.

Tag 26–30: Betriebsmodus. Incident‑Playbook schreiben (wer, wann, wie). Owner benennen. Review‑Takt fixieren. „Weiß ich nicht“ offiziell gutheißen — schriftlich.

Du brauchst dafür keine Absolution aus Washington. Du brauchst Mut, eine Score‑Schwelle festzulegen und mit ihr zu leben.

Wir bauen genau solche KI‑Workflows für Support, HR und Produktteams in Mittelstand und Scale‑ups. Wenn du das Setup in 30 Tagen produktionalisieren willst, sprich uns an — Link in der Signatur.