Eine überzeugende Demo ist heute in wenigen Tagen gebaut. Daraus entsteht ein Trugschluss, dem ich in Projekten immer wieder begegne: Was im Termin funktioniert, sei praktisch fertig. Tatsächlich beginnt der schwierige Teil erst, wenn das System auf echte Daten, echte Nutzer und echten Betrieb trifft.

Woran Prototypen wirklich scheitern

Fast nie am Modell. Eine Demo läuft mit handverlesenen Beispielen, geduldigen Nutzern und ohne Last. In Produktion kommt zusammen, was vorher ausgeklammert war: lückenhafte Daten, unsinnige Eingaben, Sicherheitsanforderungen, Kosten pro Anfrage. Drei Muster sehe ich besonders häufig:

  • Im Pilot sind die Daten kuratiert. Im Betrieb sind sie unvollständig, widersprüchlich und ändern sich laufend.
  • «Gut genug» wurde nie definiert. Also lässt sich auch nicht sagen, ob das System besser oder schlechter wird.
  • Für Betrieb, Überwachung und Fehlerfälle fühlt sich niemand zuständig.

Was «produktionsreif» konkret heisst

Ein produktives System arbeitet zuverlässig, auch wenn niemand zuschaut. Zugleich lässt sich nachvollziehen, warum es tut, was es tut. In der Praxis sind das vier Dinge:

  1. Reproduzierbarkeit. Daten, Prompts und Modelle sind versioniert; gleiches Vorgehen führt zu nachvollziehbarem Verhalten.
  2. Evaluation. Tests messen die Qualität, statt sie zu erahnen.
  3. Beobachtbarkeit. Logging und Monitoring zeigen im Betrieb, was passiert.
  4. Leitplanken. Es gibt Grenzen, Rückfalloptionen und an kritischen Stellen einen Menschen, der entscheidet.

Qualität bei LLMs lässt sich nicht «ausprobieren»

Sprachmodelle sind nicht deterministisch: derselbe Prompt kann heute eine gute und morgen eine schwache Antwort liefern. Wer die Qualität im Griff behalten will, braucht ein System statt Bauchgefühl. Bei mir hat sich ein fester Evaluationsdatensatz mit realistischen Fällen bewährt, gegen den jede Änderung läuft: automatisch bewertet (über Regeln, Referenzantworten oder ein LLM als Prüfinstanz) und stichprobenartig von Fachleuten kontrolliert. Erst wenn die Zahlen vor dem Release stimmen, geht etwas live.

Sicherheit und Datenschutz sind keine Kür

KI-Systeme öffnen Angriffsflächen, die klassische Software so nicht kennt. Prompt Injection schiebt dem System über manipulierte Eingaben fremde Absichten unter. Sensible Informationen landen ungewollt in Logs, Modellen oder Antworten. Und je nach Anwendungsfall greifen das Schweizer Datenschutzgesetz und der EU AI Act. Das gehört in den ersten Entwurf, nicht in eine Prüfung kurz vor dem Start.

Im Betrieb verändert sich alles

Modelle, Daten und Nutzerverhalten verschieben sich, und Qualität sinkt selten mit einem Knall, sondern schleichend. Dagegen hilft nur dreierlei: laufendes Monitoring von Qualität, Kosten und Auffälligkeiten; klare Rückfallpfade, wenn das System unsicher wird; und menschliche Aufsicht dort, wo Entscheidungen wirklich wehtun können.

Worauf es ankommt

Ein Prototyp zeigt, dass etwas möglich ist. Verlässlich wird es erst durch die unsichtbare Arbeit danach. Wer Daten, Evaluation, Sicherheit und Betrieb von Beginn an mitdenkt, spart sich später teure Überraschungen und kommt schneller zu einem System, dem man vertrauen kann.

Sie haben einen vielversprechenden Prototyp und wollen ihn in den verlässlichen Betrieb bringen? Schreiben Sie uns.