rag-systems.deReifegrad-Check starten
Zur Übersicht

Playbook

5 Stufen von Notebook zu Enterprise-RAG.

Was es auf jeder Stufe geben muss, wie ihr wisst dass ihr bereit für die nächste seid, und was die häufigsten Stolperfallen sind. Zusammengefasst aus 24 Monaten RAG-Entwicklung im DACH-Mittelstand.

Stufe 01·Vom weißen Blatt bis zur ersten überzeugenden Demo

Notebook-Prototyp

Was existiert

  • Jupyter-Notebook mit LangChain oder LlamaIndex
  • Hardcoded Prompts direkt im Code
  • In-Memory Vector-Store (FAISS, Chroma lokal)
  • Ein Modell, kein Fallback

Exit-Kriterium zur nächsten Stufe

Ein Fachbereich sagt: „Das könnte funktionieren, lasst uns skalieren.“

Stufe 02·Aus dem Notebook raus, in eine Umgebung die überlebt

Erste Production-Skizze

Was existiert

  • Containerisiertes Python-Backend (Docker + FastAPI)
  • Ein Managed Vector-DB-Service (Pinecone, Weaviate, Qdrant Cloud)
  • Basis-Logs zu jedem Prompt/Response
  • Feature-Flags für Modell-Auswahl

Exit-Kriterium zur nächsten Stufe

Zwei Kollegen können den Service ohne Anleitung anfassen, ohne dass er kaputt geht.

Stufe 03·Ihr könnt objektiv sagen, ob eine Änderung besser oder schlechter ist

Evaluation & Retrieval-Metriken

Was existiert

  • Ground-Truth-Datensatz mit 50-200 Beispiel-Prompts
  • Retrieval-Hit@k automatisch in CI berechnet
  • Groundedness-Score: antwortet das Modell nur aus dem Retrieval-Kontext?
  • Refusal-Rate: verweigert es Antworten, wenn Retrieval leer ist?
  • Latenz-P95 als Deploy-Gate

Exit-Kriterium zur nächsten Stufe

Ein Pull-Request mit Prompt-Änderung wird automatisch mit Baseline verglichen — bei Regression rot.

Stufe 04·DSGVO ist Teil der Architektur, nicht Nachgedanke

Compliance & Datensicherheit

Was existiert

  • PII-Scanner auf Prompt-Eingabe (Namen, IBAN, Adressen)
  • PII-Scanner auf Response (Data-Leakage-Prevention)
  • Data-Lineage: jeder Chunk kennt seine Quell-URL, seine Version, seinen Zeitstempel
  • Right-to-Erasure: einzelne Chunks können aus dem Index gelöscht werden
  • EU-Region-Deployment inkl. LLM-Inferenz (Claude, GPT, Llama-in-EU oder self-hosted)
  • DPA mit LLM-Provider dokumentiert

Exit-Kriterium zur nächsten Stufe

Ihr könnt eurer Datenschutzbeauftragten eine 20-seitige Antwort auf ihre Fragen geben.

Stufe 05·Multiple Tenants, SLAs, Kostenoptimierung sind Alltag

Enterprise-Betrieb

Was existiert

  • Multi-Tenant-Isolation (Row-Level-Security in Vector-DB oder separate Namespaces)
  • Cost-Attribution pro Tenant und pro Feature
  • SLA-Monitoring inkl. Latenz-, Error-Rate- und Quality-Alerts
  • A/B-Tests für Prompt- und Modell-Wechsel auf Live-Traffic
  • Runbooks für die 5 häufigsten Incident-Typen
  • Model-Cascade (kleines Modell zuerst, großes nur bei Bedarf) für Cost-Optimization

Exit-Kriterium zur nächsten Stufe

Kein Exit — dies ist der laufende Zustand. Weiterentwicklung durch iterative Verbesserung.

Reifegrad-Check

Wo steht ihr aktuell?

Fünf Fragen, sofortige Auswertung, konkrete nächste Schritte.

Check starten