Die Entscheidung zwischen self-hosted und managed RAG-Server ist selten eindeutig. Managed ist verlockend einfach, self-hosted verlockend billig, und beide Vorteile bröckeln unter genauer Betrachtung. Dieser Artikel vergleicht die zwei Optionen mit konkreten Zahlen für ein typisches DACH-Mittelstands-RAG und zeigt, welche drei Fragen die Entscheidung tatsächlich treffen.
Was "RAG-Server" konkret umfasst
Damit der Vergleich fair ist, hier die Komponenten die in beiden Setups notwendig sind:
- LLM-Inferenz, das Modell, das die Antworten generiert
- Embedding-Inferenz, das Modell, das Chunks und Anfragen in Vektoren umwandelt
- Vector-Datenbank, der Speicher für Embeddings mit Similarity-Search
- Orchestrator-Service, der HTTP/API-Layer, der Anfragen entgegennimmt und die Pipeline durchläuft
- Monitoring, Logging, Backup, das, was den Betrieb überhaupt möglich macht
Bei einer managed Lösung liegen alle Komponenten bei externen Anbietern. Bei self-hosted liegen sie auf eigenen Servern (on-premises oder eigene Cloud-Instanzen).
Der typische Anwendungsfall für den Vergleich
Für saubere Zahlen nehmen wir an: DACH-Mittelstands-RAG mit 500 Nutzer-Anfragen pro Tag im Schnitt, 100.000 Chunks im Bestand, mittlere Kontexte (2–3 Chunks pro Anfrage à 500 Tokens), GPT-4-Klasse-LLM.
Das ist bewusst unterhalb der Enterprise-Grenze, für sehr große Bestände (>1M Chunks) und sehr hohes Volumen (>10.000 Anfragen/Tag) verschiebt sich die Rechnung deutlich zu self-hosted.
Managed, die Kostenaufstellung
Realistische Vollkosten pro Monat für den Anwendungsfall oben, mit europäischen Anbietern:
| Komponente | Anbieter (Beispiel) | Kosten/Monat | |---|---|---| | LLM (500 Anfragen/Tag, ~2000 Tokens/Anfrage) | OpenAI EU / Mistral Large | 700–1.400 EUR | | Embedding (Bestand + laufend) | OpenAI EU | 100–200 EUR | | Vector-DB (100k Chunks) | Qdrant Cloud, Weaviate Cloud EU | 200–500 EUR | | Orchestrator-Hosting | Vercel Pro / Fly.io EU | 100–300 EUR | | Monitoring | LangSmith / Sentry | 100–200 EUR | | Summe | | ~1.200–2.600 EUR/Monat |
Plus einmalige Umsetzung: 40.000–80.000 EUR für Sprint (siehe 8-Wochen-Zeitplan).
Was dabei ist: Uptime-SLA, automatische Skalierung, Wartung durch Anbieter, keine Kapazitätsplanung, kein GPU-Betrieb.
Was nicht dabei ist: Kontrolle über Modell-Updates, Latenz-Optimierung jenseits vom Anbieter-Standard, Möglichkeit Daten für nicht dokumentierte Zwecke zu verwenden.
Self-Hosted, die Kostenaufstellung
Für dasselbe Volumen mit self-hosted LLM (z.B. Llama 3 70B Instruct auf eigener GPU):
| Komponente | Setup | Kosten/Monat | |---|---|---| | GPU-Server (2× A100 80GB, gemietet Hetzner/Scaleway EU) | Für LLM-Inferenz | 1.800–2.400 EUR | | CPU-Server für Embedding + Vector-DB + Orchestrator | 4–8 vCPU, 32–64 GB RAM | 100–200 EUR | | Storage (Backup, Datenbestand) | 500 GB SSD | 30–60 EUR | | Monitoring + Logging (self-hosted Prometheus + Grafana + Loki) | | 20–50 EUR | | Summe Infrastructure | | ~1.950–2.710 EUR/Monat |
Plus einmalige Umsetzung: 60.000–120.000 EUR (der Sprint ist länger, weil GPU-Betrieb + Modell-Deployment + Monitoring aufzubauen sind).
Plus laufender Betriebs-Aufwand: 2–4 Personentage/Monat für Updates, Alarme, Debugging = 3.000–8.000 EUR/Monat interner Aufwand (oder externer Wartungsvertrag).
Realistische Gesamtkosten self-hosted: ~5.000–10.000 EUR/Monat vollkostet.
Der überraschende Vergleich
Bei 500 Anfragen/Tag ist managed 2–4x günstiger als vollkostetes self-hosted. Bei 5.000 Anfragen/Tag kehrt sich das Verhältnis um, dann wird self-hosted attraktiv. Der Break-Even liegt für die meisten DACH-Setups bei etwa 2.000–3.000 Anfragen/Tag.
Das bedeutet in der Praxis: die Mehrheit der Mittelstands-RAG-Projekte startet mit managed, weil das Volumen anfangs überschaubar ist. Wenn das Volumen wächst und die Kostenkurve steiler wird, kann später auf self-hosted migriert werden, mit einem Migrationsaufwand von 3–5 Wochen.
Die drei Fragen, die die Entscheidung treffen
Selten geht es rein um Geld. Diese drei Fragen sind wichtiger:
1. Dürfen die Daten überhaupt einen externen LLM-Anbieter erreichen?
Für Gesundheitsdaten, sicherheitsrelevante Interna oder speziell klassifizierte Kundendaten gilt oft: nein. Auch mit EU-Region und Zero-Data-Retention-Agreement bleibt ein Risiko-Restposten, den einzelne Compliance-Abteilungen nicht akzeptieren.
Wenn die Antwort „nein" ist, ist die Entscheidung getroffen: self-hosted mit lokalem oder On-Premise-LLM. Die Kosten sind sekundär, weil die Alternative gar nicht existiert.
2. Wie groß wird das Nutzungsvolumen in 12 Monaten?
Ehrliche Schätzung, nicht Vertriebsprognose. Wenn ihr in 12 Monaten bei 5.000+ Anfragen/Tag seid, plant self-hosted ein. Wenn bei 500 oder darunter, bleibt bei managed. Die Migration zwischen den beiden ist möglich, aber jede Migration kostet einen Sprint.
Als Faustregel: Multiplizier die aktuelle konservative Nutzungsschätzung mit 3. Wenn das Ergebnis unter 3.000 Anfragen/Tag liegt, bleibt bei managed.
3. Wieviel Kontrolle brauchen wir wirklich über Modell und Antwort-Verhalten?
Managed-LLM-Anbieter ändern Modelle im laufenden Betrieb. Was heute funktioniert, kann in 3 Monaten leicht anders sein. Für viele Anwendungsfälle ist das ok, für regulatorische, medizinische oder finanzielle Anwendungen, wo Konsistenz Teil der Compliance ist, nicht.
Wenn ihr Konsistenz über 12+ Monate garantieren müsst (etwa weil ein Audit die Modell-Version dokumentiert erwartet), führt das oft zu self-hosted mit gepinnter Modell-Version. Bei managed ist das nur mit Enterprise-Verträgen mit sehr hohem Preisniveau möglich.
Hybride Setups, der praktische Mittelweg
In der Praxis sehen wir immer häufiger hybride Setups:
- LLM: managed (weil die Kosten überschaubar sind und die Anbieter besser als self-hosted LLMs sind)
- Embedding: self-hosted (weil BGE-M3 oder E5-mistral qualitativ konkurrenzfähig ist und die Batch-Kosten für den Bestand hoch sind)
- Vector-DB: self-hosted PostgreSQL mit pgvector (weil PostgreSQL sowieso läuft und die Skalierungsgrenze für 100k–1M Chunks kein Problem ist)
- Orchestrator: self-hosted (kein Vendor-Lock-in, volle Kontrolle über Prompt-Logik)
Diese Kombination ist oft günstiger als vollständig managed und pragmatischer als vollständig self-hosted. Der Aufwand ist etwa 30 % höher als reines managed, die laufenden Kosten liegen 30–50 % niedriger.
Nächster Schritt
Der RAG-Reifegrad-Check prüft in fünf Fragen, welches Betriebs-Modell zu eurem Vorhaben passt, kostenlos, in unter fünf Minuten.
Wenn ihr die Setup-Entscheidung mit einem Team klären wollt, das sowohl managed als auch self-hosted RAG-Server produktiv betreibt: Kalendertermin buchen, 30 Minuten kostenlos.
---
Verwandte Artikel: RAG-System-Beratung für den Mittelstand · RAG-Software-Vergleich: LlamaIndex, LangChain, Haystack