Wer wissen will, was ein RAG-System kostet, klickt sich meist durch ein Dutzend Anbieterseiten und findet am Ende: nichts. Die üblichen Antworten lauten "das hängt vom Projekt ab" oder "vereinbaren Sie ein Erstgespräch". Beides stimmt sogar. Trotzdem lässt sich die Frage deutlich besser beantworten, denn die Kostentreiber sind bei fast allen RAG-Projekten dieselben. In diesem Artikel schlüsseln wir sie auf und nennen konkrete Zahlen aus unserer eigenen, veröffentlichten Preisliste, damit Sie ein Budget planen können, bevor Sie mit einem Anbieter sprechen.
Die drei Kostenblöcke eines RAG-Systems
Jedes RAG-Budget zerfällt in drei Teile: den einmaligen Aufbau, den laufenden Betrieb und einen dritten Block, der in kaum einem Angebot auftaucht und trotzdem regelmäßig der teuerste wird.
Aufbau: die einmaligen Kosten
Hierunter fällt alles bis zum Go-Live: Anbindung der Quellsysteme (SharePoint, Confluence, Netzlaufwerke, ERP), Parsing und Chunking der Dokumente, Aufbau der Retrieval-Pipeline mit Embeddings, Vektordatenbank und Reranking, dazu Prompt-Logik, Schnittstellen oder Oberfläche und das Deployment in Ihre Infrastruktur. Der Aufwand hängt dabei weniger von der Dokumentenmenge ab als vom Zustand und der Zahl der Quellsysteme. Zehn gepflegte Confluence-Spaces sind schneller angebunden als ein einziges Netzlaufwerk mit zwanzig Jahren Ablagehistorie. Rechnen Sie deshalb früh mit einer ehrlichen Bestandsaufnahme: Welche Systeme müssen wirklich angebunden werden, wer pflegt sie, und in welchem Format liegen die Inhalte vor? Diese Fragen entscheiden stärker über den Aufwand als jede Technologie-Auswahl.
Betrieb: die laufenden Kosten
Nach dem Go-Live fallen monatlich an: LLM-Aufrufe (per API oder auf eigenen GPU-Servern), Hosting der Vektordatenbank, Monitoring, Aktualisierung der Wissensbasis und gelegentliche Modell-Updates. Dazu kommt Arbeitszeit, denn ein RAG-System ist kein Produkt, das man einmal installiert und dann vergisst. Mehr dazu weiter unten.
Versteckte Kosten: Daten, Evaluation, Compliance
Drei Posten fehlen in fast jedem ersten Budget. Erstens die Datenaufbereitung: veraltete Dokumente aussortieren, Duplikate bereinigen, Zugriffsrechte klären, gescannte PDFs lesbar machen. Zweitens die Evaluation: ein Ground-Truth-Datensatz mit realen Fragen und dokumentierten Soll-Antworten, gegen den jede Änderung am System getestet wird. Schon 50 bis 100 gut gewählte Fragen aus dem echten Arbeitsalltag reichen für den Anfang. Ihre Erstellung braucht allerdings Fachleute aus dem jeweiligen Bereich und damit Arbeitszeit, die budgetiert werden muss. Drittens Compliance: AV-Verträge, Löschkonzept, je nach Datenlage eine Datenschutz-Folgenabschätzung, in regulierten Branchen entsprechend mehr. Wer diese drei Posten von Anfang an einplant, erlebt im Projektverlauf deutlich weniger Überraschungen.
Kosten nach Reifegrad
Wie viel Sie am Ende ausgeben, hängt vor allem davon ab, wie tief das System in den Arbeitsalltag hinein soll. Ein interner Test mit fünf wohlwollenden Kollegen ist ein anderes Vorhaben als ein Assistent, auf den sich der Kundenservice täglich verlässt. Deshalb lohnt der Blick auf drei Reifegrade.
PoC und Prototyp
Ein RAG-Prototyp ist günstig. Mit LangChain oder LlamaIndex, ein paar hundert Dokumenten und einem API-Key steht in wenigen Tagen etwas Vorzeigbares. Intern gebaut kostet das oft nur die Arbeitszeit von ein bis zwei Wochen. Genau darin liegt die Falle: Umfragen wie die des Bitkom legen nahe, dass ein Großteil der KI-Piloten in deutschen Unternehmen nie den Produktivbetrieb erreicht. Warum das bei RAG-Projekten besonders häufig passiert, haben wir in einem eigenen Artikel aufgeschrieben. Die Kurzfassung: Der Prototyp beweist, dass die Technik grundsätzlich funktioniert. Er sagt wenig darüber, ob sie mit Ihren echten Daten, Berechtigungen und Nutzern funktioniert.
Zur Einordnung unser Angebotsrahmen bei NeuralMedic: Ein KI-Sprint liegt zwischen 15.000 und 30.000 Euro und liefert in wenigen Wochen einen Prototyp samt Evaluation auf Ihren echten Daten. So beruht die Production-Entscheidung auf Messwerten statt auf einer Demo.
Erste Production-Version
Der Sprung vom Prototyp zur Production-Version ist der teuerste Schritt im gesamten Projekt. Jetzt kommen die Themen dazu, die in der Demo gefehlt haben: Berechtigungen auf Dokumentebene, eine Ingestion-Pipeline mit Fehlerbehandlung, Monitoring, Logging, Evaluation im laufenden Betrieb und ein geordneter Rollout. Bei NeuralMedic liegt eine Implementierung je nach Zahl der Quellsysteme, Berechtigungsmodell und Compliance-Anforderungen zwischen 30.000 und 150.000 Euro. Das untere Ende erreichen Vorhaben mit einer Dokumentenquelle und ohne Sonderanforderungen an Hosting oder Rechteprüfung. Am oberen Ende liegen Projekte mit mehreren Altsystemen, On-Premise-Betrieb und Audit-Pflichten.
Enterprise-Betrieb
Wenn mehrere Mandanten, Standorte oder Tochtergesellschaften auf dasselbe System zugreifen, kommen Multi-Tenant-Architektur, SLAs, Audit-Logs und meist ein dediziertes Hosting hinzu. EU-Hosting ist bei uns dabei der Standard. Solche Systeme werden nicht fertig, sie werden betrieben und weiterentwickelt. Dafür bieten wir ein Embedded RAG-Squad an: feste Kapazität aus unserem Kernteam in Ingolstadt, die Ihr System kontinuierlich ausbaut, zwischen 15.000 und 35.000 Euro pro Monat je nach Umfang. Wer vor einer größeren Architekturentscheidung zuerst eine unabhängige Einschätzung möchte, startet mit einem Architektur-Tag ab 2.500 Euro.
Laufende Kosten im Detail
LLM: API oder eigene Server
Bei API-Modellen zahlen Sie pro Token. Die Rechnung skaliert mit drei Treibern: der Zahl der Anfragen, der Menge des Kontexts pro Anfrage (Chunk-Größe mal Anzahl der übergebenen Chunks) und der Modellwahl. Bei einigen Dutzend bis wenigen hundert Anfragen pro Tag bleiben die reinen API-Kosten häufig ein überschaubarer Posten, oft kleiner als das Hosting der übrigen Komponenten. Teuer wird es durch unnötig lange Kontexte und die Gewohnheit, für jede Anfrage das größte verfügbare Modell zu verwenden. Ein Kostenlimit pro Nutzer und ein Cache für wiederkehrende Fragen gehören deshalb von Beginn an in die Architektur.
Eigene GPU-Server drehen die Logik um: hohe Fixkosten, geringe variable Kosten. Das rechnet sich bei hoher Auslastung oder wenn Ihre Daten das Haus aus Datenschutzgründen nicht verlassen dürfen. Die vollständige Abwägung finden Sie in unserem Vergleich Self-hosted vs. Managed.
Vektordatenbank
Managed-Angebote rechnen nach Speicher und Abfragevolumen ab und beginnen häufig im niedrigen dreistelligen Monatsbereich. Self-hosted läuft eine Vektordatenbank auch auf vorhandener Infrastruktur, etwa als pgvector-Erweiterung in einer bestehenden Postgres-Instanz. Welche Option für mittelständische Setups sinnvoll ist, behandelt unsere Vector-DB-Auswahl für den DACH-Mittelstand.
Monitoring und Pflege der Wissensbasis
Der am häufigsten vergessene Posten ist Arbeitszeit. Jemand muss die Antwortqualität stichprobenartig prüfen, gemeldete Fehlantworten untersuchen, neue Dokumente einspielen und veraltete entfernen. Planen Sie dafür ab Go-Live feste Stunden pro Woche ein. Bewährt hat sich zusätzlich ein monatlicher Review-Termin, in dem die auffälligsten Fehlantworten durchgesprochen und die zugehörigen Dokumente korrigiert werden. Ein RAG-System mit ungepflegter Wissensbasis wird schleichend schlechter, und Ihre Nutzer merken es vor Ihnen.
Wo Budgets tatsächlich überzogen werden
Auffällig ist: Die Überziehungen passieren selten bei den offensichtlichen Posten. Modellkosten und Infrastruktur lassen sich gut vorhersagen. In unseren Projekten begegnen uns stattdessen vier wiederkehrende Muster.
Datenaufbereitung unterschätzt. Gescannte PDFs ohne Textlayer, Tabellen im Fließtext, dasselbe Dokument in drei Versionen an vier Ablageorten. Die Aufbereitung ist häufig der größte Einzelposten im Projekt, taucht aber in kaum einer ersten Kalkulation auf.
Kein Ground-Truth-Datensatz. Ohne Testfragen mit Soll-Antworten wird jede Änderung am System zum Ratespiel. Teams iterieren dann wochenlang nach Gefühl, und jede dieser Iterationen kostet Geld.
Compliance nachträglich. Eine Datenschutz-Folgenabschätzung nach dem Bau nachzuholen bedeutet oft Umbauten an Logging, Löschung und Hosting. Von Anfang an mitgedacht kostet dasselbe einen Bruchteil.
Kein Betriebsplan. Das Projekt endet mit dem Go-Live, niemand ist für die Pflege zuständig. Die Qualität sinkt, die Nutzung sinkt, und nach einem Jahr gilt das System intern als gescheitert, obwohl die Technik funktioniert.
Woran Sie sparen können und woran besser nicht
Sparhebel, die nicht wehtun: mit einem einzigen Anwendungsfall und einer Dokumentenquelle starten und erst nach messbarem Erfolg erweitern. Standardkomponenten nutzen, etwa pgvector, wenn ohnehin Postgres läuft. Für Routineanfragen ein kleineres Modell einsetzen und das große nur dort, wo die Evaluation den Unterschied belegt. Offene Frameworks statt Lizenzsoftware, sofern Ihr Team den Betrieb stemmen kann.
Sparhebel, die sich rächen: an der Evaluation sparen, denn dann fehlt die Grundlage für jede spätere Entscheidung. Die Datenaufbereitung überspringen nach dem Motto "wir indexieren einfach alles", denn das System antwortet danach mit großer Überzeugung aus veralteten Dokumenten. Berechtigungen auf später verschieben, denn eine nachträglich eingezogene Rechteprüfung erzwingt oft eine neue Indexstruktur. Und den Betrieb nebenbei erledigen, ohne benannte Verantwortliche.
Fazit
Für ein RAG-System mit ernsthaftem Production-Anspruch sollten Sie realistisch einen mittleren fünfstelligen Betrag für den Aufbau einplanen, dazu laufende Kosten für Modelle, Infrastruktur und Pflege der Wissensbasis. Zur Einordnung: Bei NeuralMedic beginnt ein KI-Sprint bei 15.000 Euro, eine Implementierung bei 30.000 Euro. Wie der Weg vom PoC in den Produktivbetrieb im Detail aussieht, beschreibt unser Leitfaden RAG-System entwickeln: von PoC zu Production.
Wenn Sie wissen möchten, wo Ihr Vorhaben steht, machen Sie den kostenlosen RAG-Check: wenige Minuten Aufwand, danach eine erste Einschätzung zu Datenlage, Architektur und Budgetrahmen. Auf Anfragen antworten wir innerhalb eines Werktags.