Mit dem eigenen Unternehmenswissen chatten, statt mühsam Dokumente zu durchsuchen: Retrieval Augmented Generation, kurz RAG, ermöglicht KI-gestützte Antworten auf Basis interner Dokumente. Dafür wird ein Sprachmodell mit einer intelligenten Suche kombiniert. Wie sich RAG ohne Datenabfluss einsetzen lässt und für welche Unternehmen sich der Ansatz wirklich lohnt, lesen Sie hier.
RAG (Retrieval Augmented Generation) kombiniert eine intelligente Suche in Ihren Unternehmensdaten mit einem Sprachmodell, das verständliche Antworten formuliert.
Anders als ChatGPT: Je nach Setup landen Ihre sensiblen Informationen nicht in öffentlichen Trainingsdaten.
Ob RAG für Sie sinnvoll ist, hängt davon ab, wie komplex Ihre Wissensfragen sind und ob eine KI-generierte Zusammenfassung Ihrer Dokumente einen Mehrwert bringt.
Je nach Datensensibilität und IT-Ressourcen kommen Cloud-Lösungen, Managed Hosting oder selbstbetriebene Systeme infrage.
Die größte Herausforderung ist nicht die KI, sondern Ihr Datenhaushalt.
Eine technische Störung um 3 Uhr nachts. Ein Techniker steht vor der Anlage. Irgendwo ist ein Fehler, aber welche Schritte sind jetzt nötig? Er durchsucht PDFs auf seinem Tablet: Ist es das Handbuch von 2019 oder das Update von 2022? Steht die Prozedur unter „Wartung“ oder „Instandhaltung“? 20 Minuten später hat er die Infos gefunden, die er braucht.
Kennen Sie solche Situationen aus Ihrem Unternehmen? Ob Stadtwerk, Ingenieurbüro oder Wasserverband: In fast allen Unternehmen liegt eine riesige Menge an internem Wissen, meist verstreut in unzähligen Dokumenten und Datenbanken. Technische Handbücher, Wartungsprotokolle, interne Richtlinien und Arbeitsanweisungen bis hin zu Kundenverträgen und Daten in Geoinformationssystemen. Das Wissen ist da, aber schwer zu finden. Oft fehlt sogar der richtige Fachbegriff, um überhaupt suchen zu können.
Genau hier setzt RAG (Retrieval Augmented Generation) an. Das System kombiniert eine intelligente Suche in Ihren Unternehmensdaten mit einem Sprachmodell, das verständliche Antworten formuliert. Sie beschreiben das Problem in eigenen Worten und bekommen in wenigen Sekunden die passende Stelle aus Handbuch, Protokoll oder Richtlinie angezeigt. Ohne langes Blättern und ohne Suche nach der richtigen Bezeichnung.
Das Wichtigste: Anders als bei ChatGPT oder anderen öffentlichen Chatbots können Sie die volle Kontrolle über Ihre Daten behalten. Mit dem richtigen technischen Setup landen sie nicht in öffentlichen Trainingsdaten von KI-Anbietern.
In diesem Ratgeber erklären wir Ihnen, wann RAG sinnvoll ist, welche Hosting-Option zu Ihrem Unternehmen passt und worauf Sie achten müssen, bevor Sie starten.
Wir ordnen die KI-Welt für Sie ein und bringen das Wichtigste auf den Punkt. KAI.news bietet alle 14 Tage fundiertes Wissen und Insights zum Thema Künstliche Intelligenz in Unternehmen. Hier kostenlos abonnieren.
Nicht jede Wissensfrage rechtfertigt ein KI-System. Julien Siebert, KI-Experte beim Fraunhofer-Institut für Experimentelles Software Engineering (IESE) in Kaiserslautern, bringt es auf den Punkt: „Für viele Standardthemen ist ein gut gepflegtes FAQ oft die bessere und günstigere Lösung.”
Wenn Ihre Mitarbeitenden nur wissen wollen, wie ein Urlaubsantrag ausgefüllt werden muss oder wo bestimmte Formulare liegen, reicht eine einfache Liste mit häufigen Fragen. Die können Sie sogar automatisch aus Dokumenten generieren lassen und in eine normale Suche integrieren.
RAG lohnt sich dort, wo einfache FAQs an ihre Grenzen kommen:
Wenn Informationen über viele Quellen verteilt sind: z. B. in Handbüchern, Protokollen, E-Mails, SharePoint oder Datenbanken.
Wenn Sie die Fachbegriffe nicht kennen: Sie wissen nicht, wie der Vorgang offiziell heißt, können ihn aber beschreiben.
Wenn Kontext entscheidend ist: bei Fragen wie „Welche Wartung ist bei dieser Anlage in diesem Szenario nötig?“
Wenn Sie unterwegs schnelle Antworten brauchen: Techniker*innen auf der Baustelle brauchen schnell eine Information.
Julien Siebert nennt ein konkretes Beispiel: „Besonders spannend wird RAG, wenn Sie unterwegs sind und Spracheingabe praktischer ist als Tippen. Sie können dann eine Störung per Spracheingabe beschreiben, während sie an der Anlage stehen. Das System durchsucht im Hintergrund Handbücher und Dokumentationen und liefert eine verständliche Antwort – ohne dass Sie im Regen auf dem Handy in PDFs blättern müssen.”
RAG funktioniert wie ein sehr guter und schneller Recherche-Assistent. Wenn Sie eine Frage stellen, durchsucht das System Ihren eigenen Wissenspool. Das Sprachmodell darf nur aus den Informationen antworten, die es dort findet. Nicht aus öffentlichen Trainingsdaten.
1. Daten hochladen: PDFs, Word-Dateien, Excel-Tabellen, E-Mails, Intranet-Inhalte, SQL-Datenbanken – fast alle Formate eignen sich als Wissensquelle.
2. Daten indexieren: Das System zerlegt Ihre Dokumente in kleine Wissensbausteine und speichert sie in einem durchsuchbaren Index, ähnlich einem sehr detaillierten Inhaltsverzeichnis.
3. Frage stellen: Sie tippen oder sprechen Ihre Frage ein, z. B. „Welche Schritte sind für die Netzwartung dieser Anlage nötig?“
4. Suchmaschine findet relevante Stellen: Die Suche findet alle Passagen in Ihren Dokumenten, die mit der Frage zu tun haben.
5. KI formuliert die Antwort: Das Sprachmodell bekommt Ihre Frage und die gefundenen Dokumentenausschnitte. Es fasst die Informationen verständlich zusammen und zeigt, aus welchen Quellen sie stammen.
Julien Siebert erklärt das technische Prinzip so: „RAG besteht aus zwei Bausteinen. Der erste ist eine Suchmaschine, also die Suche nach Dokumenten. Der zweite ist eine Zusammenfassung dieser Dokumente. Alle Informationen landen in einem erweiterten Prompt, und das Sprachmodell muss nur auswählen, welche Informationsschnipsel relevant sind. Die verwendet es für seine Zusammenfassung.”
Der entscheidende Unterschied zu ChatGPT und anderen öffentlichen Chatbots: Das Modell zieht die Inhalte nicht aus dem Internet oder seinen Trainingsdaten, sondern direkt aus Ihren eigenen Dokumenten.
Wer sich mit RAG beschäftigt, landet schnell bei Fragen zu Modellen, Servern oder Datenschutz. Doch Julien Siebert wird sehr deutlich: „90 Prozent eines RAG-Systems ist Data Engineering. KI ist nur der kleine Rest.”
RAG funktioniert nur, wenn Ihre Informationen auffindbar, aktuell und qualitativ hochwertig sind. Genau hier scheitern viele Projekte. Daten liegen über Abteilungen verteilt in SharePoints, auf Laufwerken, in Dokumentenmanagement-Systemen, E-Mails und Fachanwendungen. Oft ohne klare Zuständigkeiten.
„Niemand weiß so genau, wer die Daten pflegt, wer sie aktuell hält oder wer überhaupt Zugriff hat”, so Siebert. Die KI selbst einzurichten ist vergleichsweise einfach. Entscheidend ist, wie Sie Daten indexieren, welche Suchmaschinen Sie einsetzen, wie Berechtigungen geregelt sind und wie Sie die Fragmentierung in den Griff bekommen.
Bevor Sie an Sprachmodelle denken, müssen Sie klären:
Für viele Unternehmen bedeutet dies einen Kulturwandel: Datensilos müssen geöffnet, Verantwortlichkeiten geklärt, Schnittstellen geschaffen und Datenqualität dauerhaft gesichert werden. Ohne diesen Schritt bleibt RAG eine schöne Demo, die keine verlässlichen Antworten liefert.
Alle Ergebnisse der Branchenumfrage auf einen Blick: Grafiken und Einordnungen zum KI-Reifegrad in der Energie- und Wasserwirtschaft.
Sie müssen entscheiden: Läuft das Sprachmodell in einer Cloud (alle Daten laufen über externe Server) oder in Ihrer eigenen IT-Infrastruktur? Julien Siebert erklärt, warum das entscheidend ist: „Die Zusammenfassung passiert dort, wo das Sprachmodell ist. Das heißt, Ihre Anfrage und die relevanten Dokumentenausschnitte, die die Suchmaschine gefunden hat, gehen an das Sprachmodell.” Bei Cloud-Betrieb bedeutet das: Unternehmensdaten verlassen Ihr Netzwerk.
Die Entscheidung hängt von mehreren Faktoren ab:
Sie nutzen die Programmierschnittstelle (API) eines KI-Anbieters wie OpenAI, Anthropic, Google, Azure AI oder AWS Bedrock. Der Anbieter stellt die Rechenleistung und das Sprachmodell bereit, während Sie die Suchmaschine und Wissensdatenbank in Ihrer IT-Infrastruktur betreiben.
Vorteile: Überschaubare Kosten, schneller Start, automatische Skalierung und stets aktuelle Modelle – oft schon ab wenigen hundert Euro monatlich.
Nachteile: Mit jeder Anfrage wandern Ihre Frage und relevante Dokumentenausschnitte in die Cloud des Anbieters. „So gehen zwar nicht vollständige Dokumente aus dem Unternehmensnetzwerk hinaus, aber mit jeder Anfrage ein kleiner Teil davon”, erklärt Siebert. Auch wenn viele Anbieter vertraglich zusichern, nichts zu speichern, bleibt ein Restrisiko.
Empfehlung von Julien Siebert: „Cloud-Hosting ist eine Option für Anwendungsfälle ohne KRITIS-Anforderungen, bei denen Daten weniger sensibel sind. Achten Sie auf Anbieter mit Server-Standorten in Europa und Zero-Retention-Modellen – das bedeutet, keine Speicherung Ihrer Anfragen.“
Managed-RAG-Plattformen sind ein Zwischenweg. Mittlerweile gibt es eine Reihe von Anbietern in Deutschland, die eine fertige Umgebung bereitstellen: Technische Infrastruktur, Wissensdatenbanken und KI-Modelle laufen auf Servern des Anbieters, oft in EU-Rechenzentren. Ihre Daten werden nicht für Trainingszwecke genutzt.
Vorteile: Balance aus Datenschutz, Komfort und Flexibilität. Sie sparen sich den Betrieb, komplexer Architekturen, erhalten professionellen Support und oft standardisierte Schnittstellen zu typischen Unternehmenssystemen.
Nachteile: Höhere Kosten als bei reiner Cloud-Nutzung (monatliche Grundgebühren plus Setup), langfristige Bindung an einen Anbieter und für sehr kleine Teams oft überdimensioniert.
Für wen geeignet: Mittelständische Unternehmen oder Teams in größeren Organisationen, die Datenschutz ernst nehmen, aber keinen kompletten Eigenbetrieb stemmen wollen.
Sie betreiben Suchmaschine, Wissensdatenbank und KI-Modell komplett selbst in Ihrer Unternehmensinfrastruktur. Ihre Daten verlassen nie das Unternehmensnetzwerk.
Vorteile: Höchste Kontrolle, keine Daten außer Haus – besonders relevant für KRITIS-Unternehmen und Organisationen mit strengsten Vertraulichkeitsanforderungen.
Nachteile: Hohe Kosten für Infrastruktur, Energie und Fachpersonal. „Da kommen schon mal Investitionen von 100.000 bis 200.000 Euro zusammen”, so Siebert. Dazu laufende Kosten für Strom, Wartung und qualifiziertes IT-Personal. Der Aufbau dauert Monate, nicht Wochen. Die Skalierung funktioniert nicht automatisch.
Empfehlung von Julien Siebert: „On-Premises lohnt sich nur bei KRITIS-Anforderungen oder wenn Sie rechtlich verpflichtet sind, Daten im Haus zu behalten. Für kleine Teams oder sporadische Nutzung rechnet sich das nicht.“
Julien Sieberts Fazit: „Wenn es nur darum geht, dass Techniker bei einer Störung nicht mehr Handbücher durchsuchen müssen, ist es vielleicht nicht so kritisch. Am Ende muss jedes Unternehmen für sich einschätzen, wie sensibel seine Daten sind.”
Auch wenn ein RAG-System nur Ihre eigenen Dokumente nutzt: Das Sprachmodell kann trotzdem falsche Informationen generieren. Julien Siebert hat das selbst erlebt: „Ich habe ein RAG-System für eine Produktdokumentation gebaut. Das Sprachmodell meinte, dass man sich an den Support wenden soll, wenn ein Problem auftritt. Aber es stand nichts über den Support in diesem Dokument. Das hat das Sprachmodell erfunden.“
Das Risiko sinkt mit RAG deutlich, wird aber nie null. Laut Siebert gilt: „Sprachmodelle sind trainiert, Text zu generieren, und genau das machen sie. Fakten zu überprüfen wird zwar immer besser, aber zu null Prozent Fehler werden wir nie kommen.” Menschliche Kontrolle bleibt deshalb unverzichtbar.
Was Sie tun sollten:
Klare Nutzungsrichtlinien definieren: Alle Nutzer*innen müssen wissen, dass sie Antworten (mindestens bei wichtigen oder sicherheitsrelevanten Entscheidungen) überprüfen müssen.
Quellenangaben nutzen: Ein entscheidender Vorteil von RAG ist die Transparenz. Jede Antwort zeigt die zugrundeliegenden Dokumente – Sie können also mühelos nachvollziehen und gegenchecken.
Strukturierte Outputs einsetzen: Konfigurieren Sie Ihr System so, dass Antworten in einem festen Format geliefert werden müssen – das reduziert Halluzinationen deutlich.
Bevor Sie ein RAG-System aufbauen, sollten Sie nicht mit der Technik starten, sondern mit einer einfachen Frage: Welches konkrete Problem soll das System lösen?
Julien Siebert empfiehlt eindringlich: „Starten Sie klein und laden Sie nicht sofort Tausende Dokumente hoch.” Sein Beispiel: „Wir hatten einen Unternehmer, der 400.000 Dokumente auf einmal hochgeladen hat. Das brachte Skalierbarkeitsprobleme, die am Anfang völlig unnötig sind.”
RAG kann die Arbeit Ihrer Teams deutlich erleichtern: Schnellere Antworten, weniger Suchaufwand, Zugriff auf verteiltes Wissen auch unterwegs. Aber es ist kein Plug-and-Play-System.
Und: RAG ersetzt kein Wissensmanagement. Das System kann nur mit Informationen arbeiten, die vorhanden sind. Julien Siebert macht das deutlich: „Das implizite Wissen sitzt in den Köpfen von Menschen. Wie kriege ich das raus? Die Leute zu zwingen, alles zu dokumentieren, hat nie funktioniert und wird nicht funktionieren.“ Dieses Wissen muss deshalb anders erschlossen werden, z. B. durch Interviews oder dokumentationsfreundliche Prozesse, die Wissen nebenbei erfassen. Erst dann kann RAG auch bei der Suche und verständlichen Aufbereitung dieses persönlichen Erfahrungsschatzes helfen.
Weitere Beiträge zum Thema KI
wvgw
Wirtschafts- und
Verlagsgesellschaft
Gas und Wasser mbH
Josef-Wirmer-Str. 3
53123 Bonn
Tel.: +49 228 9191-40
Mo – Do: 8:00 – 17:00 Uhr
Fr: 8:00 – 14:00 Uhr
Künstliche Intelligenz verändert Gesellschaft und Unternehmen. Unser Newsletter hilft Ihnen, diese Entwicklung einzuordnen – ohne Hype und Techniksprech, aber mit klarem Fokus auf Ihre Praxis.
Jetzt hier kostenlos abonnieren und immer auf dem Laufenden bleiben.
