Leitfaden fĂĽr Entscheider & IT
Enterprise-Chatbots: RAG, Integrationen und Datenschutz in der Praxis
Ein Enterprise-Chatbot beantwortet Fragen aus allen Wissensquellen eines Unternehmens, beachtet Berechtigungen und erledigt Aufgaben in CRM, Ticketsystem oder Kalender. Technisch steckt fast immer ein RAG-System dahinter. Hier steht, worauf es wirklich ankommt – inklusive der Dinge, die man meist erst im Projekt lernt.
Aktualisiert am · ca. 12 Minuten Lesezeit
- Typischer Pilot
- 2–4 Wochen
- Größter Hebel
- Retrieval
- Testset vor Go-live
- 100–300 Fragen
- Training mit euren Daten
- Nein
Was ist ein Enterprise-Chatbot?
Ein Enterprise-Chatbot ist ein KI-Assistent, der für Kunden oder Mitarbeitende Fragen beantwortet und Aufgaben erledigt – auf Basis der eigenen Unternehmensdaten statt allgemeinem Internetwissen. Er unterscheidet sich von einem einfachen Website-Chatbot weniger durch das Sprachmodell als durch alles drumherum: Anbindungen, Rechte, Nachvollziehbarkeit, Betrieb und Datenschutz.
Kundenservice
Rund um die Uhr Antworten, Bestellstatus, Rücksendungen, Terminbuchung – mit Übergabe an das Team.
Interner Assistent
IT-Helpdesk, HR-Fragen, Richtlinien und Produktwissen für Vertrieb und Service – rechtekonform.
Telefon
Voicebots nehmen Anrufe an, beantworten Standardfragen und leiten den Rest gezielt weiter.
Architektur
RAG: So funktioniert ein Enterprise-Chatbot wirklich
Retrieval-Augmented Generation (RAG) trennt Wissen und Sprache: Das Wissen liegt in einem durchsuchbaren Index, das Sprachmodell formuliert nur. Dadurch bleiben Antworten aktuell, Quellen nachprĂĽfbar, und eure Daten flieĂźen nicht ins Training des Modells. Eine produktionsreife Pipeline hat sechs Stufen:
- Stufe 1
Ingestion
Websites, PDFs, Confluence, SharePoint, Ticket-Historie und Datenbanken werden laufend eingelesen – inklusive Rechten und Änderungsdatum.
- Stufe 2
Chunking
Dokumente werden in sinnvolle Abschnitte zerlegt: nach Ăśberschriften statt nach starren Zeichenzahlen, mit Kontext zum Abschnitt.
- Stufe 3
Embedding & Index
Jeder Abschnitt wird als Vektor gespeichert – zusätzlich ein klassischer Volltextindex (BM25) für Produktnummern und Fachbegriffe.
- Stufe 4
Retrieval
Hybrid Search findet die passendsten Abschnitte, ein Reranker sortiert sie nach echter Relevanz, Berechtigungen filtern vorab.
- Stufe 5
Generierung
Das Sprachmodell formuliert die Antwort nur aus den gefundenen Quellen – mit Quellenangabe und klarer Regel für „weiß ich nicht“.
- Stufe 6
Guardrails & Logging
PrĂĽfung auf Themenfremdes, personenbezogene Daten und Prompt Injection. Jede Antwort wird nachvollziehbar protokolliert.
Hervorgehoben: Im Retrieval entscheidet sich, ob die Antwort stimmt.
Aus der Praxis
8 Dinge, die man meist erst im Projekt lernt
1
Retrieval ist wichtiger als das Modell
Die meisten falschen Antworten entstehen nicht im Sprachmodell, sondern weil die richtige Textstelle gar nicht gefunden wurde. Wer Zeit investiert, sollte sie zuerst in Datenaufbereitung, Chunking und Reranking stecken – ein Modellwechsel bringt oft weniger.
2
Reine Vektorsuche scheitert an Artikelnummern
Embeddings verstehen Bedeutung, aber „SKU 4711-B“ oder „§ 14 Abs. 2“ treffen sie schlecht. Hybrid Search (Vektor + BM25) mit Reciprocal Rank Fusion ist in Unternehmen praktisch Pflicht.
3
Der Reranker ist der günstigste Qualitätssprung
Erst 30–50 Kandidaten holen, dann per Cross-Encoder die besten 5 auswählen. Das kostet Millisekunden und hebt die Trefferquote spürbar – häufig mehr als ein größeres Modell.
4
Veraltete Dokumente sind das größte Risiko
Wenn die Preisliste 2023 und 2026 im Index liegen, mischt der Bot beides. Gute Systeme kennen GĂĽltigkeitsdaten, bevorzugen die neueste Version und schlieĂźen Archive aus.
5
„Ich weiß es nicht“ ist ein Feature
Ein Bot, der sauber an einen Menschen übergibt, wird mehr genutzt als einer, der rät. Schwellwerte für die Relevanz und ein klarer Handover-Pfad sind wichtiger als eine Antwortquote von 100 %.
6
Berechtigungen gehören ins Retrieval, nicht in den Prompt
Wer intern unterschiedliche Rechte hat, muss schon bei der Suche filtern (Document-Level Security). Eine Anweisung im Prompt wie „zeige keine HR-Daten“ lässt sich umgehen.
7
Kosten skalieren mit dem Kontext, nicht mit den Fragen
Jede Antwort schickt die gefundenen Textstellen mit ans Modell. Kürzere, präzisere Abschnitte, Prompt-Caching und ein kleines Modell für Routinefragen senken die Kosten oft um mehr als die Hälfte.
8
Ohne Testset ist jede Ă„nderung ein Blindflug
Vor dem Go-live 100–300 echte Fragen mit erwarteten Antworten sammeln (Golden Set). Jede Änderung an Prompt, Modell oder Chunking wird dagegen gemessen – sonst verschlechtert der Fix von heute die Antworten von gestern.
Integrationen: Vom Antworten zum Erledigen
Der eigentliche Nutzen entsteht, wenn der Bot nicht nur Auskunft gibt, sondern Aufgaben abschließt. Technisch passiert das über Tool Calling: Das Modell ruft klar definierte Funktionen auf, jede mit eigenen Rechten. Kritische Aktionen wie Stornierungen laufen über eine Bestätigung („Human in the Loop“). Offene Standards wie das Model Context Protocol (MCP) machen neue Anbindungen deutlich schneller.
CRM
Leads und Gesprächsverläufe direkt in HubSpot, Salesforce oder Pipedrive – inklusive Qualifizierung und Zuordnung zum Vertrieb.
Ticketsystem
Ăśbergabe an Zendesk, Freshdesk, Jira Service Management oder OTRS mit Zusammenfassung, damit niemand die Frage zweimal stellen muss.
Kalender & Buchung
Termine in Microsoft 365, Google Kalender oder Buchungssystemen prĂĽfen und verbindlich eintragen.
ERP & Shop
Bestellstatus, Lieferzeiten und Lagerbestand live aus SAP, Shopware oder Shopify – statt veralteter FAQ-Texte.
Wissensquellen
Confluence, SharePoint, Notion, Google Drive und Intranet mit automatischer Synchronisierung.
Messenger & Kanäle
Website, Microsoft Teams, Slack, WhatsApp Business und Telefon aus einer Wissensbasis.
Voicebots
Dasselbe Wissen, jetzt am Telefon
Ein Voicebot verbindet Spracherkennung, das RAG-System und eine natĂĽrliche Stimme. Er nimmt Anrufe an, beantwortet Standardfragen und leitet mit Zusammenfassung an die richtige Person weiter.
- Latenz ist alles: Ab etwa einer Sekunde Pause wirkt ein Gespräch unnatürlich. Streaming in jeder Stufe ist Pflicht.
- Barge-in: Anrufende müssen unterbrechen können, sonst legen sie auf.
- Fürs Ohr schreiben: Kurze Sätze, Zahlen ausgeschrieben, keine Aufzählungen mit zehn Punkten.
- Anbindung: SIP-Trunk oder Telefonanlage, Weiterleitung mit Kontext an Mitarbeitende.
Sicherheit, DSGVO und EU AI Act
Datenschutz
- Auftragsverarbeitungsvertrag (AVV) mit allen Unterauftragnehmern
- Verarbeitung in der EU oder in Deutschland, Modellwahl nach Vorgabe
- Kein Training mit Kundendaten – vertraglich zugesichert
- Löschfristen für Gespräche und Pseudonymisierung personenbezogener Daten
- Rollen, SSO (SAML/OIDC) und Audit-Log jeder Ă„nderung
Angriffe und Missbrauch
- Prompt Injection – auch versteckt in Dokumenten oder Webseiten
- Datenabfluss ĂĽber zu weite Berechtigungen beim Retrieval
- Aktionen nur mit minimalen Rechten und Bestätigung bei Risiko
- Rate Limits und Bot-Schutz gegen Kostenattacken
- Regelmäßige Red-Team-Tests vor größeren Änderungen
EU AI Act in einem Satz: Chatbots müssen als KI erkennbar sein. Kundenservice-Bots sind in der Regel kein Hochrisiko-System – wer KI aber für Entscheidungen über Menschen einsetzt, etwa bei Bewerbungen oder Krediten, hat deutlich mehr Pflichten. Diese Übersicht ersetzt keine Rechtsberatung.
Qualität messen und dauerhaft betreiben
Ein Chatbot ist kein Projekt mit Enddatum, sondern ein Produkt. Erfolgreiche Teams messen wenige Kennzahlen konsequent und verbessern jede Woche:
| Kennzahl | Was sie zeigt |
|---|---|
| Containment Rate | Anteil der Gespräche, die ohne Übergabe gelöst werden |
| Faithfulness | Wie gut Antworten durch die Quellen gedeckt sind |
| Retrieval-Trefferquote | Ob die richtige Quelle unter den gefundenen Abschnitten war |
| Unbeantwortete Fragen | Welche Inhalte fehlen – die beste To-do-Liste fürs Wissen |
| Kosten pro gelöstem Gespräch | Wirtschaftlichkeit im Vergleich zu Telefon und E-Mail |
Standard-Chatbot oder Enterprise?
| Standard-Chatbot | Enterprise-Chatbot | |
|---|---|---|
| Wissen | Website und PDFs | Alle Systeme, laufend synchronisiert, mit Versionen |
| Suche | Vektorsuche | Hybrid Search, Reranking, Rechtefilter |
| Aktionen | Antworten, Lead erfassen | Tickets, Buchungen, Bestellstatus (Tool Calling) |
| Kanäle | Website, Link, QR-Code | Zusätzlich Teams, Slack, WhatsApp, Telefon |
| Zugang | E-Mail-Login | SSO (SAML/OIDC), Rollen, SCIM |
| Qualität | Feedback und Statistik | Golden Set, automatische Evaluation, Freigabeprozess |
| Datenschutz | EU-Hosting, AVV | Hosting in Deutschland, Modellwahl, Löschkonzepte, Audit-Log |
| Betrieb | Self-Service | SLA, Ansprechpartner, Staging-Umgebung |
Für viele kleine Unternehmen reicht der Standard völlig: plapperbot kostenlos testen.
Checkliste: 10 Fragen vor der Ausschreibung
- 1Welche Quellen müssen angebunden werden – und wie oft ändern sie sich?
- 2Gibt es unterschiedliche Berechtigungen auf Dokumente oder Kundendaten?
- 3Welche Aktionen soll der Bot ausführen dürfen, und welche nur nach Bestätigung?
- 4Wo dĂĽrfen Daten verarbeitet werden: EU, Deutschland, eigene Infrastruktur?
- 5Welches Modell ist erlaubt – und wird mit Kundendaten trainiert? (Antwort muss „nein“ sein.)
- 6Wie wird gemessen, ob Antworten richtig sind? Gibt es ein Testset?
- 7Wie läuft die Übergabe an Menschen, auch außerhalb der Geschäftszeiten?
- 8Wer pflegt Inhalte, wer gibt Ă„nderungen frei?
- 9Wie lange werden Gespräche gespeichert, und wie wird gelöscht?
- 10Welche VerfĂĽgbarkeit und Reaktionszeiten braucht ihr (SLA)?
Glossar: Die wichtigsten Begriffe
- RAG (Retrieval-Augmented Generation)
- Das Modell sucht vor jeder Antwort passende Textstellen in deinen Daten und antwortet nur auf deren Basis. Senkt Halluzinationen und macht Quellen nachprĂĽfbar.
- Embedding
- Umwandlung von Text in einen Zahlenvektor, der die Bedeutung abbildet. Ă„hnliche Inhalte liegen nah beieinander.
- Vektordatenbank
- Speichert Embeddings und findet ähnliche Inhalte in Millisekunden, z. B. pgvector, Qdrant oder Weaviate.
- Chunking
- Zerlegen von Dokumenten in Abschnitte. Zu groß verwässert die Suche, zu klein verliert Zusammenhang.
- Hybrid Search
- Kombination aus semantischer Vektorsuche und klassischer Stichwortsuche (BM25).
- Reranking
- Ein zweites Modell bewertet die gefundenen Abschnitte noch einmal genauer und sortiert sie neu.
- Halluzination
- Eine ĂĽberzeugend formulierte, aber falsche Antwort. RAG, Quellenpflicht und Schwellwerte reduzieren sie.
- Guardrails
- Regeln und Prüfungen vor und nach dem Modell: Themenbegrenzung, Filter für personenbezogene Daten, Tonalität.
- Prompt Injection
- Versuch, den Bot ĂĽber manipulierte Eingaben oder Dokumente zu anderen Aussagen oder Aktionen zu bringen.
- Tool Calling / Agent
- Das Modell ruft definierte Funktionen auf, etwa „Ticket anlegen“ oder „Termin buchen“, und arbeitet mehrere Schritte ab.
- MCP (Model Context Protocol)
- Offener Standard, über den KI-Assistenten auf Werkzeuge und Datenquellen zugreifen – vereinfacht Integrationen erheblich.
- Golden Set
- Sammlung echter Fragen mit geprĂĽften Antworten, gegen die jede Ă„nderung automatisch getestet wird.
- Grounding / Faithfulness
- MaĂź dafĂĽr, ob eine Antwort wirklich durch die Quellen gedeckt ist.
- SSO, SAML, OIDC, SCIM
- Anmeldung ĂĽber das Firmenkonto (z. B. Microsoft Entra ID) und automatische Pflege von Nutzern und Rollen.
- Barge-in
- Bei Voicebots: Anrufende können den Bot unterbrechen, wie in einem echten Gespräch.
Häufige Fragen
Ein Enterprise-Chatbot greift auf viele interne Systeme zu, beachtet Berechtigungen, fĂĽhrt Aktionen wie Ticket- oder Terminbuchungen aus und erfĂĽllt Anforderungen an Single Sign-on, Protokollierung, Datenschutz und VerfĂĽgbarkeit. Ein normaler Chatbot beantwortet meist Fragen aus Website und Dokumenten.
RAG steht fĂĽr Retrieval-Augmented Generation. Vor jeder Antwort sucht das System die passenden Textstellen in deinen Daten und gibt sie dem Sprachmodell mit. Das Modell antwortet nur auf dieser Basis und kann Quellen nennen. So bleiben Antworten aktuell und nachprĂĽfbar, ohne das Modell neu zu trainieren.
Für Wissensfragen fast nie. Fine-Tuning verändert Stil und Format, aber kein aktuelles Wissen. Für Fakten, Preise und Richtlinien ist RAG die bessere, günstigere und leichter pflegbare Lösung.
Bei plapperbot nein. Für Enterprise-Projekte vereinbaren wir das vertraglich und wählen Modellanbieter und Verarbeitungsort passend zu euren Vorgaben.
Durch gute Datenaufbereitung, Hybrid Search mit Reranking, eine Quellenpflicht, Relevanz-Schwellwerte mit sauberer Übergabe an Menschen und ein Testset, gegen das jede Änderung geprüft wird. Eine Garantie für null Fehler gibt es nicht – messbar wenige schon.
Chatbots mĂĽssen als KI erkennbar sein (Transparenzpflicht). Kundenservice-Bots gelten in der Regel nicht als Hochrisiko-System. FĂĽr Entscheidungen etwa ĂĽber Bewerbungen oder Kredite gelten deutlich strengere Pflichten.
Ein Pilot mit einer Wissensquelle und einem Kanal ist oft in zwei bis vier Wochen live. Mit mehreren Integrationen, SSO und Freigabeprozessen sind sechs bis zwölf Wochen realistisch.
Ja. Beide greifen auf dieselbe Wissensbasis zu. Für das Telefon werden Antworten kürzer formuliert, Zahlen ausgeschrieben und Rückfragen stärker genutzt.
Weiterlesen
Komplexer Chatbot oder Voicebot geplant?
Erzähl uns von euren Systemen und Anforderungen. Wir melden uns mit einer ehrlichen Einschätzung – auch wenn die Antwort „Standard reicht“ lautet.