Chatbots sind in vielen Unternehmen ein zentraler Kanal für die digitale Kommunikation mit Kunden. In diesen Gesprächen äußern Benutzer häufig direkt ihre Anliegen, Fragen oder Unzufriedenheiten – eine wertvolle Quelle für direktes Nutzerfeedback. Unser Standardprodukt bietet im zugehörigen Chatbot-Dashboard bereits eine umfassende quantitative Auswertung mit Kennzahlen wie z. B. die Anzahl der geführten Gespräche oder die durchschnittliche Gesprächsdauer.

Kürzlich äußerte ein Kunde den Wunsch nach einer zusätzlichen qualitativen Analyse der Gesprächsinhalte, um noch tiefergehende Erkenntnisse über die Bedürfnisse der Benutzer zu gewinnen. Eine manuelle Auswertung der Gespräche ist jedoch aufwendig und schwer skalierbar. Wie sich die Analyse des Nutzerfeedbacks mithilfe eines LLMs automatisieren lässt, zeigen wir in diesem Blogartikel.

Mit dem Einsatz von Large Language Models (LLMs) lässt sich dieser Prozess ganz einfach automatisieren. Die unstrukturierten Texte aus den Chatbot-Gesprächen können systematisch nach Beschwerden, Wünschen und Verbesserungsvorschlägen analysiert und kategorisiert werden.

Dafür werden die Gesprächsdaten des Chatbots dem Modell übergeben – zusammen mit einem präzise formulierten Prompt. Dieser weist das Modell beispielsweise an, in den Chatdialogen Beschwerden zu erkennen, sie vordefinierten Eskalationsstufen und Kategorien zuzuordnen und, wenn keine passende Kategorie vorhanden ist, selbstständig eine neue vorzuschlagen.

So entstehen strukturierte Feedbackdaten, die sich gezielt auswerten und in Diagrammen visualisieren lassen. Eine Übersicht der häufigsten Beschwerdekategorien etwa kann helfen, gezielte Optimierungen im Produkt, Service oder der Website vorzunehmen.

• Kundenbedürfnisse verstehen: Eine regelmäßige Analyse der Chatbot-Gespräche hilft dabei herauszufinden, was Kunden wirklich bewegt. Anders als bei klassischen Feedbackmethoden, wie Fragebögen, liegen diese Daten bereits vor und müssen nicht extra erhoben werden.
• Website gezielt verbessern: Wenn sich bestimmte Themen häufen, können z. B. Website-FAQs gezielt ergänzt, Navigationswege optimiert oder wiederkehrende technische Probleme behoben werden. Die Optimierung kann gezielt dort vorgenommen werden, wo Benutzer Probleme oder Informationslücken wahrnehmen.
• Beschwerden kategorisieren und priorisieren: Die automatische Kategorisierung ermöglicht nicht nur eine quantitative Übersicht, sondern auch eine Priorisierung nach Schweregrad oder Häufigkeit.
• Detailanalyse nach URL: Darüber hinaus kann über eine URL direkt in einzelne Gesprächsverläufe hineingeklickt und deren Inhalt im Detail nachvollzogen werden – gefiltert nach Kategorie, Eskalationsgrad oder Problembeschreibung. Das ermöglicht eine tiefergehende Untersuchung einzelner Problemstellen.

Mithilfe von Diagrammen lassen sich Trends schnell erkennen und unternehmensweit kommunizieren – z. B. zur Verteilung von Beschwerden nach Kategorien oder zur Entwicklung über die Zeit. So wird aus unstrukturierten Textdaten verwertbare Erkenntnis.

Als deutsches Unternehmen legen wir größten Wert auf Datenschutz. Auch bei der Analyse von Chatbot-Daten mit LLMs steht die datenschutzkonforme Umsetzung an oberster Stelle. Für die Analyse werden ausschließlich Freitexteingaben aus dem Chatbot genutzt und personenbezogene Daten aus Formularen oder anderen strukturierten Eingaben werden nicht einbezogen. Zudem ist es möglich, die verwendeten Nachrichten im Vorfeld gezielt zu filtern. Darüber hinaus können unsere Kunden das eingesetzte LLM frei wählen und bei Bedarf auch ein selbstgehostetes Modell nutzen.

Nutzerfeedback ist Gold wert, insbesondere wenn es bereits vorliegt. Unternehmen, die ihre Chatbot-Daten mit LLMs analysieren, gewinnen tiefe Einblicke in Kundenbedürfnisse, erkennen Probleme frühzeitig und können datenbasiert Maßnahmen ergreifen. Wir konnten dieses Vorgehen bereits in einem Pilotprojekt bei einem Kunden erfolgreich umsetzen.