Quantitative KPIs: Wie wird Ihr Bot genutzt und geht er auf die Bedürfnisse der Nutzer ein?

Anhand von quantitativen Leistungsindikatoren (key performance indicators oder auch KPIs) können Sie die Effektivität Ihres Chatbots und die Art und Weise, wie er von seiner Zielgruppe genutzt wird, bewerten.

Anhand von quantitativen Leistungsindikatoren (Key Performance Indicators oder auch KPIs) können Sie die Effektivität Ihres Chatbots und die Art und Weise, wie er von seiner Zielgruppe genutzt wird, bewerten.

1. CHATBOT-AKTIVITÄTSVOLUMEN

Die Messung des Aktivitätsvolumens eines Chatbots bedeutet, dass die Anzahl der Interaktionen vom Zeitpunkt, an dem ein Nutzer eine einfache Frage stellt, bis hin zu einem konstruktiven Dialog ausgewertet wird, Dieser Indikator hilft, wichtige Fragen zu beantworten:

Wird Ihr Chatbot häufig genutzt?
Nimmt die Zahl der Nutzer zu? – Ist die Nutzung freiwillig oder veranlasst?

Die Nutzung kann weiterhin in zwei Arten unterteilt werden:

Freiwillige Nutzung, wenn die Nutzer die Interaktion mit Ihrem Chatbot aus eigenem Antrieb initiieren.
Aufgeforderte Nutzung, wenn die Nutzer die Interaktion mit Ihrem Chatbot nach Erhalt einer Benachrichtigung einleiten.

Die Rate der freiwilligen Nutzung ist ein hervorragender Indikator für die Beliebtheit Ihres Chatbots. Sie ermöglicht es Ihnen auch zu überprüfen, ob Ihr Chatbot im Verlauf des Kundenerlebnisses gut positioniert ist.

2. CHATBOT-AKTIVIERUNGSRATE

Um die Aktivierungsrate in Zahlen messbar zu machen können folgende Indikatoren verwendet werden:

Benutzerzahl insgesamt: Alle Nutzer, die mit dem Bot interagiert haben – Aktive Benutzer: Benutzer, die eine Nachricht des Bots abgewartet und gelesen haben
Aktivierte Benutzer: Benutzer, die eine Nachricht an den Bot gesendet haben. (Aktive Benutzer sind in dieser Zählung ebenfalls enthalten.)
Neue Benutzer: Neue Benutzer, die eine Nachricht an den Bot gesendet haben.

Auch wenn ein Chatbot viele Nutzer hat oder immer wieder von derselben Person benutzt wird, gibt es keine Garantie dafür, dass es sich um eine effektive Konversation handelt. Sofern eine Unterhaltung eine Weile andauert, zeigt die Anzahl der eingehenden und ausgehenden Nachrichten, ob die Konversation nützlich war oder nicht.

3. INTERAKTIONSRATE

Die Interaktionsrate ermöglicht es Ihnen, die durchschnittliche Anzahl der pro Konversation ausgetauschten Nachrichten zu zählen. Sie ist eine einfache, aber solide Messung, die dabei hilft, die Leistung eines Chatbots zu bewerten. Wenn Sie das Engagement der Nutzer während der Konversation mit Ihrem Chatbot messen wollen, sollten Sie diesen Indikator unbedingt beachten.

4. NUTZUNGSRATE NACH GEÖFFNETEN SITZUNGEN

Die Nutzungsrate nach geöffneten Sitzungen ist die Anzahl der Sitzungen, die parallel in Ihrem Chatbot aktiv sind. Um eine aussagekräftige Messung zu erhalten, muss diese Rate mit der durchschnittlichen Anzahl der offenen Sitzungen während eines bestimmten Zeitraums gewichtet werden. Überprüfen Sie bei technischen Dienstleistern, wie viele “gleichzeitiger Benutzer” (bezogen auf mehr als einen Benutzer) eine Computerressource gleichzeitig nutzen können. Auf diese Weise können Sie die technischen Kapazitäten rechzeitig einschätzen.

5. ABSPRUNGRATE

Die Absprungrate entspricht dem Volumen der Nutzer Sessions, die nicht zu der beabsichtigten “spezialisierten” Nutzung Ihres Chatbots führen. Sie können auch als die Nutzer verstanden werden, die keine Nachricht eintippen oder die Nutzung vorzeitig abbrechen. Eine erhöhte Rate deutet darauf hin, dass Ihr Bot nicht zu Themen konsultiert wird, die für seinen Zuständigkeitsbereich relevant sind. Um keine Kunden zu verlieren diese Rate Sie dazu veranlassen, seinen Inhalt zu aktualisieren oder seine Platzierung in der Kundenerfahrung zu überdenken, oder beides. Dies ist ein Indikator, der genau beobachtet werden sollte.

6. RETENTIONRATE

Die Retentionsrate oder auch Rückhaltequote gibt den Anteil der Nutzer an, die Ihren Chatbot in einem bestimmten Zeitraum wiederholt konsultiert haben. Tatsächlich kann die Verweildauer eines Nutzers durch die strategische Entwicklung eines Bots erhöht werden. Dieser Indikator lässt sich mit der der Häufigkeit anderer Kundenkontakten in Ihrer Branche vergleichen. Die Retentionrate gibt einen guten Hinweis auf die Relevanz Ihres Chatbots und seine Akzeptanz bei Ihren Kunden.

7. CHATBOT-ANTWORTVOLUMEN

Das Antwortvolumen ist ein konkreter Indikator, der Ihnen die Anzahl an durch den Bot beantwortete Fragen anzeigt, Der Wert sollte nicht nur quantitativ sondern auch qualitativ bewertet werden. (Siehe Benutzer Feedback im Rahmen der qualitativen KPIs).

8. CHATBOT-KONVERSATIONSLÄNGE

Mit der Metrik zur Konversationslänge können Sie die durchschnittliche Dauer von Interaktionen zwischen Ihrem Chatbot und seinen Nutzern bewerten. Die Zahl ist von Fall zu Fall sehr unterschiedlich: Ein Chatbot, welcher komplexe Service Anfragen zu Tarifen beantwortet, benötigt hierfür viel längere Dialoge als ein Chatbot, der lediglich die aktuellen Öffnungszeiten eines Shops angibt. Wenn Ihr Ziel die Steigerung der Effizienz ist, hilft Ihnen dieser KPI dabei, die Zeit zu quantifizieren, die sowohl Ihre Kunden als auch Ihr Helpdesk sparen.

9. NUTZUNG NACH TAGESZEIT

Zu welchen Tageszeiten oder Uhrzeit konsultieren die Nutzer Ihren Chatbot am häufigsten? Dieser Indikator ist besonders hilfreich dabei zu zeigen, wie der neue 24/7-Kanal es Ihnen ermöglicht, 20, 30 oder sogar 50 Prozent der Stunden abzudecken, in denen Ihre Mitarbeiter gesteuerten-Supportdienste zuvor nicht verfügbar waren.

10. FRAGEN PRO GESPRÄCH

Je mehr Fragen die Benutzer stellen müssen, desto mehr Zeit benötigen sie, um angemessene Antworten zu erhalten. Mit Hilfe dieses Indikators können Sie feststellen, wie viele Fragen Ihrem Chatbot gestellt werden müssen, bevor er seinen Nutzern die erforderlichen Informationen liefern kann. Bitte beachten Sie, dass die Interpretation dieser Metrik stark von Ihren spezifischen Zielen abhängt.

11. ZIELERFÜLLUNGSRATE

Mit dieser Metrik können Sie die Erfolgsrate einer bestimmten Aktion messen, die durch Ihren Chatbot durchgeführt wurde, z. B. die Generierung eines neuen Leads, das Klicken auf eine CTA-Schaltfläche oder einen Link, das Ausfüllen eines Formulars, den Abschluss eines Verkaufs oder einer Bezahlung etc. Sie kann jedoch nur auf eindeutig identifizierte Aktionen angewendet werden, für die benutzerdefinierte Indikatoren erstellt wurden. Je nach Schwerpunkt eines bestimmten Bot-Designs bzw. einer bestimmten Implementierung gibt es Mechanismen, um zu messen, wie sehr sich die Bot-Nutzer auf das Ziel des Chatbots konzentrieren.

12. NON-RESPONSE-RATE

Die Nichtbeantwortungsrate misst die Anzahl der Fälle, in denen Ihr Chatbot nicht auf eine Frage antwortet. Ein solches Scheitern kann auf einen Mangel an Inhalt oder auf Schwierigkeiten Ihres Bots beim Verstehen von Benutzeranfragen zurückzuführen oder technische Probleme zurückzuführen sein.

Die Systemstabilität lässt sich bewerten durch: Die Anzahl der Sitzungen, die aufgrund eines technischen Fehlers abgebrochen wurden / durch Anzahl aller Sitzungen

13. DIE AM HÄUFIGSTEN GESTELLTE FRAGEN

Welche Anfragen werden am häufigsten an Ihren Chatbot gerichtet? Die Analyse wiederkehrender Fragen hilft Ihnen, Ihre Korrekturmaßnahmen zu steuern und sich auf die Themen zu konzentrieren, die für Ihre Nutzer am interessantesten sind, sowie auf die Mechanismen, die es Ihnen ermöglichen, die Qualität der Antworten Ihres Bots und das allgemeine Verständnisniveau zu verbessern. Um diesen quantitativen KPIs einen Sinn zu geben, müssen Sie sie mit anderen Daten vergleichen, insbesondere mit der Anzahl der Anrufe und den Ergebnissen anderer Kanäle (z. B. Chatbot-Konversationsvolumen im Vergleich zum Telefonanrufvolumen, relative Zufriedenheitsraten usw.). Anhand dieser Daten können Sie die Positionierung Ihres Chatbots bewerten und feststellen, ob er mit dem richtigen Wissen am richtigen Ort ist.

14. FALLBACKS

Bei fast jedem Chatbot kommt es irgendwann zu Rückfällen. Die Rückfallquote eines Chatbots kann auf unterschiedliche Weise erfolgen. Die KPI-Metriken unterteilen diese Rückfälle in verschiedene Kategorien, von denen die folgenden die Chatbot-bezogenen sind.

Confusion Rate: oder auch Verwirrungsrate; Manchmal werden Chatbots durch unerwartete oder kontextunabhängige Nachrichten, welche von Benutzern eingegeben werden, verwirrt. Die Antworten, die der Bot dann sendet, können (ähnlich wie beim Menschen) dessen Verwirrung zeigen. Daher ist es wichtig, den Chatbot gut genug zu trainieren, um diese Art von Szenarien zu bewältigen. Die Verwirrungsrate kann mit der folgenden Formel gemessen werden: Verwirrungsrate = Anzahl der Rückfälle des Chatbots / Gesamtzahl der gesendeten Nachrichten. Je höher die Verwirrungsrate ist, desto mehr sollte der Chatbot trainiert werden. Zu einem anderen Zeitpunkt werden die Nutzer verwirrt. Diese Rate kann minimiert werden, indem man den Nutzern zeigt, wie man den Chatbot richtig benutzt und den Chatbot so einfach wie möglich gestaltet. Wenn ein Nutzer eine Reihe von Nachrichten sendet, die über das Verständnis des Chatbots hinausgehen, sollte er die Diskussion von Zeit zu Zeit neu kalibrieren.
Human Handover: Auch die Anzahl der Rückgriffe des Chatbots auf einen Menschen ist eine Messgröße. Wenn Sie zählen, wie oft der Chatbot an einen Punkt kommt, an dem er das Gespräch nicht mehr führen kann und an einen Menschen weitergibt, können Sie die Rückfallquote Ihres Chatbots verfolgen.

15. NLU GENAUIGKEIT

NLU-Modelle können bei einer einzigen und spezifischen Aufgabe perfekt funktionieren. Verschiedene Aufgaben können jedoch die Genauigkeit und Präzision verringern. Es ist am besten, die Leistungen verschiedener Lösungen anhand objektiver Metriken zu vergleichen. Zum Beispiel kann ein Benchmark erstellt werden, indem ein Testset mit einer signifikanten Anzahl von Beispielen (z.B. >100) unter Verwendung von Kundendienstdaten erstellt wird, um verschiedene Dienste zu vergleichen. Da die meisten Dienste als einfach zu registrierende APIs verfügbar sind, sollte es einfach sein, dies anhand der API-Antworten zu überprüfen.

QUALITATIVE KPIS: SIND IHRE CHATBOT-NUTZER ZUFRIEDEN?

Neben der Quantität kommt es auch auf die Qualität der Antworten eines Bots an. Die nachstehenden KPIs helfen Ihnen, die “menschliche Leistung” Ihres Chatbots zu messen, einschließlich des Nutzens, der er Kunden Kunden bietet um diese zufrieden zu stellen,

16. SPRACHVERSTÄNDNIS
Ihr Chatbot gibt an, wie gut er die Anfragen der Benutzer versteht. Dieses Niveau entwickelt sich ständig weiter, da es abhängt von:

dem Verständnis des Chatbots für die Fragen, die ihm gestellt werden
der Wissensbasis des Chatbots.

Wenn Ihr Chatbot eine Anfrage nicht versteht, liegt das entweder daran, dass ihm eine Frage gestellt wurde, die für ihn keine Bedeutung hat, oder daran, dass er kein Wissen auf dem entsprechenden Gebiet hat.
Ein Chatbot, der auf Versicherungs Schadensmeldungen spezialisiert ist, wird zum Beispiel eine technische Frage nicht verstehen. Auch Sprachen und Dialekte spielen hierbei eine wichtige Rolle

17. SELBSTSERVICE RATE

Die Selbstauflösungs-Quote entspricht der Anzahl der Nutzer, deren Problem durch die Antworten Ihres Chatbots gelöst wurde und die somit Hilfe erhalten haben, ohne anschließend den Kundendienst anrufen zu müssen. Sie wird auf der Grundlage des Prozentsatzes der Sitzungen berechnet, die durch eine Interaktion mit Ihrem Bot erfolgreich abgeschlossen wurden, ohne an einen Live-Operator weitergeleitet zu werden. Dadurch können Sie den Grad der Kundenzufriedenheit bewerten. Dies ist das Äquivalent zur First-Call-Resolution-Rate (FCR) eines Call-Centers, also dem Prozentsatz der Probleme, die durch einen einzigen Telefonanruf gelöst werden.
Dieser Indikator ist sehr wichtig für die Analyse des ROI Ihres Chatbot-Projekts.

18. BENUTZER-FEEDBACK

Es ist extrem wichtig, Feedback zu erhalten um zu wissen, was die Nutzer über Ihren Chatbot denken. Hat er ausreichend Hilfe geboten? Sind seine Nutzer zufrieden? Es gibt zwei verschiedene Möglichkeiten, dies herauszufinden:

Sie können die Nutzer einfach bitten, auf die Frage “Waren Sie zufrieden?” mit “Ja” oder “Nein” zu antworten.
Sie können den Nutzern aber auch die Möglichkeit geben, einen detaillierteren Fragebogen auszufüllen, um spezifische Informationen zu erhalten (z. B. “Haben Sie alles verstanden?” “Waren die Antworten klar?” oder “Haben Sie Verbesserungsvorschläge für unseren Chatbot?”).

Anhand dieses Feedbacks können Sie zwei Indikatoren berechnen: Die Zufriedenheitsrate (die durchschnittliche Punktzahl, die Ihr Chatbot bei der Bewertung durch seine Nutzer erhält). Die Bewertungsrate (der Prozentsatz der Sitzungen, in denen der Benutzer die Antworten Ihres Bots mindestens einmal bewertet hat)

Diese qualitativen KPIs sollten regelmäßig gemessen und langfristig analysiert werden. So können Sie sehen, wie sich die Zufriedenheitsraten entwickeln, ob sich Fragen häufiger wiederholen und vieles mehr.

Die Kenntnis dieser 18 Schlüsselindikatoren ist für die Bewertung der Leistung Ihres Chatbots unerlässlich. Die besten Indikatoren sind jedoch nicht für jedes Unternehmen oder für jeden Chatbot gleich: Es liegt an Ihnen, die relevantesten Indikatoren auf der Grundlage Ihrer Branche, Ihrer Ziele und der Bedürfnisse Ihrer Nutzer auszuwählen.