UX Metriken können gute Indikatoren dafür sein, um die Umsetzung Deiner UX-Strategie oder Produktgestaltungs-Strategie besser einschätzen zu können. UX KPIs bieten darüberhinaus die Möglichkeit zu beobachten, wie gut ein Unternehmen in der Lage ist, eine positive User Experience zu liefern bzw. wie sich der UX Reifegrad entwickelt (UX Maturity).

Es scheint aktuell so, als ob mit zunehmender Reife von UX in Unternehmen das Interesse an UX KPIs wächst. Aktuell arbeiten in mehreren Unternehmen Inhouse UX Professionals daran, UX KPIs oder ganze KPI Systeme für User Experience zu entwickeln und zu etablieren. Mit UX KPI sind Key Performance Indikatoren bzw. die wichtigsten Metriken gemeint, die zur Steuerung von UX in einem Unternehmen genutzt werden können.

Um unsere magischen UX-Kräfte zu bündeln, haben sich UX Professionals von BOSCH IT, Consorsbank, Daimler IT, DATEV, Jochen Schweizer / mydays, Metronom, TRUMPF Werkzeugmaschinen und Verivox zu einem KPI-Workshop bei der Consorsbank getroffen. Ziel war zum einen der Erfahrungsaustausch sowie die Sammlung wesentlicher UX KPIs für Inhouse UX Professionals und zum anderen die Entwicklung von Ansätzen für wirksamere UX KPIs.

So sieht es aktuell aus

Wenn man nach den Teilnehmern des Workshops geht, spielen UX KPIs vor allem in größeren Unternehmen mit mehr als 350 Mitarbeitern eine Rolle. Das kleinste Unternehmen in der Runde hat ca. 350 Mitarbeiter. Das größte Unternehmen hat über 400.000 Mitarbeiter. In den meisten Unternehmen gehören agile Arbeitsweisen zum Alltag. Soviel mal vor ab zu den Teilnehmern.

Interne UX KPI zur Messung des Reifegrads

Es war interessant zu beobachten, dass sich viele der Unternehmen mit ihrem UX Reifegrad auseinandersetzen bzw. die UX Professionals versuchen, dies als Hebel für die weitere Etablierung von UX zu nutzen. Dabei orientieren sich die Meisten an Reifegrad-Modellen nach Kreitzberg, Jared Spool oder ISO 9241-210. Die UX-Reifegrade der teilnehmenden Unternehmen reichen auf einer 6 stufigen Skala (z.B. Kreitzberg) schätzungsweise von 2 bis 5.

Nachdem der Reifegrad der teilnehmenden Unternehmen breiter gestreut war, gab es natürlich auch einzelne Unternehmen, die noch keine eigenständige UX Organisation im Unternehmen haben. Die UX Professionals arbeiten in diesen Unternehmen lediglich in den Projekten. In diesen Unternehmen gibt es keine KPIs für den UX Reifegrad, sondern nur projektbezogene UX KPIs.

Vereinzelt sind UX Reifegradmodelle bzw. deren KPIs bereits fest in den Entwicklungsprozessen etabliert. In diesen Unternehmen werden UX Reifegradmodelle verpflichtend für die kontinuierliche Verbesserung der Lieferfähigkeit von Unternehmen in Sachen UX genutzt. Die UX Professionals in diesem Unternehmen erhoffen sich von der Verpflichtung von Projekten auf UX KPIs eine gewisse Konditionierung der Projektteams. Die Hoffnung ist, dass die Projektteams irgendwann durch die Arbeit im Human Centered Design-Prozess dessen Mehrwert erkennen und in Zukunft eigenverantwortlich auf dessen Methoden zurückgreifen werden, um eine bessere UX zu erreichen. Dieses Vorgehen bringt aber auch Nachteile mit sich. KPI Systemen bringen naturgemäß einen hohen administrativen Aufwand mit sich. Außerdem entsteht durch die Verpflichtung so eine Art „Zuckerbrot und Peitsche“-Gefühl, durch das UX-Aktivitäten teilweise mit negativen Gefühlen belegt werden.

Weiterhin beschäftigen sich einige UX Professionals damit, über UX KPIs den Mehrwert von UX aufzuzeigen. Mit der Operationalisierung von UX sollen positive Effekte visualisiert und damit die Investitionsbereitschaft der Unternehmen in UX erhöht werden.

Es werden u.a. folgende intern gerichtete UX Metriken genutzt:

  • Wahrgenommener Grad der Usability, Ästhetik, UX
  • Einfluss der User Experience auf Markenwahrnehmung
  • Anzahl UX relevanten Entscheidungen, die durch andere Disziplinen getroffen werden
  • Anzahl UX Professionals oder UX Advocaten in Teams
  • Anzahl UX-Aktivitäten
  • Relevanz von UX für ein Projekt (um daraus die Betreuungsintensität von zentralen UX Teams zu schätzen)
  • Anzahl Projekte mit UX Aktivitäten
  • Anzahl geplanter UX Ziele in den Projekten

Produkt-/Ergebnisbezogene KPI

UX KPIs kommen naturgemäß am meisten zur Optimierung von Produkten, Verkäufen oder Geschäftsprozessen, z.B. Service, zum Einsatz. Zur Erhebung von UX Metriken werden u.a. Google Analytics oder Adobe Analytics genutzt. Für die Erhebung von Kundenfeedback kommen neben klassischen Befragungstools User Feedbacktools, wie z.B. Medallia und Usabila zum Einsatz. Vereinzelt werden auch Objective and Key Results (OKR) in Verbindung mit UX Metriken genutzt.

In einem Unternehmen ist es den UX Professionals gelungen, für eine gewisse Zeit UX zu einem Verkaufsargument zu machen. Ausgangslage war, dass in dem speziellen B2B-Zielmarkt von keinem Unternehmen UX als Verkaufsargument genutzt wurde. Also wurden UX Metriken entwickelt, die sich auch als Verkaufsargument eignen. Im Grunde waren es klassische Metriken, wie z.B. Einfachheit der Bedienung. Diese wurden dann auf Betriebswirtschaftliche Kennzahlen bei den Kunden hochgerechnet, wie z.B. Stillstand von Maschinen oder Produktivität. Leider hat dies nur kurzfristig funktioniert. Im Marketing muss immer wieder neu um Aufmerksamkeit gekämpft werden, da braucht es immer wieder neue Argumente.

Einige Unternehmen gehen bereits sehr datengetrieben beim Marketing und der Produktentwicklung vor. Hier kommen vor allem marketinglastige Metriken, wie z.B. Conversion Rates, zum Einsatz. Diese Kennzahlen sagen aber wenig über das tatsächliche Erlebnis der Kunden.

„Better Conversion Rate ≠ Better UX“

In den meisten Unternehmen ist es so, dass die UX Professionals das Thema UX KPI im Unternehmen initiiert haben oder treiben. Nur vereinzelt können sie dabei auf den Support des Top Management zählen.

Ein Unternehmen nutzt das Google Heart Framework für die Erarbeitung von KPIs. Das Google Heart Framework hilft dabei, für die Dimensionen Happiness, Engagement, Adoption, Retention und Task Success Metriken zu erarbeiten und zu definieren. Dabei wird pro Dimension nach folgendem Muster vorgegangen:

  • Steuerungsziele definieren
  • Signale ermitteln, mit an denen man die Zielerreichung ermitteln kann und
  • Metriken definieren.

Es werden u.a. folgende produktbezogene UX Metriken genutzt:

  • Umsatzrelevante Nutzungsfehler oder generelle Fehlerrate
  • Nutzungshäufigkeiten der Produkte/Funktionen
  • Bounce Rate
  • Sessions mit Produktaufrufen
  • Conversion Rate
  • Service Call Volumen
  • UEQ, SUS, NPS
  • Dauer bestimmter Prozesse / Time on Task
  • Kündigungswahrscheinlichkeit
  • Schulungsaufwand
  • Task Completion
  • körperliche oder mentale Beanspruchung
  • Erlernbarkeit
  • Anzahl Klicks
  • Customer Satisfaction (CSAT)
  • Net Emotion Value (NEV)
  • Newsletter Interaction
  • Adoptionrate (Neue Accounts, Logins, Signups bestehende Kunden)
  • Funnel Exit Rates
  • Error in Checkout

Da geht die Reise hin

Alle UX Professionals des Workshops wollen ihre UX KPIs weiter ausbauen. Am häufigsten war zu beobachten, dass UX Metriken in Zukunft weniger mit Verbindlichkeit oder Zwang verbunden sein sollen. UX KPIs sollen den Teams zukünftig schon während der Entwicklung dabei helfen zu erkennen, wie gut die User Experience sein wird, wenn sie das Produkt auf den Markt bringen. UX KPIs sollen in Zukunft mehr ein Lernmittel als ein Druckmittel sein. Die Umsetzung der UX Ziele soll mehr in die Verantwortung der Teams übertragen werden, was aber einen gewissen UX Reifegrad der Teams voraussetzt.

Interne UX KPI zur Messung des Reifegrads

Hinsichtlich der internen UX KPIs stehen mehrere UX Professionals aktuell vor den Herausforderungen:

  • die Reichweite von UX Methoden im Unternehmen zu erhöhen,
  • das Management vom Thema UX breiter zu überzeugen oder
  • UX stärker in die Entwicklungsprozesse zu integrieren.

Daher wird in einigen Unternehmen an eigenen UX Reifegradmodellen gearbeitet. Diese sollen meist so ausgelegt sein, dass nicht nur eine Bewertung durch UX Professionals, sondern auch eine Selbstbewertung durch die Entwicklungsteams ermöglicht wird. Die UX Reifegradmodelle sollen bei einigen Unternehmen nicht nur Organisationseinheiten messen, sondern auch Produkte und Prozesse. Außerdem sollen die Modelle auch Handlungsempfehlungen generieren, wie die Entwicklungsteams ihren UX Reifegrad und damit ihren Erfolg steigern können.

Als Metriken, die in Zukunft interessant sein könnten, wurden genannt:

  • Disziplinspezifische Auslastung von UX Fachkräften
  • Wie viele Features sind gemäß HCD entstanden
  • Qualitätskrierien für die Umsetzung von UI Patterns

KPI für die Bewertung von Anforderungen

Spannend fand ich, dass mehrere Unternehmen damit begonnen haben oder aktuell damit beginnen, Anforderungen vor der Umsetzung hinsichtlich tatsächlichem Marktbedarf und Potential zu bewerten. Es soll damit sichergestellt werden, dass Anforderungen einen spürbaren Nutzen beim Kunden stiften. Aus meiner Sicht eine sehr gute Entwicklung, die zeigt, dass wir als UX Community auf einem guten Weg sind.

Als KPIs, die in Zukunft hierfür interessant sein könnten, wurden genannt:

  • Kundennutzen (Größe des Zielgruppensegments mit einer speziellen Anforderung * Betriebswirtschaftlicher Nutzen für Kunden * Begeisterungsfaktor)

Produkt-/Ergebnisbezogene KPI

Im Bereich der produktbezogenen KPI stehen einige Unternehmen vor der Herausforderung, quantitative und qualitative Daten gemeinsam Auswertung zu müssen, um wertvolle Insights generieren zu können. Da geht es dann beispielsweise, um die Kombination von Webanalytics-Daten mit qualitativen Daten aus Usability Tests oder um die Kombination von Daten aus A/B-Testing mit qualitativen Nutzerfeedback. Hier tun sich viele Unternehmen aufgrund der rechtlichen und technischen Anforderungen aktuell noch etwas schwer.

„Wir haben weitaus mehr Daten im Unternehmen, als wir sinnvoll nutzen können und dürfen.“

Zitat einer Teilnehmerin

Weiterhin stellt die regelmäßige Erhebung von User Experience einige Unternehmen vor Schwierigkeiten. Vor allem im B2B-Bereich oder im B2C-Bereich mit geringer Kundenbindung, ist es nicht immer möglich Befragungen zu UX ohne negative Auswirkungen in den User Flow einzubinden. Daher arbeiten einzelne Unternehmen daran, die Erhebung von Metriken zu automatisieren oder durch quantitative Messungen in Verbindung mit statistischen Verfahren zu ergänzen.

Vereinzelt wird auch der Frage nachgegangen, wie und ob ein einzelner UX-Score für die Verbesserungen von Produkten genutzt werden kann.

Als Metriken, die in Zukunft für die produktbezogene Messung interessant sein könnten, wurden genannt:

  • Emotionaler Inhalt bzw. Tonalität von qualitativem Nutzerfeedback
  • 5-Star-Rating / User Experience Index (Erhebung des Erlebnissen von Anwendern über 5-Star-Rating und Kommentare)
  • Verhältnis der eigenen UX im Vergleich zum Wettbewerb

Die UX KPIs im Überblick

Im zweiten Teil der Workshops wurden dann alle möglichen sinnvollen UX Metriken gesammelt. Oft genannt wurden dabei UX Reifegrad Metriken, NPS, SUS, UEQ und klassische Ergonomie-Metriken. Es waren aber auch ein paar Exoten dabei, wie z.B. Customer Satisfaction Score (CSAT) oder Net Emotional Value (NEV).

Aus der Sammlung haben wir dann vier Ansätze für neue UX KPIs bzw. Metriken entwickelt:

KPI 1: Ein positives Erlebnis pro Kunde pro Jahr

Die Idee hinter dieser KPI ist im Grunde sehr alt: „Kleine Aufmerksamkeiten erhalten die Freundschaft.“. In der Experience Economy sind das allerdings keine kleinen Werbegeschenke mehr, sondern Erlebnisse, die positiv überraschen und begeistern.

Der Steuerungsnutzen der KPI ist, dass jeder Kunde einmal pro Jahr ein begeisterndes Erlebnis mit einem Produkt hat und damit die Kundenzufriedenheit steigt. Die KPI an sich misst bei wie vielen Prozent der Nutzer das gegeben ist. Gemessen werden können positive Erlebnisse u.a. an positiven Kommentaren in Social Media oder an der Tonalität bei Serviceanrufen. Besonders spannend ist die Messung nach Problemfällen. Es ist eine alte Vertriebsweisheit, dass es besonders einfach ist Kunden zu begeistern und zu binden, wenn Problemfälle, überraschend schnell und gut gelöst wurden.

Teams müssten sich regelmäßig intensiver damit auseinandersetzen, wer ihre Kunden sind und was diese begeistert. Damit die Teams sinnvoll mit dieser Metrik arbeiten können, ist eine End-to-End-Verantwortung der kompletten Customer Journey durch das Team nötig. Denn ob das begeisternde Moment im Produkt oder an einem anderen Kontaktpunkt geschaffen werden kann, muss das Team eigenständig entscheiden können.

KPI 2: Wirkung von UX auf den Umsatz

Hinter dieser KPI steckt die Idee, dass die Kundenorientierung in einem Unternehmen besonders dann vorangetrieben werden kann, wenn die Verbindung von User Experience zum Umsatz im Unternehmen deutlich visualisiert wird.

Für diese Visualisierung könnte eine Kombination aus folgenden Metriken sinnvoll sein:

  • Conversion Rate
  • Zahlungsbereitschaft
  • Verhältnis Kundenzufriedenheit vs. Anzahl UCD Studien/UX-Aktivitäten zu den Produkten im Markt
  • Verhältnis Kundenzufriedenheit vs. Umsatz
  • Returning Customers

Insbesondere die Optimierung auf Conversion Rates wurde aber kritisch gesehen, da eine zu harte Fokussierung auf diese Metrik zur Vernachlässigung von positiven Nutzungserlebnissen führen kann.

KPI 3: UX Reifegrad

Die dritte KPI-Idee drehte sich um die Frage, wie der UX Reifegrad einer Organisation messbar gemacht werden kann. Der Mechanismus dahinter ist einfach: Je höher der UX Reifegrad der Organisation, umso besser die Erlebnisse, die sie ihren Kunden verschaffen kann und umso besser das betriebswirtschaftliche Ergebnis.

Es ist dabei nicht einfach, sinnvolle allgemeingültige Messpunkte für den UX Reifegrad zu definieren. Diese hängen vom Typ der Organisation und ihrer Aufbauorganisation ab. Außerdem können je nach UX Reifegradstufe des Unternehmens unterschiedliche Metriken sinnvoll sein. Weiterhin spielt die Konsequenz eine Rolle, mit der die Ergebnisse der Messpunkte genutzt werden.

Als sinnvolle Metriken für die Ermittlung des UX Reifegrades wurden u.a. identifiziert:

  • Anzahl UX-Fachkräfte (am besten zu einer Bezugsgröße, wie z.B. Anzahl Entwickler, Anzahl Teams oder Anzahl Product Owner)
  • UX-Budget im Verhältnis zum Entwicklungsbudget
  • Verankerung der UX Strategie in der Unternehmensstrategie
  • Umgang mit User Research-Ergebnissen
  • Interne vs. externe UX-Fachkräfte
  • UX Reifegrad vs. Anziehungskraft der Arbeitgebermarke

KPI 4: Vorhandene UX-Kapazitäten vs. benötigte UX-Kapazitäten

Die Idee hinter der vierten KPI ist, dass die Personalsituation bei UX-Fachkräften einen wesentlichen Einfluss auf den UX Reifegrad einer Organisation hat. Die Messung und das regelmäßige Reporting des Verhältnisses der vorhandene UX-Kapazitäten im Vergleich zu den benötigten UX-Kapazitäten soll über Transparenz im Management eine kontinuierliche Verbesserung bringen. Wenn dem Management klar wird, wie groß die Unterdeckung im Bereich UX ist, müsste es eigentlich nicht dauerhaft darüber hinwegsehen können – so die Theorie.

Die Herausforderung dabei ist die glaubhafte und nachvollziehbare Schätzung des Bedarfs an UX-Kapazitäten. Wenn eine Organisation noch über einen sehr geringen UX Reifegrad verfügt (z.B. Stufe 1 – Fehlendes UX-Bewusstsein), dann wird auch die Transparenz wenig im Management bewirken. Eine solche Kennzahl kann außerdem bei zu starker Fokussierung dazu führen, dass UX-Fachkräfte ohne Sinn und Verstand eingestellt werden.

Wie geht es weiter?

Aus den Erfahrungen und Ansätzen für KPIs soll nun ein Best Practice-Paper für UX Professionals für den Umgang mit UX KPIs entstehen. Außerdem hoffe ich sehr, dass wir einen solchen Erfahrungsaustausch in ein paar Monaten wiederholen. Wird sehr spannend sein zu sehen, was sich in den unterschiedlichen Unternehmen getan hat. 🙂

PS: Vielen Dank an die Consorsbank für die großartigen Räume und die leckere Bewirtung 🙂

Kategorien: Design LeadershipDesignstrategie

Ulf Schubert

Ulf ist Experte für Customer/User Experience, Design Management und Touchpoint Management. Er ist bei DATEV als Senior Head of UX & Touchpoint Experience für das Produktdesign der DATEV Produkte und die Customer Experience an allen Kunden-Kontaktpunkten der DATEV verantwortlich. Davor hat er mit seiner Agentur openeyes bzw. später bei SirValUse Unternehmen, wie z.B. eBay, Microsoft, OTTO, Axel Springer und MINI, zu User Experience, Innovation und Design beraten. Er engagiert sich über Bitkom und German UPA für besseres Digital Design in Deutschland. Er teilt seine Erfahrungen über Vorträge auf Konferenzen und Trainings. Er ist einer der Gründer und Organisatoren des UX Stammtisch Franken.