Kategorie-Archiv: Usability Methoden

UEQ: Bewertung der UX von Services & Bewertung von Akustik und Haptik #muc17

Im Young Professionals Track der Mensch und Computer wurden zwei interessante Paper zur Nutzung des UEQ im Umfeld von Konsumprodukten vorgestellt:

Services

Catherine Alberola (BSH) hat in ihrem Beitrag ihre Erkenntnisse bei der Verwendung des UEQ zur Bewertung von Dienstleistungen vorgestellt. Im Konkreten wurde ein Serviceangebot für Haushaltsgeräte via WhatsApp anhand von 2 Varianten untersucht (n=85). Über den Service können Kunden im Servicefall beispielsweise die Reparatur des Haushaltsgerätes abwickeln. Die Testpersonen nutzten im Test den Service unter künstlichen Bedingungen. Der Service wurde anhand von vorgefertigten Gesprächsverläufen evaluiert. Fazit in aller Kürze: In dem künstlichen Testsetting der Studie liefert der UEQ insgesamt keine validen Bewertungsergebnisse für Services. Insbesondere die Skalen „Originalität“ und „Durchschaubarkeit“ ergaben im Test keine belastbaren Erkenntnisse. Für eine Bewertung von Services muss der UEQ um spezifische Items ergänzt werden. Außerdem ist es ratsam die Bewertung nur unter realistischen bzw. realen Bedingungen durchzuführen.

Akustik und Haptik

Barbara Boos (BSH) ging in ihrem Beitrag auf die Bewertung von Akustik und Haptik mittels des UEQ ein. In ihrer Studie bezog sie blinde Frauen (n=6), Psychoakustiker (n=2) und UX-Designer (n=6) ein, um über 300 Eigenschaften zu sammeln mit denen Akustik (Betriebsgeräusche) und Haptik beschrieben werden können. Aus diesen Wörtern entwickelte sie entsprechende Itemlisten. Mit den Itemlisten wurde der UEQ erweitert und diese erweiterte Version mittels eines Online-Fragebogen (n=300) evaluiert. Fazit: Der UEQ kann mit Hilfe der zusätzlichen Items auch zur Bewertung von Akustik (Betriebsgeräusche) und Haptik eingesetzt werden. Es sind allerdings noch weitere Validierungen notwendig.

Instant Usability Report: Nutzertests mit Ergebnisdoku in 8 Stunden #muc17

Ron Reckin (TU Berlin) berichtete über einen Ansatz für Usability Testing mit dem innerhalb von einem Arbeitstag Produkte mit Nutzern evaluiert, die Tests ausgewertet und die Ergebnisse an ein agiles Projektteam übergeben werden können. Der Ansatz richtet sich an agile Teams, die am Ende von Sprints testen wollen.

Der Ansatz basiert auf einem klassischen Remote Usability-Testverfahren mit Interviewer, Testperson und Protokollant. Der Testgegenstand wird über eine Online-Meeting-Software an die Testperson übertragen. Als Beobachter nehmen min. der/die Produktverantwortliche teil. Es wird an dem Tag mit 4 Testpersonen in je 30 min getestet.

Die Sammlung der beobachteten Probleme und Erkenntnisse erfolgt mit Hilfe von Klebezetteln, die auf Screenshots von der Anwendung an die Stelle geklebt werden, an der das Problem aufgetreten ist. Die Klebezettel sind farbig nach Art der Erkenntnis codiert, damit die Auswertung schneller erfolgen kann. Nach jeder Session erfolgt eine kurze Zwischenauswertung durch den Testleiter. Am Ende werden die gefundenen Problemstellung und Erkenntnisse nach Schweregrad und Relevanz sortiert.

Für den Report wird jedes Problem auf ein Blatt geschrieben, mit einem entsprechenden Foto des Screenshots sowie des Klebezettels ergänzt und danach zu einem Report zusammengestellt. Aus den einzelnen Blättern können dann Tickets für die Aufgaben-/Anforderungsverwaltung der Softwareentwicklung erstellt werden.

Die UX KPI – Wunsch und Wirklichkeit #muc17

Martin Schrepp (SAP) stellte in seinem Beitrag einen Ansatz vor, wie man auf Basis des UEQ (User Experience Questionnaire) eine sinnvolle und gut interpretierbare UX-Kennzahl berechnen kann.

The User Experience Questionnaire (UEQ) allows a quick assessment of the user experience of interactive products. The format of the questionnaire supports users to immediately express feelings, impressions, and attitudes that arise when they use a product. The scales of the questionnaire cover a comprehensive impression of user experience, i.e. measure both classical usability aspects (efficiency, perspicuity, dependability) and user experience aspects (originality, stimulation).

Es gibt schon lange den Wunsch einen KPI für den UEQ zur Verfügung zu stellen. Ein KPI für UX könnte es Managementteams, die auf Basis von Kennzahlen (z.B. NPS, Mitarbeiterzufriedenheit, Gewinn, …) führen, erleichtern die Ergebnisse aus UEQ-Bewertungen in ihre Entscheidungen einzubeziehen.

Der Ansatz basiert darauf, dass die 6 Aspekte / Skalenwerte des UEQ durch die Befragten nicht nur bewertet, sondern zusätzlich durch 6 Zusatzfragen gewichtet werden. Dadurch kann pro Teilnehmer die relative Wichtigkeit der Skalenwerte ermittelt und ein gewichteter Mittelwert für alle Skalenwerte als KPI berechnet werden.

Selbstverständlich wurde dieser Ansatz dahingehend überprüft, ob die Gewichtung durch Teilnehmer belastbare Ergebnisse erzeugt. Dies wurde mit einer Validierungsstudie (n=52) belegt.

Ich freue mich darauf den KPI für unsere UEQ-Studien bei DATEV auszuprobieren.

User Research erfolgreich im Projekt platzieren #muc17

Markus Weber (centigrade) gab in seinem Beitrag Tipps für die erfolgreiche Platzierung von User Research-Maßnahmen in Projekten. Nach seiner praktischen Erfahrung begegnen einem User Researcher immer noch Projekte, bei denen User Research-Aktivitäten mit Todschlag-Argumenten wie „Keine Zeit“, „Kein Geld“, „Kein Bedarf“ abgelehnt werden.

Überzeugungsarbeit ist Teil der Arbeit eines User Researcher.

Um diesen Todschlag-Argumenten erfolgreich begegnen zu können, sollten sich User Researcher neben ihren fachlichen Tätigkeiten auch der Überzeugungsarbeit widmen. Sie benötigen die praktischen Argumente um zu überzeugen. Sie benötigen eine Strategie und Taktiken für die Platzierung von User Research. User Researcher sollten reaktiv und proaktiv an die Platzierung von User Research-Aktivitäten herangehen.

Er griff dann 3 typische Todschlag-Argumente heraus und erläuterte seine Herangehensweise:

„Wir fangen auf der grünen Wiese an, da geht noch kein User Research.“

Dieses Argument ist bevorzugt in Innovationsprojekten zu finden. Hier sollten User Researcher Fehlkonzepte und Vorurteile zu User Research geraderücken. Meist haben die Projektmitglieder Vorurteile, wie z.B. dass User Research für Innovationen zu schwerfällig ist oder sich die Projektmitglieder nicht vorstellen können, wie das ablaufen kann. Hier bieten sich Projekt-Kickoff-Meetings an. In diesen sollten User Researcher proaktiv Zeit beanspruchen und diese für die Argumentation / Diskussion ihrer Disziplin nutzen.

„Wir wissen schon genau, was unsere Anwender wollen.“

Diesem Argument ist rein argumentativ nur schwer zu begegnen. Hier gilt es eine günstige Gelegenheit zu suchen. Diese kann zum Beispiel sein, wenn das Team dann doch kein gemeinsames Bild über die Anwender hat und dies in Diskussionen sichtbar wird. Durch das Aufdecken solcher Widersprüche und das Anbieten einer Lösungsmöglichkeit können User Researcher hier unter Umständen doch Research-Maßnahmen platzieren.

„Wir brauchen unsere Ressourcen viel dringender für die Entwicklung.“

Meist steckt hinter diesem Argument, dass den Stakeholdern Erfahrungen zum Wert von User Research fehlen. Hier kann es helfen, Fragestellungen zu Anwendern aus dem Projekt einfach proaktiv aufzugreifen und über schnelle sowie kostengünstige Guerilla Usability Methoden zu beantworten. Auf diese Weise können User Researcher zeigen, was sie zur Entwicklung an Wert beitragen können und dass User Research nicht viele Ressourcen in Anspruch nehmen muss.

Er empfiehlt, dass sich User Researcher als aktive Mitgestalter von Projekten verstehen sollten. Weiterhin sollten User Researcher ihre eigene Arbeit stets kritisch evaluieren und hinterfragen, um sich selbst und ständig zu verbessern.

„Ihr seid die Langzeit-Anwender eures User Research Vorgehens. Entwickelt es maßgeschneidert auf eure Anforderungen und Präferenzen.“

Service Safaris – Auf der Jagd nach der Kundenperspektive #muc17

In ihrem Workshop haben sich Philip Marzoch und Jan Köppen (UID) sowohl theoretisch als auch praktisch mit dem Thema Service Safaris beschäftigt. „Service Safari“ ist eine User Research-Methode aus dem Service Design zur Analyse von Kundenerlebnissen. Service Design choreografiert Ressourcen und Touchpoints, um dadurch Mehrwerte zu schaffen.

Service is everything you can’t drop on your feet.

Bei klassischen User Research-Methoden, wie z.B. dem Contextual Inquiry, geht es darum Anwender zu beobachten und aus dem Verhalten der Anwender Schlüsse zu ziehen. Bei Service Safaris oder Service Design Safaris erfahren User Researcher, Designer und Andere einen Service am eigenen Leib und untersuchen so den Service aus Kundenperspektive. Die Erkenntnisse werden in einer Art Tagebüchern festgehalten und in sogenannten Service Blueprints visualisiert.

The Use and Usefulness of National Cultural Dimensions in International Product Development #uxstrat

Judith Yaaqoubi (booking.com) über internationale Produktentwicklung und Lokalisierung mittels A/B-Testing bei booking.com gesprochen. Konkret ging es ihr dabei um die Anpassung eines Produktes an andere Sprachen sowie kulturelle Normen, Kontext und Werte. 


Booking.com setzt intensiv auf A/B testing und Datenanalyse um Designentscheidungen zu treffen. Große und kleine Designentscheidungen werden als Experimente veröffentlicht und auf Basis der Nutzerdaten getroffen. Fast nichts wird durch Menschen allein entschieden. Sie hat dabei die Erfahrung gemacht, dass 90% aller Experimente fehlschlagen und gestoppt werden. Die restlichen 10% … also die Experimente, die zu einer deutlichen Verbesserung der Conversion Rate geführt haben, bleiben und verbessern das Angebot von booking.com.

Booking.com lokalisiert seine Touchpoints ausgehend von einem globalen Design an die lokalen Sprache, Bedürfnisse und Werte. Dabei werden die Touchpoints nicht nur übersetzt, sondern auch im Detail umgebaut. Als Grundlage nutzet sie dafür die kulturellen Dimensionen von Hofstede, um diese in UI Design-Experimente umzusetzen (Reinecke 2011). Die Arbeit von Hofstede gibt Anhaltspunkte zu kulturellen Unterschieden zwischen Ländern. Reinecke nutzte diese Dimensionen und übersetzte sie in konkrete Empfehlungen für UI Design. Beispielsweise benötigen Japaner alle Informationen möglichst früh im Entscheidungsprozess, da sie sich diese Kultur mit Ungewissheit schwer tun. Auch hier setzen sie auf A/B-Testing, um eine möglichst gute Passfähigkeit zu erreichen.

Conversational UX – Von Chat bis Bot, von GUI bis VUI #bitkom #uux

Die heutige Sitzung des BITKOM AK Usability und User Experience fand in den schön gelegenen Räumlichkeiten von Microsoft am Rheinufer in Köln statt. Thematisch ging es um eines der Trendthemen des Jahres 2017 – Conversational User Interfaces. Wie immer will ich an dieser Stelle versuchen Euch einen Eindruck von der Veranstaltung zu geben und die wichtigsten Erkenntnisse zusammenzufassen. 

Chatty Devices – Sascha Wolter, Deutsche Telekom

Sascha eröffnete den Tag mit einer amüsanten Einleitung zum Thema Conversational UX. Wie üblich bediente er sich dabei seiner persönlichen Dauerfokusgruppe (n=3) um Erfahrungen mit sprachlichen User Interfaces zu sammeln. Die Beobachtung seiner familiären Testgruppe ergab, dass sich Menschen trotz anfänglicher Skepsis so schnell an die Konversation mit Maschinen und an die Steuerung mittels Sprache bedienen, dass sie sich mit der alten Welt der manuellen Schalter schwer tun. Dieser Umstand macht sich auch in der zunehmenden Menge an verfügbaren Geräten bemerkbar. Immer mehr Hersteller drängen mit Sprachassistenten auf den Markt, um so ihre Ökosysteme näher in die Alltagswelt der Anwender zu integrieren.


Aus seinen bisherigen Erfahrungen schloss er, dass sich Unternehmen, die sich jetzt nicht mit sprachlichen User Interfaces beschäftigen, mit hoher Wahrscheinlichkeit einen wichtigen Zugangskanal zu Ihren Kunden verlieren werden. Es wird dabei aber nicht so sein, dass sprachliche User Interfaces graphische User Interfaces komplett ersetzen. Vielmehr werden sie je nach Kontext eine Ergänzung bieten. Wir werden in naher Zukunft multimodale Ein- und Ausgabemedien nutzen, um mit Maschinen zu interagieren.

Does mouse and monitor soon become a thing of the past?

Das schöne an Saschas Vorträgen ist, dass er es vor aller Begeisterung für die neue Technologie und Möglichkeiten immer auch versteht eine kritische und differenzierte Sicht auf neue Dinge zu werfen. So beschäftigte er sich natürlich auch mit den Schattenseiten von Sprachassistenten wie Cortana, Alexa und Google Home. Auch wenn oft behauptet wird, dass diese Sprachassistenten das Leben der Nutzer ausspionieren, gibt es zumindest in Deutschland klare rechtliche Grenzen um dies zu verhindern. (Siehe §90 Telekommunikationsgesetz) So ist der Besitz und Betrieb von Geräten, die ohne des Wissens der Anwender aufnehmen und senden verboten. Alle am Markt verfügbaren Geräte dürfen sich daher nur nach dem Sagen eines Wake Words (z.B. „Alexa“) oder einem expliziten Knopfdruck mit den dahinterliegenden Cloudservice verbinden. Entwickler, die sich mit sprachlichen User Interfaces befassen, dürfen nicht nur den technischen Fortschritt im Auge behalten, sondern sie müssen sich auch intensiv damit beschäftigen was die Verwendung dieser Technologie für seine Anwender aus ethischer und moralischer Sicht bedeuten kann. Eltern stehen heute vor der Herausforderung den Umgang mit sprachlichen UIs und künstlicher Intelligenz ihren Kindern zu vermitteln. (Siehe moralmachine.mit)

Auch wenn sich sprachliche User Interfaces in einer atemberaubenden Geschwindigkeit im Monatsrythmus weiterentwickeln, so ist die Thematik nicht neu. Für die Gestaltung von Conversational UIs verwies auf Grundlagenliteratur aus dem Jahr 1975, wie z.B. Grice’s Maxims. Eine der großen Herausforderungen bei der Gestaltung ist die Persönlichkeit von sprachlichen Interfaces. Wenn es nicht gelingt die Persönlichkeit eines Sprachassistenten authentisch und natürlich zu gestalten, landet man schnell im Uncanny Valley. Der Persönlichkeit von Sprachassistenten sollte daher eine hohe Aufmerksamkeit zu teil werden. (Siehe Cortana vs. Siri) Außerdem empfahl er die Gestaltung an den Richtlinien der Hersteller zu orientieren (z.B. Design Checklist von Google)

Create more personal computing – Malte Lantin, Microsoft

Malte Lantin gab in seinem Vortrag einen Einblick in die Sichtweise von Microsoft auf sprachliche User Interfaces. Microsoft versteht Konversationen als eine neue Plattform für die Mensch-Maschine-Interaktion. Sie unterscheiden dabei zwischen digitalen Assistenten, wie z.B. Cortana und Bots. Bots sind nach Microsoft-Sichtweise wie Apps, in denen die Funktionen angeboten werden. Digitale Assistenten sind Meta-Apss, die lediglich eine natürliche Brücke zwischen Mensch und Bot schlagen.

Human language is the new UI.

Microsoft-typisch ging er in einer kleinen Tech-Demo auf die techn. Möglichkeiten des Microsoft Bot Framework, der Cognitive Services und Microsofts Luis.ai ein. Außerdem stellte er den QnA-Maker vor mit dem sich aus FAQ einfache Chatbots erzeugen lassen.

Wer Bequemlichkeit beim Einkaufen schätzt, der wird den Amazon Echo lieben. – Thorsten Wilhelm, eResult

Thorsten Wilhelm stellte die Ergebnisse einer Studie (n=5) vor, in der das Nutzungserlebnis mit Amazon Echo untersucht wurde. Die Studie wurde durchgeführt, weil er durch die 300 Mio aktiven Amazon-Kunden und schon heute über 400.000 Echo-Geräten in Deutschland großes Potential für Amazon Echo sieht. Er sieht es als den Weg für Unternehmen ihre Dienste enger in den Alltag der Anwender zu integrieren. Aber auch bei dieser Technologie gilt: „Nicht irgendwas machen, nur um auch dabei zu sein.“. Um erfolgreich zu sein, gilt es herauszufinden, welchen echten Nutzen diese Interaktion stiften kann.

„Wir stellten fest, dass Amazon Echo („Alexa“) recht schnell in den Alltag integriert wird, neue Rituale entstehen und sich der Umgang mit anderen Geräten und auch die Kommunikation mit dem Partner und der Familie verändern.

Die Studie ist kostenlos auf der eResult-Webseite verfügbar.

Alexa Development: einmal API und zurück, bitte – Christoph Jerolimov


Wie der Titel des Beitrags schon andeut, führte Christoph Jerolimov die Teilnehmer anhand der beiden Alexa-Skills mobilecologne und Kino Bonn an die Implementierung von Alexa-Skills mit dem Alexa Skills Kit heran. Er erläuterte die technischen Grundprinzipien und zeigte Ausschnitte aus dem Programmcode der beiden Skills.

Es könnte aber alles so einfach sein, isses aber nich – Ulrich Leschak, Peter Behrens School of Art Düsseldorf


Ulrich Leschak – seines Zeichens Lehrbeauftragte für Kommunikationsdesign der Peter Behrens School of Art Düsseldorf – beschäftigte sich in seinem Beitrag mit dem Thema Einfachheit. Er betrachtet die Entwicklung der Sprachassistenten eingangs recht kritisch. Aus seiner Sicht führen sie dazu, dass die Menschen nicht mehr zu sich selbst finden. Die zahlreichen Geräte lenken sehr vom Leben ab und stören, wenn sie schlecht gestaltet sind. 

Wenn man weiß wie es geht, ist alles einfach. – Ulrich Leschak

Zu Einfachheit sagte er: Einfachheit ist eine Illusion, die schwer zu erzeugen ist. Einfachheit hängt immer vom Betrachter ab. Einfachheit ist eine Kunst und erfordert manchmal Besessenheit bei der Suche nach der einfachsten Lösung. Natürlich zitierte er in diesem Zusammhang auch die Laws of simplicity von Maeda.

Mit Blick auf die sprachliche User Interfaces plädierte er für einen verantwortungsvollen Umgang mit dieser Technologie. Entwickler müssen sich bewusst sein, welche emotionale Kraft  dieser Technologie innewohnt und welche Auswirkungen ein unbedachter Einsatz auf die Menschen haben kann.

Prototyping Conversations – Johannes Baeck, usability.de

Im letzten Vortrag des Tages ging Johannes Baeck auf die nutzerzentrierte Gestaltung von Conversational UI ein. Er berichtete aus einem Praxisprojekt mit welchen Methoden usability.de in den unterschiedlichen Projektphasen arbeitetet, um Konversationen zu konzipieren. 


So setzten sie in der Forschungsphase des Projektes beispielsweise auf Contextual Interviews in den Räumlichkeiten der Anwender, um den Kontext besser zu verstehen, in dem die Konversation stattfindet. Weiterhin erhoben sie Fragen, die Anwender in der Konversation mit der Maschine stellen wollen und welcher Modus (Screen, Sprache oder beides) für die Konversation am besten geeignet ist. In der Strategiephase verwendeten sie Experience Maps, um die Konversation im Gesamtkontext des Use Cases einordnen zu können und gemeinsames Verständnis im Team für den Umfang des Use Cases zu entwickeln. 

Personality allows people to know how to behave towards others and what to expect in return. – Wired for Speech, Clifford Nass & Scott Brave

Die Persönlichkeit des Bots gestalteten sie anhand von Bot-Personas. In diesen speziellen Personas wurden insbesondere Wertversprechen, Interaktionsprinzipien und Persönlichkeiten definiert. Auf diese Weise entstanden die Richtlinien für das Verhalten des Bots. In der Designphase bauten sie mittels Papier oder Sayspring – einem Prototyping-Tool für Alexa Skills – Prototypen und evaluierten Konversationen mit der Wizard-of-Oz-Methode.

Neues aus dem AK UUX

Neben der Ankündigung, dass der nächste AK UUX im Oktober bei DATEV in Nürnberg stattfinden wird, gab es auch erfreuliche Nachrichten. Der bitkom-Leitfaden „Usability & User Experience – Software näher zum Nutzer bringen“ ist endlich verfügbar. Der Leitfaden zeigt Best Practices aus dem Bereich User Experience für Unternehmen auf und gibt Entscheidungshilfen zur Auswahl und zum Einsatz von Methoden sowie Vorgehensweisen.