Kategorie-Archiv: Usability Methoden

Mozilla veröffentlicht Open Innovation Toolkit

Innovationen in einer offenen Community zu fördern und zu treiben, ist keine einfache Sache. Mozilla versucht es in seiner Community mit einem Open Innovation Toolkit. Dieses beinhaltet eine Vielzahl an Methoden und Best Practices für Human-Centered Design sowie die Suche nach Innovationen.

mozilla-open-innovation

Das Mozilla Open Innovation Toolkit beschreibt in einer knappen und sehr übersichtlichen Form Methoden für die Sammlung von Erkenntnissen, Ideenfindung und Evaluation. Die Methodenbeschreibungen bieten neben eine Schritt-für-Schritt-Anleitung auch Links zu weiterführenden Informationen. Alles in allem ist das Mozilla Open Innovation Toolkit ein interessantes Nachschlagewerk für die Produktentwicklung.

“A collection of workshops and methods that support open source practitioners to build better ideas and products”

Siehe auch

Mozilla Open Innovation Toolkit

Probandenstudien in VR #uux #bitkom

Axel Hillebrand (UseTree) berichtete über seine Erfahrungen bei Usability-Studien mittels Virtual Reality-Testgegenständen. Ihm ging es dabei um Studien, in denen Produkte oder Systeme mit hohen Entwicklungsaufwänden und -kosten evaluiert werden sollen. Beispielsweise nannte er die Evaluation des Cockpit oder der Kabine eines Flugzeuges auf Usability und Attraktivität ohne, dass das Produkt real tatsächlich gebaut wurde.


Aus seiner Erfahrung lassen sich durch dieses Vorgehen gute Erkenntnisse erzielen, wenn die virtuelle Umgebung sehr realistisch ist und die Punkte, an denen die Testpersonen mit der Umgebung physischen Kontakt haben, fühlbar sind. 

Als Vorteile sieht er in erster Linie eine Kostenreduktion im Vergleich zu einem Test mit einem physischen Mock-up. Außerdem ist ein früheres Testen und kürzerer Iterationen im Entwicklungsprozess möglich. Als Nachteil sieht er die hohe Eingewöhnungsaufwände für Testpersonen die soweit gehen können, dass sich Testpersonen übergeben. (Simulator Sickness) Testpersonen können durch die aufwändige Laborausstattung auch überfordert sein. Außerdem passiert es, dass besonders technikaffine Testpersonen nicht den Untersuchungsgegenstand, sondern die VR-Szene bewerten. Nicht zu unterschätzen sind auch die Kosten für die Miete des Labors. All das mündet natürlich auch in erhöhten Kosten für die Rekrutierung, da überrektutiert werden muss.

Bei der Durchführung machte er die Erfahrung, dass das Gewicht der VR-Brille einen wesentlichen Einfluss auf die Zeitdauer der Testszenarien hat. Daher empfiehlt er Techniken zu wählen bei denen die Testpersonen möglichst wenig Gewicht am Kopf tragen müssen. (Z.B. Viscon Powerwall) Außerdem sollten Fragebögen, die zur Evaluation eingesetzt werden, dirket in die VR-Szene integriert werden.

Diese Studienform lässt sich sowohl für die Evaluation von weichen Faktoren (Akzeptanz, Raumempfinden, Ästhetik, Sicherheitsgefühl, Gesamteindruck) als auch von harten Faktoren (Workload, Situation Awareness, visuelle Aufmerksamkeit, Ergonomie) einsetzen.

muc16: UX – schnell und effektiv mittels 5-Sekunden-Test

Kevin Taron (Hochschule Emden/Leer), Thies Pfeiffer (Mediablix) und Jörg Thomaschweski (Hochschule Emden/Leer) stellten in ihrem Beitrag eine Methode zur Messung bzw. Bewertung des ersten Eindrucks vor – den 5-Sekunden-Test. Der 5-Sekunden-Test ist ein Eindrucks- und Wahrnehmungstest bei dem nur der erste Eindruck gemessen wird, den ein Produkt hinterlässt. Hintergedanke des Tests ist, dass der erste Eindruck eine sehr wichtige Rolle für die Bewertung eines Produktes spielt und es dafür keine zweite Chance gibt. 

Der 5-Sekunden-Test ist sehr schnell und effizient durchführbar. Er ist relativ unabhängig von Testumgebungen einsetzbar. Die Testgegenstände können sowohl digitale als auch analoge Produkte sein. Im Wesentlichen funktioniert der Test so, dass den Testpersonen ein kurzes Szenario bzw. eine Aufgabe gestellt wird. Danach bekommen sie für 5 Sekunden das Produkt zu sehen. Zur Bewertung werden ein bis drei Frage zum ersten Eindruck gestellt. Im Detail gibt es folgende Varianten:

chi2016: User Research to Inform Product Design: Turning Failure into Small Successes

Forrester Research und NANMANN berichten in ihrem Beitrag von einem fehlgeschlagenen UI Design-Projekt, welches sich durch Personas in einen kleinen Erfolg verwandelte. Zum Hintergrund: Forrester Research ist ein Unternehmen, welches Analysen und Berichte an Unternehmen verkauft. Vor einiger Zeit wurde das Geschäft von Berichten und Excel-Tabellen hin zu Dashboards erweitert. Die Hoffnung war, dass Dashboards eine interaktive Aufbereitung bieten, die Anwendern dabei hilft die Daten besser zu verstehen und den Lieferprozess für die Analysen und Berichte vereinfacht.

Leider trafen die entwickelten Dashboards die Kundenaforderungen nicht richtig, so dass nach einem Jahr nur 25% der Kunden Dashboards nutzten. Also wurden zwei UX Professionals (1x von intern und 1x von extern) beauftragt, die Probleme zu identifizieren und zu lösen. Die Analyse ergab 3 grundlegende Probleme: Die Ziele der Nutzer wurden mit den Dashboards nicht adressiert. Es war weder eine vergleichende Auswertung der Daten noch eine tiefe Analyse der Daten möglich. Die UX Pros sollten nun diese Probleme lösen. Wichtig zu wissen: Sie waren nicht Teil des Entwicklungsteams, sondern mussten von außen über Empfehlungen versuchen eine Verbesserung zu erreichen.

Also veranstalteten sie mit dem Entwicklungsteam für Dashboards einen Kickoff und versuchten es für ihre Analyse sowie ihr Vorgehen zu gewinnen. Es wurden 6 Interviews mit Dashboard-Nutzern durchgeführt. Das gesamte Entwicklungsteam nahm an den Interviews teil und analysierte sowie dokumentierte die Ergebnisse. Die zu Beginn erkannten Probleme wurden bestätigt. Außerdem bewerteten die Kunden Dashboards als unwichtig. Aus den Interviews wurden 3 relativ einfache Vorschläge entwickelt. Die Änderungen waren zwar einfach, wirkten sich aber bis in die Informationsarchitektur und auf die Anzahl der Dashboards aus. Die Empfehlungen wurden zwar vom Entwicklungsteam positiv aufgenommen, nicht aber vom Produktmanagement. Diese waren mit den Veränderungen nicht einverstanden, die sie nach der Anzahl der Dashboards bonifiziert werden, die verkauft werden. Eine bessere Informationsarchitektur hätte eine geringer Anzahl und damit vermeintlich weniger Bonus für das Produktmanagement bedeutet. Das Produktmanagement beauftragte eine neue Studie und entschied sich gegen die Vorschläge. Aufgrund der heftigen Gegenwehr gab das Entwicklungsteam seine Bestrebungen die Dashboards zu verbessern auf. Die Veränderung war gescheitert.

Die UX Professionals sammelten als Projektabschluss die Erkenntnisse zusammen und dokumentierten sie in Form von Personas sowie Anforderungen. Überraschenderweise wurden dann diese Personas vom Dashboard-Entwicklungsteam unter der Hand wieder aufgegriffen. Sie wurden in die Arbeitsräume gehängt und als Orientierung für die Entwicklung verwendet. In Schwung kam das Ganze, als die eigenen Forrester-Analysten diese Personas als ein gutes Beispiel in einem öffentlichen Bericht aufgriffen. Eine Entwicklerin nahm das zum Anlaß ein anwenderorientiertes Dashboard auf Basis der Erkenntnisse aus dem gescheiterten Projekt zu entwickeln. Dies war so erfolgreich, dass ein Produktmanager mit seinem Team die Dashboards seit dem nach diesem Konzept erstellt. Heute nutzen über 50% der Nutzer die Dashboards und das obwohl einige Produktmanager noch immer die Erreichung ihrer persönlichen Ziele über die Unternehmensziele stellen.

Siehe auch

User Research to Inform Product Design: Turning Failure into Small Successes

chi2016: Lightweight Journey Mapping: The Integration of Marketing and User Experience through Customer Driven Narratives

MathWorks stellte in ihrem Beitrag auf der CHI 2016 einen sehr einfachen Ansatz für das Customer Journey Mapping vor. MathWorks erstellt Software für komplexe Fragestellungen, wie z.B. Software für Kollisionsvermeidung. MathWorks wollte im zitierten Fallbeispiel einfache Hardware, wie Lego Mindstorms oder Arduino, an ihre Software anbinden. Unglücklicherweise schafften es nur 20 von 600 Nutzern die dafür nötigen Support-Pakete herunterzuladen und zu installieren. Seitens der Marketing-Abteilung war klar, dass es daran lag, dass die Kunden nicht die richtige Software-Version für die Pakete installiert hatten. Sie schlugen daher eine Hinweismeldung vor, welche die Anwender auf dieses Problem hinweist. Das UX-Team hingegen war der Auffassung, dass der Prozess für die Installation viel zu lange dauerte bzw. zu viele Schritte beinhaltete.

Im Ergebnis kam es zu Spannungen zwischen den Mitarbeitern von Marketing und UX. Beide einigten sich dann darauf Kunden nach ihren Erfahrungen zu fragen und die Ergebnisse in Customer Journey Maps zu dokumentieren. Da die Zeit knapp war, konnten aber keine umfangreiche Customer Journey Maps erstellt werden. Daher nutzte das Team eine Kombination einer einfachen Schmerzskala mit Smilies und einer einfachen Prozessdarstellung mit 6 Schritten.

Dies wurde den Testpersonen als leeres Template am Ende eines einstündigen Interviews vorgelegt. Die Testpersonen füllten das Template aus und beschrieben so ihre Erlebnisse bei der Installation. Testpersonen und Interviewer gingen anschließend durch diesen Prozess und diskutierten die Erlebnisse. Die so entstandenen Geschichten wurden verglichen und im Unternehmen kommuniziert. Da die Geschichten sehr komprimiert und anschaulich waren, wurden sie im Unternehmen u.a. von der Marketing-Abteilung aufgegriffen.

Abschließend benannten die Autoren noch die Vor- und Nachteil des Verfahrens:

Siehe auch

Lightweight Journey Mapping: The Integration of Marketing and User Experience through Customer Driven Narratives

chi2016: API Design Reviews At Scale

Google stellte das Verfahren vor mit dem sie die Usability von APIs sicherstellen. Mit APIs sind hier die Schnittstellen gemeint, über die 2 Softwareprodukte miteinander kommunizieren können. Google hat aktuell 100+ APIs. Beispiele für Google APIs sind Google Cloud Plattform, Maps und Fitness. Die Usability von APIs hat einen großen Einfluss auf die Produktivität der Entwickler und der Verlässlichkeit der Systeme. Außerdem ist es ein Erfolgsfaktor für Googles Webservices.

Designing a usable API is not a trivial task.

Google setzt dabei auf einen klassischen Reviewer-Ansatz namens „API Peer Review“. Nach diesem gehen Reviewer in einer Gruppendiskussion Zeile für Zeile durch den der API-Code und bewerten die Usability. Damit das Verfahren skalierbar ist, hat Google ein eigenes Team für APIs Reviews etabliert. Die Mitglieder des Teams sind erfahrene Entwickler, die einen Teil ihrer Zeit für Reviews aufbringen. Außerdem beinhaltet das API-Review-Programm Trainings für Entwickler und API Reviewers, einen Styleguide für APIs und einen Prozess für Reviews.

Die Reviewer nutzen heuristische Evaluation, Nutzer-Feedback und das Wissen von anderen Google-APIs um Konsistenz und eine gute Usability zu erreichen. Aktuell sind 43 APIs durch diesen Prozess gelaufen, der regelmäßig mittels Fragenbogen und Interviews bewertet wird.

Siehe auch

API Design Reviews at Scale

chi2016: PURE – Pragmatic Usability Ratings by Experts

Intel und Measuring Usability LLC haben in ihrem Beitrag eine Methode zur Experten-Evaluation namens „PURE – Pragmatic Usability Ratings by Experts“ vorgestellt.

Die Methode ist ein analytisches Verfahren ähnlich wie der heuristische Evaluation. Sie ist nicht als Ersatz für klassische User Research-Methoden gedacht, sondern als Methode, die zum Einsatz kommt, wenn klassische User Research-Methoden, z.B. aus Kostengründen, nicht zum Einsatz kommen können. Das „Kochrezept“ für die Methode ist:

  • Min. 3 User Researcher oder UX Professionals als Reviewer
  • 8 Stunden Zeit
  • 3er Skale und eine spezielle Excel-Tabelle

Im ersten Schritt werden die Anwendertypen definiert. Danach werden grundlegenden Aufgaben ermittelt, welche Anwender mit dem Produkt bearbeiten. Im 3. Schritt werden die „Happy Paths“ für alle grundlegenden Aufgaben beschrieben. Mit Happy Paths sind die Normalfälle ohne besondere Vorkommnisse gemeint. Danach gehen die Experten bzw. Reviewer durch die Happy Paths und bewerten mittels einer 3er Skala sowie einer speziellen Excel-Tabelle. Im letzten Schritt werden die Bewertungen der Reviewer zusammengerechnet und abhängig vom Ergebnis farbig dargestellt. Außerdem wird eine Gesamtbewertung in Form eines „Total PURE Score“ berechnet.

Siehe auch

http://xdstrategy.com/PURE
Practical Usability Rating by Experts (PURE): A Pragmatic Approach for Scoring Product Usability