Doreen Feindt (GfK), Tina Mohr (GfK), Siegfried Olschner (DATEV) und ich haben auf der MuC/UP 14 unsere Erkenntnisse aus einem Methodenvergleich von klassischen UX-Test im Labor mit unmoderierten Remote-UX-Tests, wie sie beim Crowd Usability Testing zum Einsatz kommen, vorgestellt.
Um eine größere Anzahl an Anwendern in den Softwareentwicklungsprozess einzubinden, bieten sich online durchgeführte, unmoderierte User Experience Tests an. Diese lassen sich im Vergleich zu Labor-Tests schnell und kostengünstig umsetzen. Während im Web-Bereich sogenannte Crowd-Tests eine gewisse Akzeptanz gefunden haben, stellt sich die Frage, welche Daten und vor allem welche Datenqualität ein unmoderierter User Experience Test im Bereich On Premise-Business-Software liefert.
Ziel des Methodenvergleichs war es, die Methode des unmoderierten Remote-Tests allgemein zu validieren, die Vorzüge und Schwachstellen zu identifizieren und einen Vergleich zu den klassischen User Experience Tests im Labor herzustellen.
Hierzu wurden zwei Gruppen rekrutiert, die jeweils einen klar umrissenen Bereich innerhalb der DATEV-Business-Software testen und bewerten sollten. Identisch zum ‘moderierten Labor-UX-Test’ (N=10) bearbeitete die Gruppe ‘unmoderierter UX-Test’ (N=20) dieselben Fragestellungen und Aufgabenszenarien, innerhalb so weit wie möglich parallelisierter Rahmenbedingungen.
Unser Fazit in aller Kürze
Der unmoderierte UX-Test ist mit Einschränkungen eine geeignete Methode, um die User Experience eines Produktes zu untersuchen und die größten Probleme während der Produktnutzung zu identifizieren. Aufgrund der fehlenden Beobachtungs- und Nachfragemöglichkeit gibt er allerdings nur eingeschränkt Aufschluss über die Hintergründe und Ursachen von Nutzungsproblemen. Weswegen ein klassischer Labor-UX-Test nur in Teilen durch einen unmoderierten Remote-Test ersetzt werden kann.
Eine 100prozentige unmoderierte Durchführung des UX-Tests erscheint wenig sinnvoll. Der Moderator der Studie sollte über das Online-Tool regelmäßig mit den Teilnehmern in Kontakt treten, um auf Fragen zu antworten oder selbst nachzufragen. Dadurch könnte zum einen die Ergebnisqualität gesteigert werden. Zum anderen würde die Interaktion mit einem Moderator die Teilnehmermotivation erhöhen und somit die Abbruchquote verringern.
Die Online-Variante des UX-Tests ist dann der Labor-Variante vorzuziehen, wenn ein großer potentieller Anwenderkreis einbezogen werden soll und Testgegenstand sowie Fragestellung nicht zu komplex sind. Große Stichproben (ab N=30) sind online besser zu managen und weniger kostenintensiv als im Labor. Für die Labor-Variante sollte sich in jedem Fall entschieden werden, wenn die Fragestellungen und Aufgabenszenarien komplex sind und wenn das Testsystem sehr erklärungsbedürftig ist.
