Unmoderierte Remote Usability Tests - Sicht der Anbieter 23May12

In meinem letzten Artikel zu unmoderierten Remote Usability Tests habe ich meine Sicht der Dinge dargelegt. Da ich diese UCD-Methode nichtsdestotrotz grundsätzlich für interessant halte, habe ich die drei Remote Usability-Spezialisten Benjamin Uebel (RapidUsertest), Jan Wolter (testhub.com) und Christian Schroth (UINSPECT) eingeladen, aus eigener Erfahrung über unmoderierte Remote Usability Tests zu berichten.

Wo siehst Du die wesentlichen Vorteile von unmoderierten Online Usability-Tests im Vergleich zu klassischen Usability-Tests im Labor?

Benjamin Uebel (RapidUsertest): Die Kosten sind deutlich geringer. Die Testergebnisse liegen in 24 Stunden vor. Die Tests haben eine hohe ökologische Validität: sie finden in einer authentischen Test-Umgebung statt, zu Hause an den Rechnern der User. Die Tester sind zu Hause emotionaler und authentischer, als im Labor. Man kann geografisch verteilt testen: Testpersonen in der Stadt und auf dem Land haben teilweise vollkommen verschiedene Bedürfnisse.

Jan Wolter (testhub.com): Natürlich ist es so, dass Crowd Usability Tests keine 100% Lösung sind und eine Zielgruppe wie 70 Jährige Frauen mit dem Hobby „Boxen“ abbilden können. Allerdings wird das Potenzial der Methode oft verkannt. Sehr häufig werden Äpfel mit Birnen verglichen. Ein klassischer Test ist häufig einfach viel teurer und zeitaufwendiger und kann deshalb einfach nicht so agil und häufig durchgeführt werden. Viele Firmen testen deshalb viel zu selten. Das ist wie einen First-Class Flug mit einem Economy-Class Flug zu vergleichen. Ohne Budget-Beschränkung ist klar, dass der First-Class Flug immer die bessere Wahl sein wird. Anders sieht es allerdings aus, wenn nur ein fixes Budget zur Verfügung steht. Für direktes Feedback einer in vielen Fällen gut passenden, neutralen Zielgruppe sind die Tests bestens geeignet. Das Preis-Leistungs-Verhältnis ist in vielen Anwendungssituationen auf der Seite von Crowd-Usability-Tests.

Christian Schroth (UINSPECT): Es gibt 3 wesentliche Vorteile. Zum einen sind Online Usability-Tests einfach zu beauftragen. Unseren Kunden steht dafür ein logisch gegliedertes Online-Formular zur Verfügung. Unternehmen oder Selbständige benötigen deshalb bei einem Online Usability-Test keine langen Planungs- und Organisationsphasen, wie bei einem räumlich zentralisierten Labortest. Das gleiche gilt übrigens auch für unsere Tester. Ein Test ist deshalb innerhalb kürzester Zeit erstellt und hilft somit unseren Kunden die Time-to-Market ihrer Website-Projekte zu verkürzen. Der zweite Vorteil ist, dass unseren Kunden die Ergebnisse sehr schnell vorliegen. Wir führen die angeforderten Usability-Test innerhalb von maximal 24 Stunden durch und stellen sie dem Auftraggeber zum Abruf und zur Auswertung zur Verfügung. Der dritte Vorteil sind die Kosten. Wir können die Usability-Tests zum Bruchteil der Kosten eines Labortests durchführen. Da wir kein stationäres Labor unterhalten müssen, fallen auch keine Raummieten oder Zeitaufwand für aufwändige Organisation und keine Kosten für einen Moderator an. Diese Kostenersparnis geben wir an unsere Kunden weiter. Dadurch können sich auch kleine Unternehmen oder Selbständige mit eingeschränktem Budget Online Usability-Tests leisten. Dank der Kombination dieser drei Vorteile können unsere Kunden häufiger Tests durchführen und erzielen damit Wettbewerbsvorteile vor ihren Mitbewerbern. Unsere Kunden können Usability-Tests ganz einfach in jeden Entwicklugsschritt einer Webseite integrieren und jede Veränderung der Webseite auf Ihre Auswirkung auf die Usability überprüfen.

Was sind die Nachteile?

Christian Schroth (UINSPECT): Ein Nachteil von webbasierten Usability-Tests besteht darin, dass es keinen Moderator gibt, der dem Tester evtl. aufkommende methodische oder organisatorische Fragen beantworten kann. Wenn ein Kunde die Videoaufzeichnung des Testers ansieht und dessen Vorgehensweise oder Kommentare nicht nachvollziehen kann, hat ein Moderator bei einem Test im Labor die Möglichkeit beim Tester nochmals genauer nachzufragen. Bei unmoderierten Tests ist dies nicht möglich. Tester von UINSPECT müssen deshalb einen Aufnahmetest absolvieren, bevor sie für Kunden von uns Usability-Tests durchführen. Ausserdem legen wir viel Wert auf die Auswahl unserer Tester und achten darauf, dass sich jeder Tester rethorisch ausdrücken kann und das Prinzip eines Usability-Tests verstanden hat.

Jan Wolter (testhub.com): Wir können mit der Crowd ebenfalls (fast) jede Zielgruppe anbieten, dann natürlich aber auch nur zu etwas höheren Preisen und mit etwas Vorlaufzeit. Also kein wirklicher Nachteil. Der große Unterschied ist, dass eine Moderation des Tests nicht möglich. Häufig zeigt sich aber, dass dies bei guter Testkonzeption kein großes Problem ist. Nachfragen nach dem Test sind auf Wunsch ebenfalls möglich.

Benjamin Uebel (RapidUsertest): Man kann der Testperson keine Zwischenfragen stellen und nicht den Verlauf des Tests adhoc ändern.

Für wen und welche Testgegenstände sind unmoderierte Online Usability-Tests aus methodischer Sicht geeignet?

Benjamin Uebel (RapidUsertest): Online-Shops und Agenturen verwenden RapidUsertests zur Conversionrate-Optimierung. Usability-Probleme können dabei identifiziert und Hypothesen für AB-Tests gefunden werden. Entwickler komplexer Webseiten testen ihre Prototypen agil in der laufenden Entwicklung, um durch frühes Userfeedback Usability-Probleme zu beheben. Webseitenbetreiber begleiten mit Pre-/Post-Tests ihre Redesigns.

Christian Schroth (UINSPECT): Usability-Tests beziehungsweise Think-aloud-Tests sind immer qualitativer Natur. Das gleiche gilt für unmoderierte Online Usability-Tests. Das Feedback spiegelt daher die subjektive Erfahrung beziehungsweise Empfinden der jeweiligen Testperson wider. Wir empfehlen generell, die Ergebnisse nach Testdurchführung durch eine quantitative Methode wie beispielsweise einen A/B-Test zu überprüfen. Diese Empfehlung gilt übrigens nicht nur für unmoderierte Online Usability-Tests sondern auch für alle anderen qualitativen Testmethoden.

Jan Wolter (testhub.com): Besonders gut geeignet vor allem im B2C Bereich für alle digitalen Inhalte, wie z.B. auch Apps. Also klassische Situationen in der der Proband typischerweise in seiner natürlichen Umgebung zu Hause gut aufgehoben ist und wenig Expertenwissen notwendig ist.

… und für wen und was sind sie nicht empfehlenswert?

Christian Schroth (UINSPECT): Ich denke, dass Online Usability- Tests grundsätzlich für alle Betreiber von Webseiten sinnvoll und empfehlenswert sind. Bei privaten Website-Projekten, mit einem rein informellen Zweck, würde ich mich allerdings mit der Formulierung sinnvoller Aufgaben schwer tun. Natürlich kann es aber auch für einen Blogger interessant sein, einen Online Usability-Test durchführen zu lassen, um beispielsweise herauszufinden, wie gut die Nutzerführung des Blogs beim Leser ankommt. Dank der oben genannten Kosteneinsparungen können auch Personengruppen Online Usability-Tests nutzen, die bisher finanziell keine Möglichkeit dazu hatten.

Benjamin Uebel (RapidUsertest): Wenn man viele Zwischenfragen stellen möchte, sollte man einen Labortest durchführen. Mittlerweile wurden mit RapidUsertests jedoch auch schon von Großunternehmen sehr komplexe Online-Dienste über verschiedene Testdesigns getestet
und die Kunden waren bisher sehr zufrieden. Man muss einfach etwas mehr Testpersonen testen und kommt so zu absolut kompetitiven Resultaten. Wer Blickbewegungen per Eyetracking erfassen möchte, ist noch auf einen Labortest angewiesen. Wir werden in den nächsten Monaten wissenschaftlich validierte Blickbewegungssimulationen anbieten.

Jan Wolter (testhub.com): Wenn ich auf starke Interaktion mit den Probanden angewiesen bin, den Test moderieren möchte oder neben dem Bildschirm auch den Probanden selbst beobachten möchte. Umso größer die verfügbaren Budgets sind, umso leichter fällt es auch öfter im Labor zu testen. Allerdings sollte man als Kunde nicht den Fehler machen, statt 10 kostengünstigen Tests während der gesamten Entwicklungsphase nur einen Test im Labor zu machen.

Ein wesentlicher Unterschied dieses Testverfahrens ist, dass es keine Interviewer gibt, die die Testperson direkt beobachten und aus der Beobachtung Erkenntnisse ableiten. Gehen dadurch nicht wesentliche Erkenntnisse verloren?

Jan Wolter (testhub.com): Natürlich gehen einige Erkenntnisse verloren. Allerdings sind das im alltäglichen Einsatz nicht die wesentlichsten Elemente, die den hohen Kostenunterschied rechtfertigen könnten.

Christian Schroth (UINSPECT): Nein, da wir alles was der Tester während dem Test sagt und tut audiovisuell aufzeichnen und später dem Kunden zur Auswertung in Form von Videos mit Bildschirm und Sprachaufzeichnung zur Verfügung stellen. Da die UINSPECT-Tester außerdem den Test in ihrem heimischen Umfeld und mit ihrem eigenen Computer durchführen, ist ein unmoderierter Online-Usability-Test lebensechter als ein im Labor unter "künstlichen" Bedingungen durchgeführter Test.

Benjamin Uebel (RapidUsertest): Möglicherweise. Jedoch muss man fragen: Welche konkreten Erkenntnisse gehen denn verloren? Nicht aufgezeichnet werden Gestik und Mimik. Wie wertvoll sind diese vom Testleiter subjektiv interpretierten Gesten tatsächlich? Wenn sie wichtig wären, würden wir sie per Webcam aufzeichnen.

Wie stellt Ihr sicher, dass die Testpersonen in Euren Studien zum Testgegenstand passen?

Benjamin Uebel (RapidUsertest): Alter und Geschlecht der Zielgruppe kann online vom Kunden segmentiert werden. Außerdem können individuelle Anforderungen definiert werden. Es werden dann nur die Testpersonen eingeladen, die zur Zielgruppe passen. Es gibt keine „Durchschnittsuser“.

Jan Wolter (testhub.com): Wir richten uns hier vollständig nach den Kundenanforderungen und stehen bei Bedarf auch beratend zur Seite. Bis jetzt haben wir noch jede Zielgruppe abdecken können vom DJ bis zum Silversurfer.

Christian Schroth (UINSPECT): Wenn ein Interessent bei uns einen Online Usability-Test beauftragt, kann er die Zielgruppe einzugrenzen. Im Moment können unsere Kunden auf Wunsch zwischen männlichen und weiblichen Testern wählen. Bereits in wenigen Wochen können unseren Kunden weitere Typisierungs-Merkmale auswählen, wie Einkommen, Interneterfahrung, Alter etc. Schon jetzt können Kunden bei uns in einem Freitextfeld Besonderheiten definieren. Hier sind dem Auftraggeber keine Grenzen gesetzt. Bevor der Tester den Test annimmt, bekommt er die Auftragsbeschreibung angezeigt, so dass er vorab sieht, ob er die nötigen Voraussetzung erfüllt oder nicht. Beispielsweise kann ein Kunde hier angeben, dass die Tester über einen Hochschulabschluss verfügen müssen oder einen Facebook-Account haben müssen.

Wie genau kann man als Kunde die Auswahl der Testpersonen beeinflussen?

Jan Wolter (testhub.com): Alter, Geschlecht, Interneterfahrung können immer gewählt werden. Darüber hinaus bieten wir viele weitere Optionen auf individueller Basis an: Einkommen, Interessen, Beruf, Familienstand, Online-Shopping-Verhalten, usw.

Benjamin Uebel (RapidUsertest): Man kann einerseits seine Bestandskunden testen, da unser webbasierter Screenrecorder keine Installation erfordert. Man muss dann einfach einen Link verschicken. Oder man nutzt unseren Testerpool und kann nach Alter & Geschlecht segmentieren, sowie Sonderwünsche äußern, wie "Sie haben bereits Farben (Airbrush~, Kosmetik~) im Internet bestellt". Funktioniert alles.

Wie vermeidet Ihr, dass Testpersonen unmoderierte Online Usability-Test nur als zusätzliche Einnahmequelle verstehen - Stichwort Testtouristen?

Christian Schroth (UINSPECT): Wir sind an einer langfristigen Zusammenarbeit mit unseren Testern interessiert. Das ist uns auch eine anständige Vergütung wert. Im Gegenzug erwarten wir natürlich auch Engagement. Dass wir an unsere Tester glauben, die übrigens sehr gute Arbeit leisten, zeigt unser Invest: Für Neukunden ist beispielsweise der erste Test gratis, um sich von der Qualität unserer Usability-Tests überzeugen zu können. Außerdem geben wir all unseren Kunden eine Geld-zurück-Garantie, wenn sie mit der Qualität eines Tests nicht zufrieden sind. Zudem können Kunden die Tester nach Auftragsabwicklung bewerten. „Testtouristen“ fallen deshalb bei UINSPECT schnell auf und müssen dann „auschecken“.

Benjamin Uebel (RapidUsertest): Unsere Kunden können ihre Tester auf einer 5-Sterne-Skala bewerten. Wird ein Tester vom Kunden schlecht bewertet, erhält der Kunde Ersatz und der Tester wird zukünftig nicht mehr eingeladen. So stellen wir eine kontinuierlich hohe Qualität sicher.

Jan Wolter (testhub.com): Tester können nur eine maximale Anzahl an Tests durchführen pro Monat. Außerdem haben wir einen sehr großen Tester-Pool, so dass wir nicht Gefahr laufen zu wenige Tester an Board zu haben. Die Vergütung von 10 € pro Test ist einfach auch für die sehr unregelmäßige Teilnahme sehr verlockend.

Vielen Dank für Eure aufschlussreichen Antworten. :-)