Jakob Nielsen hat in seiner alertbox vom Oktober einen Artikel darüber veröffentlicht, wie man Usability Tests mit einer großen Anzahl an Nutzern gleichzeitig durchführen kann. Er nennt diese Form des Usability Testings “Multiple-User Simultaneous Testing” (MUST)
Sometimes you need to test a large number of users. One option, of course, is to apply the standard user-testing methodology, and just do more of it. Keep testing until you’re blue in the face. Unfortunately, this often gets you into serious trouble with project deadlines.
Alternatively, you can use multiple-user simultaneous testing, or MUST (a term I have from Dennis Wixon). As the name indicates, with MUST, you test multiple users at the same time so you get done sooner. In most MUST studies, we test 5-10 users at once (but, as I describe below, you can also set up labs with many more test stations). Theoretically, there’s no upper limit to the number of users you can test in each session.
Im Wesentlichen basiert sein Vorgehen darauf mehrere Interviews gleichzeitig mit Hilfe von Usability-unerfahrenen und dadurch günstigeren Interviewern durchzuführen.
Herr Nielsen ist der Ansicht, dass es jeder nach einer kurzen Einführung Usability-Tests durchführen kann.
Most companies, however, don’t have enough usability pros to assign one to each test user. Happily, non-usability staff can run user test sessions, especially if a seasoned usability expert has prepared the test plan and written the tasks.
Aus meiner Erfahrung kommt es sehr auf die Fragestellung an, ob man einen Usability Test auf diese Weise durchführen kann und ob man dabei nützliche Ergebnisse erhält. Wenn es sich um sehr einfache und mehrheitlich quantitativ beantwortbare Fragestellungen handelt, ist es sicher kein Problem, wenn die Interviewer über wenig praktische Usability-Erfahrungen verfügen. Beispielsweise können auf diese Weise Fragen beantwortet werden “ob” eine bestimmte Funktion erfolgreich genutzt werden kann und “ob” Probleme aufgetreten sind.
Wenn es aber um qualitative Fragestellungen geht, sollte man besser geschulte und usability-erfahrene Interviewer einsetzen. Das könnten beispielsweise Fragen sein, die nicht primär auf das “Ob” sondern auf den dahinterliegenden Grund eines Bedienproblemes abzielen. Hier kann es durch falsche Fragetechniken und fehlendes Hintergrundwissen sehr schnell zu Fehlinterpretationen von Beobachtungen kommen. Allein die Einschätzung, ob der Grund für das aufgetretene Problem auf das Bedienkonzept zurückzuführen ist oder ob es sich nicht beispielsweise um ein technisches Problem handelt, kann für Usability-Laien eine große Herausforderung sein.
Mein Fazit: Das beschriebene MUST-Vorgehen ist eher für einfache und quantitative Fragestellungen, die sich mit Hilfe von Fragebögen abfragen lassen und wenig Interpretation der beobachteten Probleme beinhalten.
Siehe auch
Multiple-User Simultaneous Testing (MUST)
