Schlagwort-Archiv: Usability Testing

Anwender befragen – Tipps und Tricks für das Interview im Usability Test

Das persönliche Befragen und Beobachten von Anwendern im Usability Test oder im Rahmen einer Feldstudie gehört meiner Meinung nach zu den anspruchsvollsten Aufgaben von Usability Professionals. In diesem Artikel möchte ich die Tipps und Tricks zusammenfassen, die mir beim Einstieg in die Durchführung von qualitativen Interviews geholfen haben.

DasInterview

Voraussetzungen

Bevor es losgehen kann müssen folgende Voraussetzungen erfüllt sein:

  • Es müssen Testpersonen rekrutiert sein, welche typisch für die Anwender des Testgegenstandes bzw. des Produktes sind.
  • Es müssen ausreichend viele Testpersonen rekrutiert werden.
  • Der Interviewleitfaden muss gut strukturiert sein und evtl. notwendige Anleitungen bzw. Hinweise für den Interviewer beinhalten. Es ist auch hilfreich, wenn neben der eigentlichen Frage auch noch die dahinterliegenden Fragen – also das um das es eigentlich geht – beschrieben sind.
  • Der Testgegenstand (Prototyp, Wireframe, …) sollte an den zu befragenden Stellen zuverlässig funktionieren. Ein Testgegenstand mit vielen Fehlern kann das Interview sehr anstrengend machen und die Zuverlässigkeit der Antworten stark beeinflussen. Am einfachsten ist es, wenn sich der Testgegenstand nahezu wie das finale Produkt verhält.

An dieser Stelle kommt oft die Frage auf: „Wie viele Testpersonen brauche ich denn?“. Ich bin bisher mit folgender Faustregel gut gefahren: „Um die Antworten auswerten zu können, stelle 5 Anwendern des gleichen Typs (Persona) die gleiche Frage.“. Die Basis für diese Faustregel stammt von Jakob Nielsen. Um die Antworten von unterschiedlichen Anwendertypen bzw. Personas grob miteinander vergleichen zu können, sind min. 3 Anwender des gleichen Typs notwendig – zuverlässiger sind 5. Diese Faustregel erfüllt natürlich nicht die Ansprüche von wissenschaftlichen Studien. In der Wirtschaft ist es aber meist unnötig eine 100%ige Sicherheit anzustreben. Es genügt oft eine solide Basis für eine Gestaltungsentscheidung zu schaffen – also gut begründete Annahmen zu treffen.

Da sich aus qualitativen Interviews mit solchen Stichprobengrößen keine harten Zahlen bzw. Fakten ableiten lassen, verwende ich in den Berichten keine Prozentangaben, um die Häufigkeit von Antworten zu beschreiben. Häufigkeiten werden meist mit Angaben wie „Alle“, „Viele“, „Wenige“ oder „Vereinzelt“ beschrieben. Außerdem vermeide ich Formulierungen durch welche die Beobachtungen und Antworten aus dieser Studie als 100%ige Wahrheit dargestellt werden.

Aufbau

Nun aber genug der einleitenden Worte. Kommen wir zum Aufbau des Interviews. Ein gutes Interview ist in der Regel wie folgt aufgebaut:

  • Einleitung: Vertrauen aufbauen, Warm werden, Fragen zu den Rekrutierungskriterien stellen, Grundeinstellung zum Testgegenstand oder dem Hersteller kennenlernen
  • Fachliche Fragen: Konkrete Fragen zum Testgegenstand, Aufgaben, …
  • Abschluss: Der Testperson eine Möglichkeit zur Reflektion geben, Kernergebnisse zusammenfassen

Beteiligte

Bei den ersten Interviews bzw. Studien ist es auf alle Fälle ratsam, dass der Interviewer die Notizen zum Interview nicht selbst macht. Das stört das Gespräch und behindert den Interviewer beim Beobachten. Das Protokollieren des Interviews übernimmt entweder ein Protokollant oder wird im Nachgang über die Videos erledigt.

Als Interviewer muss ich mir immer bewusst sein, dass ich einen Einfluss auf die Testperson ausübe und somit die Ergebnisse beeinflusse. Um diesen Einfluss so gering wie möglich zu halten, ist es wichtig zu Beginn des Interviews:

  • Eine Orientierung zu geben worum es in dieser Studie geht.
  • Zu vermitteln, dass man als Interviewer nichts mit der Entwicklung bzw. Gestaltung des Produktes zu tun hat und damit auch nicht gekränkt werden kann, wenn die Testperson es kritisiert.
  • Zu vermitteln, dass man an der persönlichen Meinung der Testperson interessiert ist. Es ist keine Leistungsmessung der Testperson und folglich gibt es auch keine falschen oder richtigen Antworten.
  • Keine persönlichen Informationen von sich selbst vor oder während des Interviews zu kommunizieren.

Auch der Protokollant kann Einfluss auf die Testperson haben. Daher ist dieser idealerweise nicht im Raum und beobachtet bzw. protokolliert vom Nachbarraum aus. Sollte sich dies nicht einrichten lassen gilt: „Der Protokollant beobachtet, schreibt und schweigt.“

Fragen richtig stellen

Die Art und Weise, wie Fragen gestellt werden, hat neben dem Interviewer den größten Einfluss auf die Antwortqualität. Bei meinen Interviews achte ich daher auf folgende Punkte:

Vermeide suggestive Fragen.

Kommen Sie mit der Bedienung gut zurecht?

Wie bewerten Sie die Bedienung?

Stelle einfache Fragen.

Wenn Sie mit der Funktion XY in unterschiedlichen Anwendungen arbeiten, ist es notwendig auf die Einstellung ABC zu achten. Können Sie mir bitte genau erläutern welche konkreten Erfahrungen Sie mit der Funktion in unterschiedlichen Anwendungen gemacht haben und wie Sie diese Erfahrungen bewerten?

Welche Erfahrungen haben Sie mit der Funktion XY gemacht?

Versetze die Testperson in die konkrete Situation.

Welche Prozessschritte bearbeiten Sie im Anwendungsfall XY?

Stellen Sie sich vor, es ist Montag. Sie sitzen in Ihrem Büro und der Fall XY tritt ein. Wie gehen Sie dann vor?

Frage möglichst ungestützt und offen.

Welche Daten sind auf dieser Maske besonders wichtig? Also zum Beispiel das Feld 1 oder 2 oder 3?

Welche Daten sind auf dieser Maske besonders wichtig?

Erkläre nie zu früh zu viel.
Wenn eine Testperson mit einer Gegenfrage reagiert oder nicht sofort weiß, wie sie eine Frage beantworten bzw. eine Aufgabe lösen soll, sollte man nicht sofort aufgeben und alles erklären. Besser ist es durch Fragen die Testperson schrittweise zum Ziel zu leiten. Auf diese Weise kann man meist gut herausfinden, warum die Testperson damit Schwierigkeiten hatte.

Halte Pausen aus.
Manche Testpersonen brauchen Zeit, um sich eine Antwort zu überlegen. Diese Pausen muss man aushalten – auch wenn die Stille unangenehm sein kann. Der Lohn dafür ist meist eine umso umfangreichere Antwort.

Lass Dir Dinge zeigen oder aufmalen.
Das verbale Umschreiben von Abläufen, Produktgestaltung oder ähnlichem ist schwierig und kann missverständlich sein. Am besten lässt man sich als Interviewer daher die Antworten direkt am Testgegenstand erklären und zeigen. Es kann auch hilfreich sein, sich Antworten anhand einer Skizze erklären zu lassen.

Vermeide hypothetische Fragen

Würden Sie diese Funktionen verwenden?

Haben Sie diese Funktionen verwendet? (Hier schließt sich natürlich immer die Frage nach dem Warum an.)

Gib Dich nicht mit der ersten Antwort zufrieden, sondern finde die Gründe heraus.
Die Frage nach dem „Warum“ sollte die Lieblingsfrage jedes Interviewers sein. Wenn man die Gründe für bestimmte Verhaltensweisen oder Antworten kennt, kommen die Ideen für die Optimierung meist von ganz allein.

Symphatisiere nicht mit Deiner Testperson.

Testperson: Ich kann so einfach nicht arbeiten, es ist so schwierig.

Interviewer: Ja, das stimmt. Das würde mir auch so gehen.
Interviewer: Können Sie mir bitte genauer beschreiben, welche Probleme Sie hatten?

Stelle immer alle Fragen.
Nur wenn in jedem Interview alle Fragen gestellt und beantwortet werden, ist später eine Auswertung möglich.

Das waren Sie – meine Tipps und Tricks für das gute qualitative Interview. Jetzt wünsche ich Euch viel Erfolg beim Ausprobieren bzw. freue ich mich auf Eure Ergänzungen via Facebook, Twitter oder Google+.

MuC14: Active Testing – Real time collaborative analysis

Filip Healy (amberlight partners) und Henning Brau (UID) haben eine schnelle und agile Usability Testing Methode namens Active Testing vorgestellt.

Beim Active Testing werden 5-6 Anwender an einem Tag eingeladen. 2 Moderatoren befragen die Anwender und werten die Ergebnisse gemeinsam mit den Projektbeteiligten quasi in Echtzeit aus. Dazu werden die Erkenntnisse mit Post-ist auf ausgedruckte Screens geklebt. Am nächsten Tag findet ein Zusammenfassungs-Workshop statt, in dem die Screens mit den Erkenntnissen im Projektteam diskutiert werden. Die Erkenntnisse werden in einer priorisierten Liste dokumentiert. Es gibt keinen Bericht.

The rapid nature lends itself for agile and lean processess.

Dieses Verfahren funktioniert für einfache Testgegenstände und einfache Bedienabläufe. Es eignet sich vor allem für entwicklungsbegleitende Usability-Tests in frühen Phasen der Entwicklung.

Die Durchlaufzeit für das Verfahren liegt bei ca. einer Woche. Das Verfahren kann auch auf internationale UX Projekte übertragen werden.

MuC-UP13: Usability Test Ergebnisse – Eine sehr persönliche Angelegenheit.

Lisa Daske und Rolf Molich haben auf Basis der CUE-9 Studie (Comparative Usability Evaluation-9) Empfehlungen für bessere Usability Tests vorgestellt. In der Studie wurde der Evaluatoren-Effekt in Usability Testing untersucht. Dazu wurden 35 erfahrene Usability Professionals eingeladen die Gebrauchstauglichkeit des gleichen Produktes anhand von Videos aus Usability Tests zu bewerten. Die daraus resultierende Ergebnisse wurden dann verglichen. Die große Erkenntnis der Studie war, dass sich die Ergebnisse der Experten hinsichtlich der identifizierten Probleme und deren Priorisierung stark unterschieden. Die Studie deutet daraufhin, dass die bisherigen Annahmen zur Objektivität und Wissenschaftlichkeit von Usability Tests überdacht werden müssen.

Um den Evaluatoren-Effekt zu begrenzen, empfehlen sie folgendes:

  • Bei der Bewertung von Usability-Problemen muss man berücksichtigen, dass diese immer auch eine subjektive Meinung darstellt. Die Bewertung des Schweregrades sollte daher in einer Gruppe von Usability Professionals erfolgen.
  • Bewertungsskalen können schwierig sein, wenn sie zu viel Interpretationsspielraum lassen.
  • Usability-Erkenntnisse müssen sorgfältig dokumentiert und begründet werden.
  • Das bewusste Übertreiben von Priorisierungen zur Erhöhung der Umsetzungswahrscheinlichkeit sollte vermieden werden.
  • Es sollten Personen mit Domänenwissen in die Analyse von Usability Test einbezogen werden.

MuC-UP12: Mobile Eye Tracking

Alexander Rösler (usability.de) ist in seinem Vortrag auf den Einsatz von Eye Tracking bei der Evaluation von mobilen Endgeräten eingegangen. Mittlerweile gibt es mehrere Testwerkzeuge für das mobile Eye Tracking (z.B. von Tobii), die einen wenig intrusive Einsatz ermöglichen. Aber auch wenn die Testwerkzeuge immer besser werden, sieht er folgende Einschränkungen bei mobilen Eye Tracking:
* Eine Fixation deckt einen großen Bereich des Displays ab. Damit sind immer mehrere Elemente im Blickpunkt. In der Auswertung ist dann schwierig zu ermitteln, was genau betrachtet wurde. Je kleiner das Display des mobilen Endgerätes umso weniger nützlich ist Eye Tracking.
* Heatmaps und Gazeplots sind bei mobilen Eye Trackern nicht möglich und bei Tests mit Labor-Eye Trackern für mobile Endgeräte sehr zeitaufwändig
* ca. 25% aller Testpersonen sind nicht trackbar

IA09: Keine Ausrede mehr – Usability Tests im Team erleben und auswerten

Rolf Schulte Strathaus (eparo) hat über die Wichtigkeit von Usability-Tests gesprochen. Dabei ging es ihm insbesondere darum, wie sich das Projektteam in einen Usability-Test involvieren lässt.
Er hat die Erfahrung gemacht, dass die Mitglieder des Projektteams oft schlechte Beobachter sind, da sie auf den Bericht vertrauen und den Test eher als Unterhaltung betrachten. Außerdem ist er der Ansicht, dass Usability-Berichte vom Kunden nicht bzw. nur die ersten Seiten gelesen werden und der Aufwand eigentlich unnütz ist.
Um diesen Umstand zu ändern, involviert er die Beobachter bei der Auswertung eines Usability-Tests. Bei der Beobachtung müssen das gesamte Projektteam und die wichtigen Stakeholder dabei sein. Während der Session schreiben alle Beobachter ihre Erkenntnisse auf Post-Its und kleben diese an eine große Wand. Dabei soll jede Erkenntnis nur einmal aufgeschrieben werden.
Bei der Auswertung werden im Anschluss an die Interviewssessions die Zettel bzw. aufgeschriebenen Probleme auf Basis von gefühlter Wichtigkeit sortiert und priorisiert. Dadurch dass in dieser Phase alle wichtigen Teammitglieder und Stakeholder dabei sind, entwickelt sich schnell ein gemeinsames Verständnis von den notwendigen Maßnahmen.
Die Dokumentation des Tests ist ein Photo vom Flipchart mit den Problemen und Maßnahmen.

Siehe auch

IA Konferenz 2009