Anwender befragen – Tipps und Tricks für das Interview im Usability Test

Das persönliche Befragen und Beobachten von Anwendern im Usability Test oder im Rahmen einer Feldstudie gehört meiner Meinung nach zu den anspruchsvollsten Aufgaben von Usability Professionals. In diesem Artikel möchte ich die Tipps und Tricks zusammenfassen, die mir beim Einstieg in die Durchführung von qualitativen Interviews geholfen haben.

Voraussetzungen

Bevor es losgehen kann müssen folgende Voraussetzungen erfüllt sein:

• Es müssen Testpersonen rekrutiert sein, welche typisch für die Anwender des Testgegenstandes bzw. des Produktes sind.
• Es müssen ausreichend viele Testpersonen rekrutiert werden.
• Der Interviewleitfaden muss gut strukturiert sein und evtl. notwendige Anleitungen bzw. Hinweise für den Interviewer beinhalten. Es ist auch hilfreich, wenn neben der eigentlichen Frage auch noch die dahinterliegenden Fragen – also das um das es eigentlich geht – beschrieben sind.
• Der Testgegenstand (Prototyp, Wireframe, …) sollte an den zu befragenden Stellen zuverlässig funktionieren. Ein Testgegenstand mit vielen Fehlern kann das Interview sehr anstrengend machen und die Zuverlässigkeit der Antworten stark beeinflussen. Am einfachsten ist es, wenn sich der Testgegenstand nahezu wie das finale Produkt verhält.

An dieser Stelle kommt oft die Frage auf: “Wie viele Testpersonen brauche ich denn?”. Ich bin bisher mit folgender Faustregel gut gefahren: “Um die Antworten auswerten zu können, stelle 5 Anwendern des gleichen Typs (Persona) die gleiche Frage.”. Die Basis für diese Faustregel stammt von Jakob Nielsen. Um die Antworten von unterschiedlichen Anwendertypen bzw. Personas grob miteinander vergleichen zu können, sind min. 3 Anwender des gleichen Typs notwendig – zuverlässiger sind 5. Diese Faustregel erfüllt natürlich nicht die Ansprüche von wissenschaftlichen Studien. In der Wirtschaft ist es aber meist unnötig eine 100%ige Sicherheit anzustreben. Es genügt oft eine solide Basis für eine Gestaltungsentscheidung zu schaffen – also gut begründete Annahmen zu treffen.

Da sich aus qualitativen Interviews mit solchen Stichprobengrößen keine harten Zahlen bzw. Fakten ableiten lassen, verwende ich in den Berichten keine Prozentangaben, um die Häufigkeit von Antworten zu beschreiben. Häufigkeiten werden meist mit Angaben wie “Alle”, “Viele”, “Wenige” oder “Vereinzelt” beschrieben. Außerdem vermeide ich Formulierungen durch welche die Beobachtungen und Antworten aus dieser Studie als 100%ige Wahrheit dargestellt werden.

Aufbau

Nun aber genug der einleitenden Worte. Kommen wir zum Aufbau des Interviews. Ein gutes Interview ist in der Regel wie folgt aufgebaut:

• Einleitung: Vertrauen aufbauen, Warm werden, Fragen zu den Rekrutierungskriterien stellen, Grundeinstellung zum Testgegenstand oder dem Hersteller kennenlernen
• Fachliche Fragen: Konkrete Fragen zum Testgegenstand, Aufgaben, …
• Abschluss: Der Testperson eine Möglichkeit zur Reflektion geben, Kernergebnisse zusammenfassen

Beteiligte

Bei den ersten Interviews bzw. Studien ist es auf alle Fälle ratsam, dass der Interviewer die Notizen zum Interview nicht selbst macht. Das stört das Gespräch und behindert den Interviewer beim Beobachten. Das Protokollieren des Interviews übernimmt entweder ein Protokollant oder wird im Nachgang über die Videos erledigt.

Als Interviewer muss ich mir immer bewusst sein, dass ich einen Einfluss auf die Testperson ausübe und somit die Ergebnisse beeinflusse. Um diesen Einfluss so gering wie möglich zu halten, ist es wichtig zu Beginn des Interviews:

• Eine Orientierung zu geben worum es in dieser Studie geht.
• Zu vermitteln, dass man als Interviewer nichts mit der Entwicklung bzw. Gestaltung des Produktes zu tun hat und damit auch nicht gekränkt werden kann, wenn die Testperson es kritisiert.
• Zu vermitteln, dass man an der persönlichen Meinung der Testperson interessiert ist. Es ist keine Leistungsmessung der Testperson und folglich gibt es auch keine falschen oder richtigen Antworten.
• Keine persönlichen Informationen von sich selbst vor oder während des Interviews zu kommunizieren.

Auch der Protokollant kann Einfluss auf die Testperson haben. Daher ist dieser idealerweise nicht im Raum und beobachtet bzw. protokolliert vom Nachbarraum aus. Sollte sich dies nicht einrichten lassen gilt: “Der Protokollant beobachtet, schreibt und schweigt.”

Fragen richtig stellen

Die Art und Weise, wie Fragen gestellt werden, hat neben dem Interviewer den größten Einfluss auf die Antwortqualität. Bei meinen Interviews achte ich daher auf folgende Punkte:

Vermeide suggestive Fragen.

Kommen Sie mit der Bedienung gut zurecht?

Wie bewerten Sie die Bedienung?

Stelle einfache Fragen.

Wenn Sie mit der Funktion XY in unterschiedlichen Anwendungen arbeiten, ist es notwendig auf die Einstellung ABC zu achten. Können Sie mir bitte genau erläutern welche konkreten Erfahrungen Sie mit der Funktion in unterschiedlichen Anwendungen gemacht haben und wie Sie diese Erfahrungen bewerten?

Welche Erfahrungen haben Sie mit der Funktion XY gemacht?

Versetze die Testperson in die konkrete Situation.

Welche Prozessschritte bearbeiten Sie im Anwendungsfall XY?

Stellen Sie sich vor, es ist Montag. Sie sitzen in Ihrem Büro und der Fall XY tritt ein. Wie gehen Sie dann vor?

Frage möglichst ungestützt und offen.

Welche Daten sind auf dieser Maske besonders wichtig? Also zum Beispiel das Feld 1 oder 2 oder 3?

Welche Daten sind auf dieser Maske besonders wichtig?

Erkläre nie zu früh zu viel.
Wenn eine Testperson mit einer Gegenfrage reagiert oder nicht sofort weiß, wie sie eine Frage beantworten bzw. eine Aufgabe lösen soll, sollte man nicht sofort aufgeben und alles erklären. Besser ist es durch Fragen die Testperson schrittweise zum Ziel zu leiten. Auf diese Weise kann man meist gut herausfinden, warum die Testperson damit Schwierigkeiten hatte.

Halte Pausen aus.
Manche Testpersonen brauchen Zeit, um sich eine Antwort zu überlegen. Diese Pausen muss man aushalten – auch wenn die Stille unangenehm sein kann. Der Lohn dafür ist meist eine umso umfangreichere Antwort.

Lass Dir Dinge zeigen oder aufmalen.
Das verbale Umschreiben von Abläufen, Produktgestaltung oder ähnlichem ist schwierig und kann missverständlich sein. Am besten lässt man sich als Interviewer daher die Antworten direkt am Testgegenstand erklären und zeigen. Es kann auch hilfreich sein, sich Antworten anhand einer Skizze erklären zu lassen.

Vermeide hypothetische Fragen

Würden Sie diese Funktionen verwenden?

Haben Sie diese Funktionen verwendet? (Hier schließt sich natürlich immer die Frage nach dem Warum an.)

Gib Dich nicht mit der ersten Antwort zufrieden, sondern finde die Gründe heraus.
Die Frage nach dem “Warum” sollte die Lieblingsfrage jedes Interviewers sein. Wenn man die Gründe für bestimmte Verhaltensweisen oder Antworten kennt, kommen die Ideen für die Optimierung meist von ganz allein.

Symphatisiere nicht mit Deiner Testperson.

Testperson: Ich kann so einfach nicht arbeiten, es ist so schwierig.

Interviewer: Ja, das stimmt. Das würde mir auch so gehen.
Interviewer: Können Sie mir bitte genauer beschreiben, welche Probleme Sie hatten?

Stelle immer alle Fragen.
Nur wenn in jedem Interview alle Fragen gestellt und beantwortet werden, ist später eine Auswertung möglich.

Das waren Sie – meine Tipps und Tricks für das gute qualitative Interview. Jetzt wünsche ich Euch viel Erfolg beim Ausprobieren bzw. freue ich mich auf Eure Ergänzungen via Facebook, Twitter oder Google+.