Da hat man sich die Mühe gemacht eine User Centered Design (UCD)-Studie (Usability Test, Befragung, Fokusgruppe, …) zu organisieren, die Stichprobe sauber auszuwählen, entsprechende Anwender zu rekrutieren und zu befragen, die Daten auszuwerten und zu interpretieren … und dann das: Die Ergebnisse treffen nicht die Erwartungshaltung bzw. die Selbsteinschätzung der Produktverantwortlichen. Die befragten Anwender bewerten das Produkt deutlich anders als die Produktverantwortlichen.
Nun könnte man es sich als Produktverantwortliche/r einfach machen und die Misere zum Leidwesen der User Experience Professionals einfach als “nicht repräsentativ” einstufen und abtun.
Aber ist es eigentlich aus fachlicher Sicht möglich Ergebnisse aus UCD-Studien mit dem Argument “nicht repräsentativ” wegzudiskutieren?
Der Begriff der “Repräsentativität” ist kein stabiler Fachbegriff. Er wird im normalen Sprachgebrauch mit unterschiedlichen Bedeutungen verwendet. Er ist so eine Art “Nebelbombe” der Marktforschung. Umgangssprachlich bedeutet er in der Regel, dass sich die Erkenntnisse einer Stichprobe unverändert auf die gesamte Zielgruppe übertragen lassen. Das ist aber nur bei Vollerhebungen oder sehr großen Stichproben möglich, die einen sehr sehr großen Teil der gesamten Zielgruppe abdecken. Bei kleine Stichproben ist es sehr unwahrscheinlich, dass eine Stichprobe sämtliche Merkmale der gesamten Zielgruppe repräsentieren kann.
Bei qualitativen User Centered Design Studien werden aus Kosten- und Zeitgründen kleinere Stichproben befragt oder beobachtet. Damit liegt auf der Hand, dass Erkenntnisse aus UCD-Studien nicht repräsentativ sein können.
Als Produktverantwortliche/r sollte man von vornherein davon ausgehen, dass die Erkenntnisse aus UCD-Studien nicht “repräsentativ” sein können. Sie stellen eine fundierte Bewertung oder Einschätzung aus Anwendersicht dar. Je besser dabei die Merkmale der Zielgruppe in die Rekrutierung der Stichprobe eingeflossen sind, umso fundierter wird die Bewertung oder Einschätzung. Man sollte sich daher die Zusammensetzung der Zielgruppe genau erklären lassen und dies in die eigene Interpretation einfließen lassen.
Als UX Professional tuen wir gut daran, nicht zu versuchen die Ergebnisse einer UCD-Studie als “repräsentativ” zu verkaufen. Es sei denn, die Studienergebnisse basieren auf einer Vollerhebung oder sehr großen Stichprobe. Vielmehr müssen wir darauf achten, dass die Stichprobe annähernd “repräsentativ” – im umgangssprachlichen Sinne – ausgewählt wird. Dies ist die Grundlage dafür, dass die Stichprobe die Zielgruppe möglichst realistisch abbildet – also alle wesentlichen Merkmale der Zielgruppe soweit wie möglich abgedeckt sind. Den Umstand der annähernden “Repräsentativität” der Stichprobe, müssen wir dann bei der Interpretation der Ergebnisse berücksichtigen.
Die annähernde “Repräsentativität” der Ergebnisse schmälert aber auf keinen Fall die Sinnhaftigkeit von UCD-Studien. Zahlreiche Studien (u.a. von Nielsen) haben ja belegt, dass kleine Stichproben geeignet sind, um einen Großteil der Bedürfnisse und Usability-Probleme einer Zielgruppe zu entdecken. Bei User Centered Design (UCD)-Studien (Usability Test, Befragung, Fokusgruppe, …) geht es darum, mit einem guten Verhältnis zwischen Zeitdauer, Kosten und Nutzen eine solide Entscheidungsgrundlage, Ideensammlung oder Bewertung aus Anwendersicht zu bekommen. Die gewonnen Erkenntnisse müssen dann immer noch aus Unternehmenssicht interpretiert werden, um Maßnahmen ableiten zu können.
Fazit: Wenn wir als UX Professionals unsere Arbeit richtig machen und qualitative UCD-Studien mit kleineren Stichproben nicht als repräsentativ verkaufen, ist es aus fachlicher Sicht nicht möglich Ergebnisse aus diesen Studien mit dem Argument “nicht-repräsentativ” wegzudiskutieren. Um die Ergebnisse aus qualitativen UCD-Studien zu erhärten, können auch quantitativen UCD-Methoden, wie z.B. Online-Befragungen, ergänzend eingesetzt werden.
