Grundsätzlich lassen sich Usability-Tests auch «ferngesteuert» bei den Testpersonen zu Hause durchführen. Das ist hygienisch einwandfrei, hat aber methodisch seine Grenzen. Alternativ bieten sich kontaktlose Tests im Labor an. Sie liefern zuverlässigere Ergebnisse und sind insgesamt lohnender. Im Artikel präsentieren wir eine Gegenüberstellung der drei relevanten Herangehensweisen in Zeiten von Corona: Usability-Tests im Labor, Remote-Test und kontaktlose Tests.
Krisen sind Kreativitäts-Booster. Die UX Branche hat rasch auf COVID19 reagiert und in kürzester Zeit auf Remote-Tests (Interviews und Benutzertests übers Internet, moderiert oder unmoderiert) umgestellt. Ein moderierter Remote-Test ist jedoch kein Online-Klon des klassischen Usability-Tests im Labor. Während Remote-Übertragungen für Interviews, Workshops und Befragungen nützlich und effizient sind, ist die Durchführung eines Usability-Tests ein Spezialfall und das Labor nach wie vor das Mittel der Wahl.
Ich erinnere mich, wie wir am Tag nach der Verschärfung der Verhaltensregeln durch den Bundesrat den gerade laufenden Labor-Test auf Remote umgestellt haben: Die Testpersonen blieben zu Hause, sassen an ihrem eigenen Computer und wurden vom Usability-Consultant über Internet via Microsoft Teams durch die Testaufgaben geführt. Die Auftraggeber verfolgten die ganzen Tests per Streaming Video – ganz, wie wenn sie im Beobachtungsraum bei uns an der Steinstrasse gesessen hätten. Die spontane Umstellung wurde zum Erfolg! Schliesslich konnten wir trotz Pandemie und Lockdown testen und Testpersonen sowie Beobachter schützen.
Von Beginn weg war klar: Remote Tests haben Nachteile. Ihnen fehlt die Gründlichkeit von Usability-Tests im Labor, die Nähe zur Testperson. Wir konnten auch nicht einfach zurück zum Labortest, weil Beobachter, Testpersonen und Usability-Experten die Abstandsregeln nicht hätten einhalten können. Wir mussten also einen Ablauf finden, bei dem sich Testpersonen, Beobachter und Experten aus dem Weg gehen konnten, sich aber trotzdem nah waren. Das kontaktlose Testen war deshalb die Lösung, um richtig effiziente und fundierte Usability-Tests durchzuführen – aber keimfrei.
Für einen kontaktlosen Test kommen Testpersonen in unserer Testlabor. Wir gewährleisten, dass Testpersonen während ihres gesamten Aufenthalts keinen Kontakt zur Testleitung oder den Auftraggebern haben. Die Testperson folgt den Wegweisern vom Hauseingang bis in den Testtraum, wird von der Testleitung über Teams/Video-Anruf begrüsst und in den Test eingeführt, löst die Testaufgaben selbständig und laut denkend und nimmt sich die Belohnung für die Teilnahme aus dem Couvert. Zwischen den Testdurchgängen werden Maus, Tastatur, Kugelschreiber und alles weitere Material, mit dem die Testperson in Berührung kommt, desinfiziert und der Testraum gründlich gelüftet. So sind Labortests wieder möglich.
Die Testpersonen erhalten vor ihrem Besuch klare Anweisungen, wie sie den Testraum finden und welche Sicherheitsmassnahmen zu beachten sind. Sie erhalten die Informationen als Video und per Mail.
Im kontaktlosen Test halten sich Moderator und Testperson in unterschiedlichen Räumen auf. Wie aber nehmen die Auftraggeber teil? Wir übertragen die Tests über eine Video-Conferencing-Software live ins Büro oder Wohnzimmer der Auftraggeber – Lockdown ist kein Thema! Während der Tests stellen sie uns Fragen im Chat oder wir teilen nach den Tests unsere Erkenntnisse und Kommentare im Video-Call. Im Nachgang erhalten unsere Auftraggeber einen Zugang zu den Videoaufzeichnungen, die ebenfalls bequem von überall her gestreamt werden können.
Im kontaktlosen Test halten sich Moderator und Testperson in unterschiedlichen Räumen auf. Wie aber nehmen die Auftraggeber teil? Wir übertragen die Tests über eine Video-Conferencing-Software live ins Büro oder Wohnzimmer der Auftraggeber – Lockdown ist kein Thema! Während der Tests stellen sie uns Fragen im Chat oder wir teilen nach den Tests unsere Erkenntnisse und Kommentare im Video-Call. Im Nachgang erhalten unsere Auftraggeber einen Zugang zu den Videoaufzeichnungen, die ebenfalls bequem von überall her gestreamt werden können.
Abb. 1: Usability-Tests im Labor lassen sich so organisieren, dass jeglicher Kontakt zwischen den Beteiligten vermieden wird. Solche Tests liefern oft die besseren Resultate als Ferntests, bei denen die Testpersonen von zu Hause aus teilnehmen.
Was macht einen gelungen, moderierten Usability-Test aus? Hier vorab ein paar relevante Kriterien für den Vergleich.
Zielgruppe: Das Testobjekt wird von einer repräsentativen Nutzergruppe bedient.
Kontext: Die Benutzung des Testobjektes sollte unter möglichst ähnlichen Bedingungen wie in dem Nutzungskontext der Zielgruppe bedient werden.
Interaktivität: Je nach Entwicklungsphase müssen die getesteten Prototypen interaktiv sein, damit sie aussagekräftige Ergebnisse liefern. Bietet das Testsetting hier nur eingeschränkte Möglichkeiten, verlieren die Resultate an Tiefe.
Präzise Beobachtung: Der zentrale Wert eines Usability Tests besteht darin, dass Experten und Auftraggeber die realitätsnahen Interaktionen von Benutzern mit den Testobjekten präzise beobachten können.
Effiziente Organisation: Effizienz spürt nicht nur die Testperson, sondern auch der Auftraggeber.
Realitätsnähe: Der Fokus der Testperson liegt auf dem Produkt, das getestet wird.
Tabelle 1 zeigt die Vor- und Nachteile der beiden Alternativvarianten «Remote-Test» und «kontaktloser Usability-Test im Labor» im Vergleich zur Referenz «herkömmlicher Usability-Test im Labor».
Die gewichtigsten Nachteile von Remote-Tests gegenüber dem kontaktlosen Testen im Labor sind folgende: Wichtige Zielgruppen sind für Remote-Tests ungeeignet, z.B. ältere oder wenig technikaffine Personen). Die Umgebung von Remote-Tests kann nicht gestaltet werden und ist anfällig für Störungen durch Personen oder Lärm. Die Bedienbarkeit von Prototypen in Remote-Tests ist oft eingeschränkt und Tests mit Geräten sind oft schwierig durchzuführen. Das Test-Setup benötigt mehr Zeit. Die gute und damit aufwändige Vorbereitung ist wichtig, um technische Störungen und damit Ausfälle ganzer Testdurchgänge zu verhindern.
Das kontaktlose Testen übernimmt die Vorteile aus dem Labor und reduziert gleichzeitig die gesundheitlichen Risken auf ein Minimum. Der grösste uns bekannte Nachteil dieser Methode ist der erhöhte Logistikaufwand für die Vorbereitung des Materials und die Hygienemassnahmen zwischen den Testdurchgängen. Dieser überschaubare Mehraufwand lohnt sich aber sehr, wenn man bedenkt, dass die Testergebnisse tiefer gehen, das Erlebnis des Usability-Tests gleich ist, wie wenn man vor Ort zuschaut und schliesslich die Störfaktoren unter Kontrolle gehalten werden können. Die Qualität der Ergebnisse solcher kontaktlosen Tests kommt normalen Usability-Tests im Labor gleich. Unsere Methode der Wahl!
Wir freuen uns, von Ihnen zu hören.
Consultant
Sasche Credé is a UX enthusiast with a Masters in Cognitive Science and a PhD in Geographic Information Visualization. A specialist in user research, Sascha brings expertise in spatial issues to the Ergonomen. Sascha also enjoys outdoor activities and playing football.
