Web Usability Evaluation

1. Web Usability Evaluation Methoden zur Verbesserung der Benutzungsfreundlichkeit von Web-Angeboten Referent: Werner Schweibenz

2. Übersicht 1 Usability - Konzept und Definitionen 2 Usability und das World Wide Web 3 Usability Engineering 4 Methoden der Evaluation und des Web Usability Engineering 5 Zusammenfassung AKI Stuttgart 19.10.02

3. Usability - Definition " Usability is the measure of the quality of the user experience when interacting with something – whether a web site, a traditional software application, or any other device the user can operate in some way or another." (Jakob Nielsen) AKI Stuttgart 19.10.02

4. Usability - Definition "Usability means that the people who use the product can do so quickly and easily to accomplish their own tasks. This definition rests on four points: 1. Usability means focusing on users. 2. People use products to be productive. 3. Users are busy people trying to accomplish tasks. 4. Users decide when a product is easy to use." (Joseph Dumas & Janice Redish) AKI Stuttgart 19.10.02

5. Usability - Definition „Usability eines Produktes ist das Ausmaß, in dem es von einem bestimmten Benutzer verwendet werden kann, um bestimmte Ziele in einem bestimmten Kontext effektiv, effizient und zufriedenstellend zu erreichen.“ (ISO 9241) AKI Stuttgart 19.10.02

6. Relativität und Relationalität von Usability Abhängigkeit von Produkt und Situation: • bestimmte/r Benutzer • bestimmte Ziele • in einem bestimmten Kontext Relationalität: • Usability in Relation zu ...z. B. Kategorien der ISO 9241-10: Aufgabenange-messenheit, Selbstbeschreibungsfähigkeit, Steuer-barkeit, Erwartungskonformität, Fehlertoleranz, Individualisierbarkeit, Lernförderlichkeit AKI Stuttgart 19.10.02

7. Usability - Unterziele Effektivität: die Genauigkeit und Vollständigkeit, mit welcher Benutzer ein bestimmtes Ziel erreichen, Effizienz: Verhältnis der Genauigkeit und Vollständigkeit vom eingesetzten Aufwand, mit dem Benutzer ein bestimmtes Ziel erreichen Zufriedenheit: Freiheit von Beeinträchtigung und positive Einstellungen gegenüber der Benutzung des Produkts AKI Stuttgart 19.10.02

8. Usability und Funktionalität • Usability und Funktionalität sind Produktattribute. • Funktionalität bezieht sich darauf, was man mit dem Produkt tun kann. Usability bezieht sich darauf, wie Benutzer mit dem Produkt arbeiten. • "The functionality exists. But building functionality into a product, however, doesn't guarantee that people will be able to use it.“ (Dumas & Redish) • "A product by itself has no value; it has value only insofar as it is used. Use implies users." (Dumas & Redish) AKI Stuttgart 19.10.02

9. 2 Usability für das Web • “Usability rules the Web. Simply stated, if the customer can’t find a product, then he or she will not buy it.” (J. Nielsen) • Information der Benutzer ist das wichtigste Anliegen einer Website. (J. Spool et al.) • Die Aufgabe einer Website ist es, effektiv zu in-formieren und zu kommunizieren. (F. Thissen) • Für 2/3 der dten Internetbenutzer steht Informa-tionsgewinnung im Vordergrund. (G. Theuner) AKI Stuttgart 19.10.02

10. 3 Usability Engineering • „Usability Engineering ist ein Set von Methoden, um Produkte benutzungsfreundlich zu gestalten.” (Heidi Krömker) • Usability Engineering Lifecycle: "Usability engineering is not a one-shot affair where the user interface is fixed up before the release of the product. Rather, usability engineering is a set of activites that ideally take place throughout the lifecycle of the product, [...]." (Jakob Nielsen) AKI Stuttgart 19.10.02

11. Vorteile des Usability Engineering • Usability Engineering während der verschie-denen Entwicklungsphasen eines Produktes erhöht die Wahrscheinlichkeit für einen Markterfolg und reduziert die Entwicklungskosten. (Karat, 1994) • Usability Engineering erhöht die Qualität von Systemen, die innerhalb von Organisationen verwendet werden, bis hin zu Produkten, die weltweit auf dem Markt angeboten werden. (Karat, 1997) AKI Stuttgart 19.10.02

12. Kosten-Nutzen-Verhältnis • 1:2 (Karat 1989) • Konzeptionsphase 1,5 EinheitenFrühe Entwicklung 6 EinheitenSystemtest 60 EinheitenNach Markteinführung 100 Einheiten (Pressmann 1992) • 80% der Kosten für Softwareentwicklung entfallen auf die Post-Einführungsphase AKI Stuttgart 19.10.02

13. Kosten-Einsparung: Beispielrechnung • 22 876 Personen benutzen ein Produkt • Durchschnittlicher Zeitgewinn durch UE:4,67 Minuten • 22 876 x 4,67 min x Stundenlohn $/h = $41 700 • Aufwendungen Usability-Test: $20 700 • Kosten-Nutzen-Verhältnis: ca. 1:2 AKI Stuttgart 19.10.02

14. 4 Methoden der Evaluation Expertenorientierte (analytische) Methoden: • Cognitive Walkthrough • Guidelines und Checklisten • Heuristische Evaluation Benutzerorientierte (empirische) Methoden: • Produkttests mit lautem Denken • Produkttests mit der Plus-Minus-Methode AKI Stuttgart 19.10.02

15. Heuristik - Definition „Heuristik (von griechisch heurískein: finden, entdecken), ursprünglich Bezeichnung für die Erfindungskunst; in der Philosophie für eine Verfahrensweise zur Problemlösung und zum entdeckenden Auffinden bzw. zur Begründung neuer Erkenntnisse durch Formulierung von Hypothesen und die Suche nach einer zur Verifizierung geeigneten Beweisführung.“ (Microsoft Encarta Enzyklopädie 2000) AKI Stuttgart 19.10.02

16. Heuristische Evaluation • Prüfung eines Produktes durch eine geringe Zahl von Gutachtern mit Hilfe von speziellen Heuristiken. • Die Forschungsliteratur empfiehlt eine Gruppe von drei bis fünf Experten als Evaluatoren zu verwenden. Diese können dann etwa 75 Prozent der Usability-Probleme finden. (J. Nielsen) AKI Stuttgart 19.10.02

17. Verhältnis Anzahl der Prüfer - Problemerkennung AKI Stuttgart 19.10.02

18. Heuristische Prinzipien nach Molich und Nielsen (1990) • Simple and natural dialogue • Speak the user´s language • Minimize the user´s memory load • Consistency • Feedback • Clearly marked exits • Shortcuts • Precise and constructive error messages • Prevent errors • Help and documentation AKI Stuttgart 19.10.02

19. Der Web Usability Index • Der Web Usability Index basiert auf dem Keevil-Index. Er bietet eine Checkliste, um festzustellen, wie stark eine Web-Site von allgemein akzeptierten Richtlinien für Usability abweicht. • Diese Richtlinien wurden über 150 Fragen gefasst, die mit „nicht zutreffend“ oder mit „sehr gut“ bis „mangelhaft“ beantwortet werden. • Automatische Tabellenkalkulation mit Excel erlaubt die prozentuale Abweichung von den Usability-Regeln und den Vergleich mit anderen Web Sites. AKI Stuttgart 19.10.02

20. Der Web Usability Index Der Web Usability Index besteht aus über 150 Fragen, eingeteilt in 5 Kategorien • Navigation und Orientierung • Interaktion und Informationsaustausch • Aktualität und Qualität • Informations- und Textdesign • Auffindbarkeit und Zugänglichkeit AKI Stuttgart 19.10.02

21. Heuristics for Web Communiction • Entwickelt auf einem internationalen Workshop 1999 in Seattle von Experten für technische Kommunikation • Basieren auf Erkenntnissen aus der Verständlichkeitsforschung • Wurden von den Teilnehmern des Workshops und Webdesignern aus der Region Seattle getestet AKI Stuttgart 19.10.02

22. Die Heuristics for Web Communication • Displaying Information on the Web • Heuristic for Web Navigation • Role Playing Heuristics • Text Comprehension Heuristic • Web Data Collection for Analyzing and Interacting with Your Users • Deutsche Übersetzungen auf der Website der tekom - Gesellschaft für Technische Kommunikation (www.tekom.de  Link Service) AKI Stuttgart 19.10.02

23. Ablauf einer heurist. Evaluation Ablauf einer heuristische Evaluation durch ein oder mehrere Teams von Gutachtern (Experten): • Vertrautmachen mit den Webseiten (ca. 15 min) • Individuelle Evaluation der Webseiten anhand einer Heuristik (ca. 90 min) auf Mängel in der Benutzbarkeit • Bewertung (Severity Rating) der gefundenen Mängel/Fehler im Team (ca. 60 bis 90 min) • Zusammenführen der bewerteten Mängel/Fehler • Erstellen eines Evaluationsberichts AKI Stuttgart 19.10.02

24. Severity Rating der Mängel Prioritätsstufe und Beschreibung des Problems • 0 Dieses Problem stellt aus meiner/unserer Sicht kein Problem für die Benutzerfreundlichkeit dar. • 1 Dieses Problem ist lediglich kosmetisch. Es muss nicht unbedingt behoben werden, ausser wenn genügend Zeit dazu bleibt. • 2 Dieses Problem ist nicht schwerwiegend. Es sollte behoben werden, hat aber eine niedere Priorität, was die Beseitigung betrifft. (Wird fortgesetzt) AKI Stuttgart 19.10.02

25. Severity Rating der Mängel • 3 Dieses Problem ist schwerwiegend. Es sollte dringend behoben werden und hat eine hohe Priorität, was die Beseitigung betrifft. • 4 Dieses Problem ist katastrophal. Es muss unbe-dingt behoben werden, bevor die Webseiten öffent-lich zugänglich gemacht werden. Es hat deshalb höchste Priorität, was die Beseitigung betrifft. Bei der Vergabe der Prioritäten sind die Häufigkeit und Persistenz der Usability-Probleme sowie der Einfluss, den sie auf die Benutzer haben, zu berücksichtigen. AKI Stuttgart 19.10.02

26. Zyklus des Web Usability Engineering gefundene Usa- bility-Probleme, Severity Rating heuristischeEvaluation Web site Entwicklung Testmaterial Vorschläge für Re-design Fragebögen Testaufgaben Analyse der Daten Produkttest und heuristischer Evaluation Testdaten aus dem Produkttest Produkttests mit lautem Denken AKI Stuttgart 19.10.02

27. Produkttests im Usability Labor • Benutzerorientierte Methoden werden als Tests mit echten Benutzern in Laborsituationen durchgeführt • Voraussetzung ist ein Usability Labor. • Vorsicht: der engl. Begriff user tests bzw. user testing ist irreführend, getestet wird nicht der Benutzer, sondern das Produkt! AKI Stuttgart 19.10.02

28. Blick ins Usability-Labor AKI Stuttgart 19.10.02

29. Usability Labor Arbeitsplatz der Testperson Lautes Denken Mischpult für Videokameras Videokamera auf Bildschirm Computer und Tastatur Videorecorder und Fernseher zur Aufzeichnung Testperson Mikrofon Notizen Videokamera auf Testperson Versuchsleiter Techniker AKI Stuttgart 19.10.02

30. Produkttests - Vor- und Nachteile Vorteile: • Die Tests liefern umfangreiche qualitative Daten, die zeigen, wie echte Benutzer ein Produkt handhaben • Die Videoaufnahmen von Tests sind häufig sehr aufschlussreich und überzeugend Nachteile: • Die Tests finden in einer Laborsituation statt • Es ist viel Ausrüstung und Organisationsaufwand notwendig, um Tests durchzuführen AKI Stuttgart 19.10.02

31. 5 Zusammenfassung • Web Usability Engineering ist notwendig. • Die heuristische Evaluation ist eine einfache, schnelle und kostengünstige Methode. Testing liefert Nutzerfeedback, ist aber aufwändig. • Usability Evaluation ist besonders im Rahmen eines Usability Engineering Zyklus sinnvoll. • Lieber wenig testen mit einfachen Methoden als gar nicht testen! Denn: Usability regiert das Web! AKI Stuttgart 19.10.02

32. Danke für Ihre Aufmerksamkeit und Ihr Interesse für das Thema Web Usability Evaluation! Fragen und Anregungen? Werner Schweibenzw.schweibenz@is.uni-sb.de http://usability.is.uni-sb.de/ AKI Stuttgart 19.10.02