Как измерить удобство использования для получения достоверных данных?

Question

Есть несколько постов по юзабилити, но ни один из них мне не пригодился.

Мне нужна количественная оценка юзабилити какой-либо части приложения. Мне нужно оценить это в жестких числах, чтобы иметь возможность сравнить его с будущими версиями (например, для целей отчетности). Самый простой способ - это подсчет кликов и нажатий клавиш, но это кажется слишком простым (например, является ли стоимость заполнения текстового поля простой суммой ввода всех букв? - я думаю, это сложнее). Мне нужна математическая модель для этого, чтобы я мог оценить числа.

Кто-нибудь знает что-нибудь об этом?

P.S. Мне не нужны ссылки на ресурсы о разработке пользовательских интерфейсов. У меня уже есть они. Что мне нужно, это математический аппарат для измерения юзабилити интерфейса существующих приложений в жестких числах.

Заранее спасибо.

Answer 1

http://www.techsmith.com/morae.asp

Это то, чем Microsoft частично воспользовалась, потратив миллионы на модернизацию Office 2007 с ленточной панелью инструментов.

Вот как анализировался Office 2007: http://cs.winona.edu/CSConference/2007proceedings/caty.pdf

Обязательно ознакомьтесь со ссылками в конце PDF, там есть масса хороших вещей. Посмотрите, как Microsoft сделала Office 2007 (независимо от того, как вы к этому относитесь), они потратили кучу денег на эти вещи.

Answer 2

Ваши основные идеи для подхода в этом: эффективность и результативность (и, в некоторых случаях, эффективность). Основные моменты, которые следует запомнить, обозначены на этой веб-странице .

Что вы действительно хотите посмотреть, так это «проверочные» методы измерения юзабилити. Как правило, их установка обходится дороже (как с точки зрения времени, так и финансов), но при правильном выполнении может привести к значительным результатам. Эти методы включают в себя такие вещи, как эвристическая оценка, которая просто сравнивает системный интерфейс и использование системного интерфейса с эвристикой юзабилити (хотя, как вы сказали выше, это, вероятно, не то, что вам нужно) .

Однако более подходящими для использования будут методы «тестирования», при которых вы наблюдаете, как пользователи выполняют задачи в вашей системе. Это частично связано с эффективностью и результативностью, но может включать в себя различные вещи, такие как концепция «Мысли вслух» (которая действительно хорошо работает при определенных обстоятельствах, в зависимости от тестируемого программного обеспечения).

У Якоба Нильсена есть приличная (короткая) статья на его сайте . Есть еще один , но он больше связан с тем, как тестировать, чтобы быть репрезентативным, а не с тем, как проводить само тестирование.

Answer 3

Количественное измерение юзабилити - чрезвычайно сложная проблема. Я решил это как часть моей докторской работы. Короткий ответ: да, вы можете измерить его; нет, вы не можете использовать результаты в вакууме. Вы должны понять , почему что-то заняло больше или меньше; просто сравнивать числа хуже, чем бесполезно, потому что это вводит в заблуждение.

Для сравнения альтернативных интерфейсов все в порядке. В продольном исследовании, где пользователи используют свой прошлый опыт работы с версией 1 при использовании версии 2, это не будет таким полезным. Вам также нужно будет учесть время, чтобы изучить интерфейс, включая время, чтобы заново понять интерфейс, если пользователь отошел от него. Наконец, если задача имеет переменную сложность (а это обычный случай в реальном мире), тогда ваши цифры будут на всем протяжении карты, если у вас нет какого-либо способа вычленить эту сложность.

GOMS (упомянутый выше) - хороший метод, который можно использовать на этапе проектирования, чтобы получить представление о том, лучше ли интерфейс A, чем B, при выполнении конкретной задачи. Однако он учитывает только безошибочную производительность опытных пользователей и измеряет только время выполнения задач низкого уровня. Если пользователь найдет более эффективный способ выполнения своей работы, о котором вы не задумывались, у вас не будет оценки GOMS, и вам придется составить ее.

Некоторые конкретные меры, которые вы могли бы рассмотреть:

• Измерение времени на часах для стандартной задачи хорошо, если вы хотите знать, что занимает много времени. Однако в лабораторных тестах обычно участвуют испытуемые, которые работают гораздо усерднее и концентрируются гораздо больше, чем в повседневной работе, поэтому сравнение результатов лабораторных и реальных пользователей может ввести в заблуждение.
• Коэффициент ошибок: как часто пользователь делает ошибки или возвращается. Особенно, если вы замечаете, что одна и та же ошибка повторяется снова и снова.
• Появление обходных путей; если ваши пользователи работают с какой-либо функцией или делают несколько шагов, которые вы считаете глупыми, это может быть признаком того, что ваш интерфейс не предоставляет инструментов, позволяющих понять, как решить свои проблемы.
• Не стоит недооценивать, просто спрашивая пользователей, насколько хорошо они думают, что дела идут. Субъективное удобство использования является привередливым, но может быть показательным.

Answer 4

Возможно, вы захотите взглянуть на модель GOMS (цели, операторы, методы и правила выбора). По моему мнению, это очень сложный исследовательский инструмент, но он обеспечивает «математическую» основу для измерения производительности в строго контролируемой среде. Лучше всего использовать с «опытными» пользователями. Посмотрите это очень интересное тематическое исследование проекта Ernestine для операторов телефонии Новой Англии.

Answer 5

Сначала вы хотите определить цели: например, увеличить процент пользователей, которые могут выполнить определенный набор задач, и сократить время, необходимое для этого.

Затем возьмите две камеры, несколько пользователей (5-10) дадут им список задач, которые нужно выполнить, и попросите их подумать вслух. Половина пользователей должна использовать «старую» систему, остальные должны использовать новую.

Просмотрите записи, измерьте время, которое нужно, измерьте показатели успеха, бесконечно обсуждайте интерпретации.

В качестве альтернативы, вы можете разработать систему для группового тестирования - она ​​работает так же, хотя гораздо труднее найти что-то новое. С другой стороны, это намного дешевле, так что вы можете сделать гораздо больше итераций. Конечно, это ограничено сайтами, которые вы можете открыть для публичного тестирования.

Это, очевидно, означает, что вы пытаетесь получить сравнительные данные между двумя проектами. Я не могу придумать способ выразить юзабилити как ценность.

Answer 6

Рассмотрите возможность измерения времени для выполнения критических задач (с использованием нового пользователя и опытного пользователя) и количества ошибок ввода данных для выполнения этих задач.