Scientific journal
Modern high technologies
ISSN 1812-7320
"Перечень" ВАК
ИФ РИНЦ = 0,940

USABILITY RESEARCH OF USER APPLICATIONS: TASKS, CRITERIA, EVALUATION METHODS

Tarkhov S.V. 1 Tarkhova L.M. 2
1 Ufa State Aviation Technical University
2 Bashkir State Agrarian University
The tasks of conducting usability research of user applications are considered, the list of which is determined in accordance with domestic and international standards in the field of software engineering, which establish requirements for the design and evaluation of the quality of ergonomic interfaces of human-machine interaction. A usability research method for user applications has been developed, which allows assessing their quality level according to selected parameters and criteria. The Ishikawa diagram is used as a basic tool for analyzing cause-and-effect relationships in the usability study of user applications and constructing a structural diagram of evaluation criteria. The usability evaluation method of user applications provides for the use of a matrix method for processing the hierarchical structure of evaluation indicators imported from the Ishikawa diagram construction tools. Calculations are performed by means of spreadsheets. A mathematical model for calculating the integral quality indicator of a user application is presented, which is determined based on the convolution of controlled values of qualimetric and expert-evaluated parameters and indicators. The process of ranking the values of the parameters of the estimated indicators based on the construction of the Pareto diagram is shown. The usability assessment of user applications was performed using the developed method, which made it possible to determine the qualitative characteristics of the software product under study and compare it both by individual parameters and by a complex indicator with similar software products of competitors. The prospects of using the developed usability research methodology to assess the quality of user applications and determine the list of recommendations for adjustments to improve the software product are noted.
usability
user interface
application interface
software product
software quality

Для успешного продвижения пользовательских приложений на рынке программного обеспечения они не только в полной мере должны реализовывать заложенный в них функционал решения задач с высокой степенью эффективности, но и быть дружественными к пользователю. Интерфейс пользовательских приложений должен быть информативным, интуитивно понятным, устойчивым к возможным неверным действиям пользователя, пригодным для индивидуализации за счет настроек рабочей среды [1].

Удобство и простота использования программного продукта, или юзабилити (от англ. usability – удобство использования), является неотъемлемым требованием эргономики взаимодействия человек – система при разработке принципов организации диалога [2], проектировании пользовательских интерфейсов сети Интернет [3] и человеко-ориентированном проектировании интерактивных систем [4].

Высокий уровень юзабилити – это непременное условие качества и, следовательно, конкурентоспособности программного продукта [5]. Проведение юзабилити-исследования проводится на завершающем этапе процесса проектирования программного продукта и является его неотъемлемой частью. Результаты юзабилити-исследования позволяют сделать заключение о степени соответствия параметров разработанного программного продукта требованиям и при необходимости принять решение о внесении изменений в схему его работы/функционирования и интерфейс. Юзабилити-исследование целесообразно продолжить на этапе жизненного цикла, включающего эксплуатацию программного продукта для возможного последующего внесения изменений и исправлений, с целью совершенствования его возможностей и качественных характеристик [6].

Цель исследования – повышение качества пользовательских приложений с использованием метода юзабилити-исследования, основанного на структурировании данных и анализе причинно-следственных связей при оценке уровня качества приложений.

Материалы и методы исследования

Объектом исследования являются программные продукты, представляющие собой пользовательские приложения различного функционального назначения, предназначенные для решения различных производственных и повседневных задач. Предмет исследования – информационный процесс определения ключевых параметров, характеризующих уровень юзабилити пользовательских приложений. Основой для определения параметров и критериев юзабилити пользовательских приложений в данном исследовании являются российские и международные стандарты (ГОСТ Р ИСО [2–4] и ГОСТ Р ИОС/МЭК [5, 7]), устанавливающие требования к качеству программного обеспечения в целом и к человеко-машинному взаимодействию на уровне создания программного интерфейса в частности. Задачами юзабилити-исследования является определение значений квалиметрических и экспертно оцениваемых параметров, призванных оценить ключевые характеристики программного продукта.

Результаты исследования и их обсуждение

В соответствии со стандартами [2–5, 7] к основным ключевым характеристикам пользовательских приложений с точки зрения их юзабилити относятся:

А) Функциональная пригодность:

˗ пригодность для выполнения решения задачи – обеспечение решения поставленной задачи и при необходимости помощь пользователю в решении задачи;

˗ контролируемость и управляемость – возможность контролировать направление и темп взаимодействия до того момента, пока поставленная задача не решена;

˗ устойчивость к ошибкам – предполагаемый результат может быть достигнут с минимальными воздействиями пользователя посредством: контроля ошибок, исправления ошибок, управления обработкой ошибок для их исправления.

Б) Удобство использования:

˗ соответствие ожиданиям пользователей – предсказуемость действий в зависимости от области применения и обычно принимаемым соглашениям;

˗ информативность – на всех этапах решения задачи пользователю должно быть понятно, какие действия и как могут быть выполнены;

˗ пригодность для обучения – интерфейс должен помогать решать задачу, по возможности не прибегая к изучению инструкции;

˗ пригодность для индивидуализации – возможность настройки и адаптации для удовлетворения индивидуальных возможностей и потребностей.

Юзабилити-тестирование целесообразно проводить как в ходе проектирования (промежуточное тестирование), так и после завершения разработки программного продукта (полное тестирование). Тестировщиками могут быть как профессиональные эксперты, в том числе из команды разработчиков, так и пользователи из целевой аудитории [8].

В качестве инструмента для анализа причинно-следственных связей, позволяющего наглядно представить возможные причины проблемы юзабилити программного продукта и оценки его качества, используем диаграмму Исикавы, также известную как диаграмма «рыбьего скелета» [9]. Сгруппировав перечисленные выше характеристики, разместим их в иерархической структуре диаграммы Исикавы для проведения юзабилити-исследования пользовательского приложения. На рис. 1 показана диаграмма Исикавы (построена в xMind) с одной полностью раскрытой (до седьмого уровня) ветвью параметров и индикаторов.

missing image file

Рис. 1. Структурная диаграмма параметров юзабилити-исследования

Параметры, характеризующие юзабилити пользовательских приложений, позволяют реализовать комплексную оценку их качества, а также выполнить сравнение с приложениями конкурентов. Перечень параметров, структура оценочных показателей (контролируемых параметров и индикаторов), а также степень их значимости могут изменяться в зависимости от функционального назначения пользовательского приложения, его сложности и требований программно-аппаратной среды. От того, насколько правильно были определены перечень критериев, структура оценочных показателей и их значимость, зависит глубина, объективность и точность проводимого юзабилити-исследования. На основе построенной для проведения юзабилити-исследования диаграммы Исикавы формируется матричная запись иерархической структуры оценочных параметров и индикаторов, обработка которых выполняется средствами электронных таблиц. Фрагмент таблицы с установленными фильтрами для выбора показателей представлен на рис. 2.

Для преобразования значений экспертных оценочных показателей и индикаторов с целью вычисления интегрального показателя оценки юзабилити пользовательского приложения используем девятиуровневую лингвистическую шкалу с основным и дополнительным диапазонами измерений. Числовые параметры девятиуровневой лингвистической шкалы, рассчитанной на основе функции принадлежности Харрингтона, приведены в таблице.

Определим эталонное значение интегрального оценочного показателя Qref для исследуемого пользовательского приложения (максимальную возможную сумму баллов) на основе значений параметров проектных решений, исходя из предположения, что все предусмотренные в нем функции реализованы в полном объеме и работа с приложением не вызовет у пользователей каких-либо затруднений.

missing image file, (1)

где q = φ(x) – значение оцениваемого показателя по квалиметрической (числовой) шкале, для которой функция φ(x) тождественна измеренному значению;

missing image file – приведенное к оценочной шкале L эталонное значение показателя;

μ(y) – функция принадлежности для лингвистической шкалы;

α – коэффициент значимости оцениваемого показателя;

К и М – количество показателей в группах выбранных критериев.

missing image file

Рис. 2. Обработка оценочных показателей в электронной таблице

Девятиуровневая лингвистическая шкала

Уровни

лингвистической шкалы

Значение

оцениваемого показателя

Значения

функции принадлежности

Основной диапазон измерений

1

Минимальный

0

0,2

0,00

3

Низкий

0,2

0,37

0,27

5

Средний

0,37

0,64

0,49

7

Хороший

0,64

0,8

0,72

9

Высокий

0,8

1

0,89

Дополнительный диапазон измерений

2

Выше чем минимальный

0,2

0,29

0,24

4

Выше чем низкий

0,37

0,51

0,43

6

Выше чем средний

0,64

0,72

0,68

8

Недостаточно высокий

0,8

0,90

0,85

missing image file

Рис. 3. Диаграмма Парето для поддержки принятия решений

Фактически при таком подходе мы исходим из того, что уровень разработки, т.е. ее качество (по ГОСТ Р ИСО 9000-2011 качество – степень соответствия совокупности присущих характеристик требованиям) составляет 100 %. В этом случае задачами юзабилити-исследования являются:

˗ установление степени достижения заданного уровня качества (отклонения значения интегрального оценочного показателя от его эталонного значения);

˗ выявление индикаторов и показателей, в наибольшей степени снижающих качество пользовательского приложения.

Фактическое значение интегрального показателя Qakt для исследуемого пользовательского приложения, оцениваемого N группами экспертов, для которых в общей структуре оценочных показателей (контролируемых параметров и индикаторов) выделены группы значимых критериев, определим по формуле

missing image file, (2)

где β – коэффициент значимости эксперта или экспертной группы (профессионалы эксперты, бета-тестировщики и др.).

Степень достижения заданного уровня качества исследуемого пользовательского приложения, в процентах

missing image file. (3)

Для определения значимости оценочных показателей построена диаграмма Парето (рис. 3), позволяющая визуально оценить вклад показателей в общую итоговую оценку при исследовании юзабилити пользовательских приложений.

В процессе проведения юзабилити-исследования для систематического сбора данных и их упорядочивания для дальнейшей обработки использовались контрольные листки [10], позволившие регистрировать значения измеряемых параметров, а также виды несоответствия параметров и процессов установленным требованиям.

Выполнено юзабилити-исследование программ просмотра фотоизображений для ОС Windows. Юзабилити оценка пользовательских приложений позволила не только определить качественные характеристики исследуемых программных продуктов, но и сравнить их как по отдельным параметрам, так и по комплексному показателю. Разработанный метод может применяться для подготовки и проведения юзабилити-исследования с целью оценки качества программных продуктов.

Заключение

Юзабилити-исследование является значимым инструментарием оценки качества программного продукта. Оно может проводиться на этапах жизненного цикла, включающих его тестирование и отладку, а также эксплуатацию, сопровождение и поддержку. Параметры и критерии юзабилити оценки программного продукта следует выбирать из проектного задания с ориентацией на стандарты в области качества пользовательских интерфейсов при организации диалога и эргономики человеко-машинного взаимодействия.

Разработанный метод юзабилити-исследования основан на применении инструментария анализа причинно-следственных связей при оценке качества программного продукта и позволяет реализовать итерационный процесс последовательных улучшений для увеличения степени достижения заданного уровня качества. Выполненная юзабилити-оценка пользовательских приложений с использованием разработанного метода юзабилити-исследования позволяет не только определять качественные характеристики исследуемых программных продуктов, но и сравнить их как по отдельным параметрам, так и по комплексному показателю с аналогичными программными продуктами конкурентов.

Отмечена перспективность применения разработанной методики юзабилити-исследования для оценки качества пользовательских приложений.