Введение
Современные системы производства и управления представляют собой сложную систему взаимосвязанных процессов. Распределенная многоуровневая структура подобных систем обеспечивает поддержку различных видов и уровней корпоративных процессов. Для обеспечения эффективного функционирования и развития процессов промышленных предприятий необходимым условием является построение системы менеджмента качества (СМК). Развитие методологий и подходов к построению систем управления качеством предусматривает необходимость оценки СМК.
Оценка деятельности СМК предприятия может быть внешней или внутренней. Внешняя оценка проводится аккредитованными организациями или экспертами, например, в рамках сертификации СМК на соответствие требованиям международных стандартов. Может проводиться внутренняя общая оценка или отдельных процессов, или подразделений [1; 2]. Оценка может проводиться по отдельным направлениям, например в образовании [3] или строительстве [4], с целью анализа эффективности процессов, направлений совершенствования или реинжиниринга процессов.
Одним из направлений оценки может быть оценка систем информационной поддержки СМК. Процессы оценки могут быть реализованы с различных сторон, например: самооценка в рамках системы качества предприятия, оценка организацией своих поставщиков, внешняя оценка: оценка третьей стороной при аудите, сертификации на соответствие, например, по стандартам International Organization for Standardization (ISO).
Цель исследования – определение основных направлений построения оценки информационной поддержки СМК промышленных предприятий, разработка методики построения структуры системы оценки и анализ основных этапов процесса оценки.
Материал и методы исследования
В качестве основных моделей оценки систем управления качеством рассматриваются: модель European Foundation for Quality Management (EFQM) Excellence Award и основанная на ней модель оценки Премии Правительства РФ в области качества [5], стандарты серии ISO9000, модель оценки Det Norske Veritas и Germanischer Lloyd (DNV GL) и ряд других моделей.
Для оценки качества информационных систем в работе использованы стандарты ГОСТ 28195-89 «Оценка качества программных средств» [6], ГОСТ РВ 51987-2002 «Информационная технология. Комплекс стандартов на автоматизированные системы. Требования и показатели качества функционирования информационных систем» [7], библиотеки Information Technology Infrastructure Library framework [стандарт ISO/IEC 25020:2019 «Systems and software engineering – Systems and software Quality Requirements and Evaluation (SQuaRE) – Quality measurement framework» [9], ISO/IEC 25023:2016 «Systems and software engineering – Systems and software Quality Requirements and Evaluation (SQuaRE) – Measurement of system and software product quality» [10].
Результаты исследования и их обсуждение
Рассмотрим вариант критериев оценки модели EFQM Excellence Award 2020. Модель EFQM Excellence Award 2020 включает следующие группы критериев: целеполагание, действия, результаты. Группа «Целеполагание» включает такие критерии, как цель, видение и стратегия, организационная культура и лидерство. Группа действия включает такие критерии, как вовлечение заинтересованных сторон, создание устойчивой ценности, управление результативностью и трансформацией. Группа результаты включает такие критерии, как результаты восприятия заинтересованных сторон и стратегические и операционные результаты. Модели EFQM Excellence Award 2019 и EFQM Excellence Award 2020 содержат развернутую систему критериев и показателей. Они эффективно используются как для внешней оценки, так и для самооценки. Эти модели имеют общий характер и могут быть основой для построения системы показателей оценки СМК, учитывающей специфику объекта оценки.
Модель оценки DNV GL (Norske Veritas) [11] основана на методике оценки рисков для технических систем по определенному набору направлений.
Метод экспертных оценок является одним из часто используемых методов оценки технических систем и процессов [12, с. 207]. Он применяется, например, в методике Failure Mode and Effects Analysis (FMEA) [13].
Рассмотрим примеры определения подходов и основных направлений построения оценки систем информационной поддержки, в том числе определения критериев и показателей оценки. В [14, с. 132] как основное направление оценки рассматривается экономическая эффективность информационных систем. Этому подходу соответствуют модель сбалансированной системы показателей ССП (balanced scorecard BSC), методология Total Value of Opportunity (TVO) оценки ИТ-проекта, методология Rapid Economic Justification (REJ) Microsoft, методология Total Economic Impact (TEI) компании Forrester Consulting.
Для построения системы экономической оценки предлагается подход определения ценности ИТ-сервисов для бизнеса с использованием библиотек Information Technology Infrastructure Library (ITIL). Для этого используются два основных подхода к созданию системы экономической оценки: аллокация затрат (Product cost management PCM) и построение модели затрат по видам деятельности. В рамках предлагаемой модели затрат на ИТ-сервисы проводится оценка затрат, связанных как с внедрением ИТ-сервисов, так и с изменением организационных практик. Сумма этих затрат и составит оценку затрат на проект.
А.В. Сухов и Е.О. Терентьев предлагают интерпретировать финальный показатель оценки эффективности вычислительных систем как энтропию покрытия, через иерархическую систему показателей оценки [15]. Ю.В. Силенок и В.Л. Яковлев решают задачу оценки эффективности информационной системы (ИС) через определение несобственного интегрального скалярного показателя результативности ее функционирования [16].
А.А. Зацаринный и Ю.С. Ионенков [17] выделяют три группы показателей, характеризующих влияние ИС на эффективность организационной системы: показатели рациональности организационной структуры ИС, показатели эффективности функционирования ИС, показатели организационно-технического уровня ИС. Наряду с этим они предлагают использовать широко известные показатели качества типовой ИС: надежность, своевременность, полнота, достоверность, конфиденциальность, защищенность от несанкционированного доступа (НСД), организационное обеспечение.
В работах в основном приводится иерархическая система показателей оценки с различными подходами к направлениям и аспектам построения системы оценки.
Система информационной поддержки СМК выступает как инфраструктурная основа для реализации СМК. При построении системы оценки информационной поддержки СМК должна быть определена модель оценки СМК, в состав ее показателей необходимо включить показатели оценки информационной поддержки СМК и определить место оценки информационной поддержки в структуре общей системы оценки СМК предприятия.
Как следует из анализа существующих систем оценки, при построении системы оценки СМК предприятия и ее процессов стоит задача выработки адекватной системы показателей, позволяющих оценить систему качества, ее состояние и на основании результатов этой оценки адекватно управлять системой качества. Поэтому при построении системы оценки процессов СМК предприятия необходимо учитывать отдельные требования к данной системе:
‒ реализуемая модель процессов СМК предприятия, например, по стандартам ISO9001, IATF16949 и т.п.;
‒ особенности объектов оценки: система процессов предприятия, отдельных процессов и подсистем, например подсистем информационной поддержки СМК технических систем или объектов и т.д.;
‒ учет отраслевых особенностей процессов предприятия.
Важную роль играет выбор методологии и модели оценки из множества подходов к оценке систем качества. При разработке системы оценки процессов СМК предприятия, определения системы критериев и соответствующих им показателей оценки необходимо оценить существующий уровень СМК предприятия, возможные результаты предыдущих внешних оценок различных органов по сертификации и систем оценки. Это особенно важно при построении системы оценки подсистемы информационной поддержки СМК.
Рассмотрим основные аспекты построения системы оценки эффективности, качества и надежности информационной поддержки СМК. Можно выделить несколько проблем, которые должны решаться при создании и внедрении системы оценки на предприятии определенной отраслевой направленности.
Одна из основных задач, которая требует решения, это определение системы критериев и показателей оценки и самооценки. Рассмотрим эту задачу в контексте этапов построения системы оценки информационной поддержки СМК.
Предложены следующие этапы:
‒ определение места и роли подсистемы оценки информационной поддержки в общей системе процессов СМК;
‒ определение целей и задач оценки систем информационной поддержки в рамках общих целей и задач СМК и ее процессов;
‒ выбор вида оценки: количественная, качественная (экспертная) или комплексная; построение соответствующей системы и формирование набора основных направлений критериев и показателей оценки;
‒ построение системы свертки показателей, определение весовых коэффициентов, формирование критериев оценки достоверности и точности оценки, оценка согласованности мнений экспертов для экспертных систем оценки и т.д.;
‒ интерпретация результатов оценки как аспекта процесса непрерывного совершенствования СМК.
Оценка информационных систем и программных продуктов рассмотрена в стандартах ISO/IEC серии 25000. Например, в стандарте ISO/IEC 25020:2019 показана взаимосвязь между различными СМК и, соответственно, системами показателей оценки систем и программных продуктов [9]. Показатели качества рассматриваются в комплексе для системы и программного обеспечения. Выделены три направления оценки: качество системы и программного обеспечения, качество данных [18], качество ИТ-услуг.
Показатели качества системы и программного обеспечения подробнее рассмотрены в стандарте ISO/IEC 25023:2016 [10], разделены по следующим направлениям: показатели функциональной пригодности, показатели эффективности работы, показатели совместимости, показатели удобства использования, показатели надежности, показатели безопасности, показатели пригодности для обслуживания, показатели переносимости.
Рис. 1. Общая структура системы оценки информационной поддержки систем менеджмента качества Примечание: составлен автором по результатам данного исследования
Соответственно, при разработке структуры показателей оценки могут использоваться отдельные показатели качества, приведенные в разделе 8 стандарта ISO/IEC 25023:2016 [10]. При этом необходимо учитывать вид оценки, объект оценки – подсистему информационной поддержки.
В качестве основы построения систем оценки эффективности, качества и надежности информационной поддержки СМК предприятия предлагается использовать модель оценки EFQM Excellence Award. Данная модель включает показатели по различным видам и направлениям оценки:
‒ Внешние оценки. Например, результаты оценки соответствия методологии ITIL4.0, аудитов СМК, оценки по модели EFQM Excellence Award и т.д.
‒ Показатели эффективности и результативности процессов СМК. В модель оценки могут входить, например, показатели качества ключевых процессов, оценка качества продукции, в том числе потребителем, уровни дефектности, количество инцидентов, отказов и т.д. Они могут выражаться в абсолютных или относительных величинах, учитывать динамику показателей за период оценки, уровень выполнения целевых показателей процессов, заданных на уровне менеджмента процессов.
‒ Показатели самооценки, в том числе результаты внутренних аудитов СМК, самооценки по модели EFQM Excellence Award и т.д.
Основой построения СМК служит процессный подход. Соответственно, он служит основой построения интегрированной системы оценки СМК. Данная система включает в качестве подсистемы систему оценки информационной поддержки СМК. Рассмотрим структуру системы оценки информационной поддержки СМК (рис. 1). Обобщенно структура подобной системы содержит три уровня.
Первый уровень отражает оценку системы процессов СМК с использованием соответствующей системы показателей процессов. В этом уровне должны быть учтены ключевые процессы и важность, значимость показателей именно данных процессов для общей оценки системы. Отдельной задачей является структурирование такой системы показателей.
Рис. 2. Процесс оценки информационной поддержки систем менеджмента качества Примечание: составлен авторами по результатам данного исследования
Другой уровень должен учитывать характер процессов системы и виды информации, используемые в этих процессах. Должна быть, например, учтена специфика процессов, в которых преобладает информационная составляющая, и сами процессы представляют собой циклы преобразования, обработки, представления и анализа информации.
Следующий уровень должен учитывать иерархическую структуру поуровневого сбора, интегрирования и передачи на следующий уровень интегральной оценки данного уровня показателей. Систему подобной двухуровневой свертки показателей представляет собой система критериев модели EFQM Excellence Award и Российской Премит в области качества как система самооценки. В такой системе отдельным направлением является оценка со стороны потребителей, общества, всех заинтересованных сторон.
В ходе исследования была разработана методика оценки системы качества предприятия, включающая оценку информационной поддержки СМК. Основные этапы процесса оценки информационной поддержки СМК показаны на рис. 2.
В общем виде процесс оценки состоит из следующих этапов:
1. Принятие решения об оценке.
Здесь определяется вид и порядок оценки. Как правило, внутренняя самооценка проводится регулярно в установленном порядке.
2. Определение состава критериев, характеристик и показателей оценки.
Как уже говорилось, для интегрированных систем оценки показатели определяются видом и объектом оценки. Для оценки системы качества можно выделить следующие возможные группы показателей:
‒ показатели оценки и самооценки по модели EFQM Excellence Award 2020;
‒ показатели соответствия СМК требованиям стандартов, например ISO 9001-2015;
‒ показатели характеристики продукта или услуги;
‒ показатели соответствия процессов СМК требованиям, определенным в документации процессов СМК предприятия;
‒ показатели и характеристики инфраструктуры и оборудования;
‒ показатели по кадровому обеспечению;
‒ показатели по процессам поставок материалов и комплектующих;
‒ экономические показатели, прибыль, рентабельность и т.п.;
‒ показатели потребителей, рекламации, дефекты.
При проведении оценки эффективности, качества и надежности информационной поддержки СМК для определения состава показателей качества рекомендуется использовать в качестве основного методику стандартов ИСО/МЭК серии 25000 [9; 10].
3. Определение, корректировка методов измерения показателей качества.
Вопрос определения методов измерения показателей процессов в СМК достаточно сложный, не имеющий однозначного решения. В зависимости от видов и особенностей вида оценки, характеристик и показателей процессов могут использоваться различные методы измерения: социологические, экспертные, сравнения, расчетные и инструментальные [19].
4. Проведение оценки.
5. Мониторинг процессов, сбор данных.
В зависимости от вида оценки производится расчет показателей, приведение данных к единому виду, преобразование первичной информации к обобщенной оценке СМК.
6. Документирование результатов оценки, анализ результатов.
7. Корректирующие и предупреждающие действия, мероприятия по улучшению.
Для СМК это, как правило, разработка корректирующих и предупреждающих действий, мероприятия по улучшению СМК. Для системы информационной поддержки СМК это могут быть мероприятия по следующим направлениям [7; 9; 10]: функциональная пригодность, быстродействие, технические и технологические показатели; эффективность работы, экономичность; удобство использования, юзабилити (usability); надежность; информационная безопасность, конфиденциальность, защищенность от НСД; пригодность для обслуживания; совместимость, переносимость.
Система информационной поддержки СМК выступает, с одной стороны, как инфраструктурная основа для реализации системы оценки, а с другой стороны, может сама выступать как объект оценки. При использовании информационной системы для оценки процессов СМК и СМК в целом необходимо реализовать в ней системы показателей для единовременной развернутой оценки и оперативной самооценки, интерфейсы специалистов и руководителей различного уровня.
При создании интегрированной системы оценки СМК следует иметь в виду, что основу СМК составляет система информационной поддержки процессов предприятия. В составе этой системы должны быть предусмотрены информационные потоки и базы данных, обеспечивающие движение и хранение разноуровневой информации по оценке системы. Соответственно, должна быть определена клиентская часть, которая через интерфейсы пользователей разного уровня обеспечивает оперативное поступление информации на места принятия решений в организационной системе предприятия.
Заключение
Предложен комплексный подход к разработке системы оценки информационной поддержки СМК, при котором она может использоваться для решения задач лицензирования, аттестации или аккредитации организации, при анализе соответствия СМК международным стандартам, соответствия профессиональным стандартам, соответствия организации критериям модели EFQM Excellence Award 2020 и в других задачах, требующих анализа процессов, связанных с деятельностью организации и ее подразделений. Многие из этих задач имеют сходную систему показателей, основанную, как правило, на иерархических моделях и табличных представлениях данных. При таком подходе система информационной поддержки может являться информационной базой для определения показателей качества практически любого подразделения организации и всего предприятия в целом, но при этом она должна уметь настраиваться на разные системы показателей.
Применение рассмотренных методов и системы оценки информационной поддержки СМК в рамках общей системы оценки СМК предприятия позволяет определять области для улучшения и постоянно повышать эффективность систем информационной поддержки СМК.