Комплексная методика управления качеством программных средств и предложения по совершенствованию стандартов
Баутов Андрей Николаевич

Федеральная система сертификации космической техники

anb_main@mail.ru
В докладе проанализированы принципы, стандарты и методы в области управления качеством программных средств (ПС) или программных продуктов. Для осуществления практических действий разработчиков по обеспечению качества и управлению им предлагается использовать комплексную методику, основанную на методах регрессионного анализа, регуляризации, прогнозирования и математического программирования. Важнейшей особенностью этой методики является возможность выработки обоснованного оптимального управления качеством ПС и постоянного улучшения продукции в соответствии с порядком, предусмотренным в [1].
Назначение и состав методики

В соответствии с международными стандартами [9] организация-разработчик для постоянного улучшения ПС должна анализировать и оценивать результаты текущей работы в сравнении с перспективными планами и целями своей деятельности. Указанными нормативными документами установлена необходимость применения статистических методов анализа данных, которые могут оказать помощь при оценивании, управлении и улучшении технологических процессов и качества ПС. Такая аналитическая работа способна помочь установить причины проблем и, следовательно, осуществлять эффективные корректирующие и предупреждающие действия. Результаты анализа данных о качестве ПС используются, чтобы установить [9]:

• 
  тенденции;
  
• 
  удовлетворенность и неудовлетворенность потребителей;
  
• 
  эффективность и результативность организации;
  
• 
  экономические аспекты качества, финансовые показатели и характеристики, связанные с рынком;
  
• 
  сравнение показателей качества ПС с точки зрения конкурентоспособности (benchmarking).
  

Действия по постоянному улучшению ПС в соответствии с [9] должны состоять из следующих шагов:

• 
  выбор области улучшения ПС;
  
• 
  оценка результативности существующего процесса разработки ПС;
  
• 
  анализ и проверка первопричин проблем;
  
• 
  исследование альтернатив и решений, которые способны устранить первопричины проблем и предотвратить их повторное возникновение;
  
• 
  оценка последствий планируемых действий;
  
• 
  стандартизация нового решения;
  
• 
  оценка результативности процесса и эффективности действий по улучшению ПС.
  

Поэтому в соответствии с требованиями [9] предлагаемая комплексная методика предназначена для поддержки принятия решений по обеспечению и управлению качеством программной продукции и ее постоянного улучшения. Она основана на системном подходе и обеспечивает проведение следующих работ по управлению качеством ПС:

• 
  задание требований к качеству ПС (порядок предусмотрен стандартами [3 – 10]);
  

- выбор показателей качества (порядок предусмотрен [6, 7, 10]);

- анализ соответствия ПС (в форме контроля качества порядок предусмотрен [3 – 10]), включая оценку факторов, влияющих на его качество (порядок вводится настоящей методикой);

- прогноз изменения показателей качества (порядок вводится настоящей методикой);

- оценка возможности осуществления оптимального управления качеством (порядок вводится настоящей методикой);

- нахождение решения, обеспечивающего оптимальное управление качеством (порядок вводится настоящей методикой).

Структура и состав методики соответствует процессному подходу к управлению качеством, введенному стандартами [9], действие которых предусмотрено с 2003 года. Математическое обеспечение методики реализовано в среде Mathcad 2000 Professional [2].

Задание требований к качеству ПС

В соответствии с [9] требования к ПС могут устанавливаться как заказчиками, так и организацией-разработчиком, самостоятельно определяющей требования заказчика. Требования к ПС могут содержаться, например, в технических спецификациях, стандартах на ПС, стандартах на процесс, контрактных соглашениях и нормативных требованиях.

Для целей комплексной методики требования к качеству ПС формируются в виде вектора произвольной размерности. Такой подход обеспечивает универсальность методики и адаптацию используемых алгоритмов к любым требованиям.
Выбор показателей качества

В стандарте [10] выделены характеристики (показатели) качества с позиций пользователя, разработчика и управляющего проектом. Этим документом рекомендуется 6 основных характеристик – функциональная пригодность, надежность, применимость, эффективность, сопровождаемость и переносимость, которые детализируются 21 показателем. Стандартом [7] на верхнем уровне выделены 6 характеристик – надежность, корректность, удобство применения, эффективность, универсальность и сопровождаемость, которые детализируются на втором уровне 19 комплексными показателями. На третьем уровне дальнейшая детализация осуществляется более чем 200 оценочными элементами. В стандарте [6] к общим характеристикам качества ПС отнесены функциональность, надежность, удобство использования, эффективность и сопровождаемость. В справочном приложении этого стандарта приведены примеры 20 подхарактеристик качества.

Сравнительный анализ позволяет заключить, что в различных нормативных документах номенклатура показателей качества ПС заметно отличается друг от друга. Стандарты практически не содержат рекомендаций по выбору, применению и упорядочению необходимой совокупности показателей качества. Кроме того, для большинства показателей отсутствуют методики их оценки и сравнения с установленными требованиями (критериями). Практическое использование существующих нормативных документов еще в большей степени осложняется тем, что ни один из них не содержит перечней факторов, влияющих на качество ПС, и методик их оценки.

Поэтому при разработке комплексной методики было предусмотрено, чтобы она позволяла формировать систему показателей качества для каждого конкретного ПС, учитывая любые особенности по составу и содержанию показателей, а также любые используемые нормативные документы. Для целей комплексной методики показатели качества ПС формируются в виде вектора произвольной размерности, которая определяется составом выбранных перед этим требований и принятой системой показателей. При этом показатели должны быть измеримы, хотя бы на уровне дихотомии (альтернативные признаки).

Анализ и оценка соответствия показателей качества предъявляемым требованиям

Методика предусматривает сравнение показателей с требованиями на основе вводимых критериев. Каких-либо ограничений на критерии не накладывается, однако рекомендуется использовать для оценки соответствия аппарат математической логики. При выполнении всех требований формируется вывод о соответствии качества ПС. В противном случае выделяются те показатели качества, которые не обеспечивают выполнение соответствующих требований.

Оценка факторов, влияющих на качество ПС, и построение модели качества

Для установления причин, которые привели к изменению показателей качества, используются процедуры регрессионного анализа. При этом:

• 
  формируется перечень потенциальных факторов;
  
• 
  проводится сбор соответствующих статистических данных;
  
• 
  с помощью метода регуляризации вычисляются коэффициенты регрессии;
  
• 
  оценивается адекватность модели опытным данным;
  
• 
  проверяется значимость коэффициентов регрессии;
  
• 
  выделяются коэффициенты регрессии и соответствующие им факторы, повышающие качество, и факторы – его снижающие.
  

Эта часть методики, включая демонстрацию ее практической применимости, описана в статье [2].

Комплексное и эффективное управление качеством ПС возможно только при наличии его модели. Совокупность статистически значимых факторов и показателей, а также коэффициентов регрессии образует такую модель качества ПС, которая используется в дальнейшем для прогнозирования и оптимального управления качеством.

Прогнозирование качества

Для оценки необходимости и срочности проведения мероприятий по корректировке системы качества и технологических процессов, обеспечивающих качество ПС, выполняются процедуры прогнозирования, которые обеспечивают:

• 
  установление тенденций изменения факторов на выбранном интервале времени;
  
• 
  расчет изменения показателей качества ПС и сравнение их будущих значений с установленными требованиями.
  

Методика включает ряд методов математического прогнозирования, позволяющих оценить:

• 
  наиболее вероятные значения прогнозируемых показателей качества;
  
• 
  погрешности прогнозов;
  
• 
  возможные значения прогнозируемых показателей качества при заданных уровнях риска ошибки прогноза;
  
• 
  систематические (тренды), гармонические и случайные составляющие процессов изменения показателей качества ПС.
  

Оптимальное управление качеством

Формирование оптимального управления качеством начинается с составления целевой функции и определения системы необходимых ограничений на управляемые факторы и другие переменные модели качества ПС. Рекомендуется целевой функцией полагать объем средств, инвестируемых для обеспечения качества ПС. При этом оптимизационная задача формулируется как нахождение минимального объема инвестиций, обеспечивающих заданные значения показателей качества.

В зависимости от структуры полученной ранее модели качества ПС, вида целевой функции и принятых ограничений выбирается соответствующий метод математического программирования. Если выделяемые ресурсы недостаточны, то формируется сообщение о невозможности обеспечить требуемый уровень качества ПС. В ином случае будет найдено оптимальное решение, при котором целевая функция достигает необходимого экстремума. Для учета статистической природы исходных данных цикл расчетов производится в таком объеме, чтобы получить устойчивое решение.
Обеспечение методики

Для успешного применения комплексной методики требуется наличие определенных условий и ресурсов, среди которых выделяются:

• 
  информационное обеспечение, основанное на системе обмена информацией между структурами предприятия-разработчика, базах данных о качестве ПС, документированных процедурах системы качества и т. д.;
  
• 
  программное обеспечение, реализующее численные алгоритмы анализа, прогнозирования и оптимального управления качеством ПС;
  
• 
  методическое обеспечение, включающее нормативные документы (стандарты), а также описание данной методики в виде развернутого руководства пользователя;
  
• 
  наличие подготовленного персонала, являющегося пользователем этой методики.
  

Предложения по совершенствованию стандартов

Проведенный анализ нормативного обеспечения показал, что имеющихся стандартов [3 – 10] для оптимального управления качеством и постоянного улучшения ПС недостаточно. Предлагается создать новый стандарт или группу стандартов на управление качеством ПС по всему циклу улучшения продукции, который мог бы служить действенным инструментом разработчиков. На начальном этапе таким документом может быть стандарт уровня предприятия.

В основу этого нормативного документа или системы вновь разрабатываемых документов может быть положена настоящая комплексная методика или ее отдельные части.
Выводы

Предлагаемая комплексная методика основана на принципах системного подхода и требованиях международных стандартов менеджмента качества [9]. Она учитывает требования существующих нормативных документов и использует математические методы, обеспечивающие объективность и эффективность управления качеством ПС. Адекватность методики подтверждена экспериментально с использованием численного моделирования. Отдельные положения методики опубликованы [2].

Литература

1. 
   Баутов А. Н. Новый менеджмент качества. “CIO – Директор информационной службы”, № 3, 2001 г.
   
2. 
   Баутов А. Н. Оценка факторов, влияющих на качество программных продуктов. “CIO – Директор информационной службы”, № 5 – 6, 2001 г.
   
3. 
   ГОСТ 15467-79. Управление качеством продукции. Основные понятия. Термины и определения.
   
4. 
   ГОСТ 15895-77. Статистические методы управления качеством продукции. Термины и определения.
   
5. 
   ГОСТ 16504-81. Испытания и контроль продукции. Основные термины и определения.
   
6. 
   ГОСТ 28806-90. Качество программных средств. Термины и определения.
   
7. 
   ГОСТ 28195-89. Оценка качества программных средств. Общие положения.
   
8. 
   Международные стандарты ИСО серии 9000 и 10000 на системы качества: версии 1994 г. – М.: Изд-во стандартов, 1995 г.
   
9. 
   Международные стандарты ИСО серии 9000: версии 2000 г.
   
10. 
    Международный стандарт ИСО/МЭК 9126:1993. Информационная технология. Оценка программного продукта. Характеристики качества и руководство по их применению.