Файл: Исаев Г Н Теоретико-методологические основы качества информационных систем.doc

Очень важной составляющей СКИС является оценка качества ИС. В моделировании и решении задач оценки качества используются эвристический, экспертный и аналитический подходы, базирующиеся на измерительном, расчетном, наукометрическом и социологическом способах получения значений показателей качества [1,101,220]. Эвристический метод строится, в основном, на базе профессионального опыта, интуиции, эвристики исследователя и не свободен от субъективности. Однако в определенных случаях он может выступать как единственно возможный метод определения показателей качества ИС, например, на этапе пилотажного исследования вопросов оценки качества ИС, необходимости экспресс-оценки качества.

Не отрицая положительных сторон экспертного метода в оценке качества, например, объектов вкусового, парфюмерного характера, отметим следующее. Необходимость привлечения группы высококвалифицированных специалистов, с одной стороны, рост количества и усложнение ИС, с другой, существенно ограничивают перспективность экспертного метода в оценке КИС. В экспертной оценке фактор субъективности является сравнительно более высоким, чем в аналитических методах [98]. Кроме того, имеется ряд задач, которые по определенным условиям нецелесообразно решать силами экспертов [155,194], например, жесткие ограничения по времени, по адекватности состава показателей качества, точности фактических значений показателей и др. Вместе с тем, имеются определенные задачи, решение которых целесообразно поручить экспертам. Так, например, представляется целесообразным определение экспертным путем формулирование основных параметров ИС на этапе пилотажного изучения её качества и др.

Расчетно-аналитический метод в СКИС представляется более адекватным [121]. Здесь состав и значения показателей качества определяются путем непосредственного, прямого наблюдения, регистрации и измерения состояния реально функционирующего объекта качества - ИС. Оценка выполняется на основе набора значений показателей качества, которые по агрегированию отображаемых свойств ИС составляют иерархическую систему.

Опорным понятием в оценке качества ИС является «показатель качества». В методологии оценки доминирующей задачей является определение системы показателей оценки КИС. На этой базе проводится последующие расчет значений показателей и оценка качества ИС. Важным этапом в оценке качества является получение значений единичных фактических показателей, так как с учетом указанных значений определяются значения других показателей, привлекаемых для оценки. Наиболее трудной задачей является определение адекватных первичных показателей, которые бы обладали способностью отражения не только содержания свойств системы СКИС, но также и проявления интенсивности и масштабности этих свойств. Наиболее рациональным определение показателей представляется в нашем случае путем прямого наблюдения и регистрации дефектов по этапам, участкам, устройствам ИС. С учетом сравнительно больших объемов обрабатываемой информации в ИС регистрацию дефектов целесообразно выполнить выборочным методом. Эффективность регистрации дефектов и последующее решение задачи определяется регламентом, например, методикой заполнения «Ведомости выявленных дефектов ИС» [97]. Состав показателей может быть определен путем устранения неоднородности статистической структуры дефектов, например, кластер-анализа, дискриминантного анализа и др. [20,50-52,181].

Оценка качества ИС проводится в соответствии с общими принципами СКИС. Вместе с тем целесообразно определить и собственные принципы оценки:

1. Обоснованность оценки качества ИС. Оценка качества выполняется только для такой ИС, которая способна выполнять полезные функции в соответствии с ее назначением. Если ИС не соответствует основным требованиям, например, её продукция никем не востребована, то оценка ИС становится проблематичной.

2. Системность оценки качества ИС. Оценка качества производится не отдельным показателем, а посредством системы показателей. Система показателей имеет свойство иерархичности. Показатель любого уровня обобщения определяется соответствующими показателями предшествующего иерархического уровня. Самым низким иерархическим уровнем показателей следует понимать единичные показатели. Более высокие иерархические уровни составляют групповые, интегральные, обобщенные и комплексные показатели качества.

3. Унифицированность единиц измерения качества ИС. При оценке качества двух и более ИС все разноразмерные показатели должны быть преобразованы и выражены в унифицированных системных единицах измерения.

4. Обязательность определения весомости показателя качества ИС. При определении обобщённого показателя качества важность каждого показателя отдельного свойства должна быть отображена коэффициентом его весомости.

5. Определенность суммы значений коэффициентов весомости. Сумма численных значений коэффициентов весомости всех показателей качества ИС на иерархических ступенях оценки имеет одинаковое значение, например 1, или 100%.

6. Учет эмерджентности в оценке качества ИС. Качество ИС обусловлено качеством её составных частей. При рассмотрении качества ИС в целом соблюдается условие ее эмерджентности, то есть на этапе синтеза ИС формируются её новые свойства, которые не принадлежат ни одному из элементов ИС в отдельности.

7. Устранение дублирующих показателей. При количественной оценке качества, особенно по комплексному показателю ИС, недопустимо использование дублирующих показателей одного и того же свойства.

8. Обязательность эталона качества ИС. Квалиметрия ИС и её продукции не может быть выполнена без наличия эталона ИС, как компонента относительной оценки. Относительная величина значений показателя качества определяется путем отношения фактического значения показателя к его базовому (эталонному) значению.

9. Приоритет заказчика в оценке качества ИС. В задачах практической оценки качества ИС и ее продукции приоритет в выборе определяющих показателей остается за рациональным потребителем, а не за производителем (разработчиком). В силу того, что полезный эффект от ИС достигается при её эксплуатации, то при оценке качества преимущественно используются показатели потребителя. Эти показатели отражают способность ИС соответствовать своему назначению, удовлетворять информационные потребности пользователя.

10. Достоверность оценки качества ИС. Оценка КИС обязана давать практике обоснованные и полезные методы достоверной квалифицированной и количественной оценки качества различных классов ИС. В отношении оценки качества информационной продукции проблема состоит в том, что у потребителей и производителей продукции интересы существенно различаются. Производитель не всегда заинтересован и часто не может создавать продукцию нужного качества, а продавать ее он стремится по наиболее высокой цене. Потребитель же заинтересован в дешевой продукции, но хорошего качества. Поэтому указанные подходы к оценке качества продукции могут быть разными. Методы и средства оценки КИС должны обеспечивать достоверность оценки, отвечать методологическим принципам СКИС, учитывать общественные интересы, гармонизировать интересы потребителей и производителей.

11. Универсальность оцениваемых свойств ИС. В контексте маркетинга в квалиметрии ИС приоритетным является определение потребительских свойств ИС не отдельным потребителем, а группой потребителей. Существуют универсальные и специфические свойства ИС. Объективно присутствует условие универсальности потребительских свойств, которое проявляется в наличии людей с пересекающимися требованиями к ИС. В силу объективности свойств ИС следует учитывать и случаи необходимости учета отдельного заказчика с его индивидуальными требованиями к ИС и ее компонентам, например, к программному обеспечению.

12. Ограниченность состава свойств ИС. В методологическом аспекте невозможно выявить полный (абсолютный) состав свойств, а следовательно и состав показателей КИС. В практической задаче количественная оценка качества осуществляется по редуцированному ряду наиболее значимых, определяющих, репрезентативных показателей. Редукция и достаточность состава показателей определяется условиями решения конкретной задачи оценки качества ИС.

13. Оценка качества ИС базируется на измерении качества через количество. Квантификация свойств ИС происходит путем придания числовой формы интенсивности проявления свойств, как отдельных компонент ИС, так и ИС в целом.

Вышеперечисленные методологические принципы оценки качества ИС не исчерпывают всех концептуальных положений этой задачи. Однако эти принципы являются основополагающими при решении общих и частных вопросов, связанных с методами оценки качества ИС.

Одним из сложных вопросов оценки качества является проведение сопоставительного анализа объективных свойств различных ИС в контексте субъективных во многом потребностей отдельных специалистов и их групп. Очевидно, что значительной категорией оценки качества ИС является понятие о потребностях специалистов в определенном качестве ИС и ее продукции и о количественной оценке этих потребностей. Потребность в информационной продукции требуемого качества - это то, что испытывают специалисты для решения своих профессиональных задач. Эти потребности конкретны и имеют свои границы.

Исходя из жизненного цикла ИС, оценка качества может быть выполнена на этапе ее проектирования, на этапе ее построения, на этапе ее эксплуатации и развития. Кроме того, оценка качества ИС может быть выполнена и на этапе выбора лучшего варианта среди других объектов подобного класса. Определить количественную значимость оценки качества по всем фазам жизненного цикла в настоящее время представляется проблематичным. В настоящее время еще не созданы методические средства, обеспечивающие адекватную оценку вышеуказанной значимости [98]. Вместе с тем, в практическом отношении чаще всего занимаются оценкой качества ИС на этапе ее эксплуатации, то есть проводится оценка качества реально функционирующей ИС, так как фаза эксплуатации ИС является наиболее прагматичной и длительной в жизненном цикле ИС.

С учетом вышеизложенного можно сформулировать основные требования к методике оценки качества ИС:

1. Определение расчетно-аналитическим путем обоснованного набора показателей качества, измеряемых в количественной форме, с возможностью применения ЭВМ.

2. Объективность оценки уровня качества и определение степени соответствия качества ИС установленным требованиям.

3. Сопоставимость значений показателей качества ИС, как по периоду времени эксплуатации отдельной ИС, так и нескольких ИС определенного класса между собой.

4. Возможность выбора предпочтительного варианта ИС в соответствии с заданными критериями качества.

5. Установление обоснованного подхода к разработке требований к модернизации эксплуатируемых и в определенной мере будущих (проектируемых) ИС.

6. Выявление и анализ факторов, влияющих на уровень качества ИС.

7. Обеспечение разработки организационно-технических и информационно-технологических мероприятий в решении задач совершенствования качества ИС.

В оценке качества ИС наиболее адекватным представляется расчетно-аналитический подход, базирующийся на измерительном и расчетном способах получения показателей качества [113,121]. При расчетно-аналитическом методе состав и значения показателей формируются по результатам непосредственного, прямого наблюдения, регистрации и измерения состояния реально функционирующего объекта качества, то есть ИС. С учетом вышеуказанных принципов и требований к оценке качества рассмотрим порядок применения аналитического метода оценки качества ИС в аспекте функционирования системы СКИС.

В результате измерения КИС должен быть получен набор числовых величин, характеризующих КИС, например, количество искажений (ошибок) в значениях обрабатываемых документов на этапе ввода данных в ЭВМ, стоимость обработки информации по элементарной акции, например «запрос-ответ» и др. Значения характеристик определяются с учетом параметрических и функциональных свойств контролируемой ИС [73,81,213]. Параметры всегда находятся в рамках определенной измерительной шкалы. Тип шкалы выбирается в зависимости от состава и содержания задачи оценки качества.

После измерения выполняется оценка качества ИС. При оценке качества ИС следует учитывать, что она всегда предназначена для применения в различных формах, в частности, для реализации как товар. При купле-продаже качество ИС выступает как предопределяющий фактор рыночного процесса и практической экономики ИС. В состав этой экономики включены проектирование, продажа и эксплуатация ИС, в том числе ЭВМ, программное обеспечение и др. Оценка КИС проводится для решения следующих основных задач:

• обеспечение и управление качеством ИС и ее продукции;

• аттестация ИС и ее компонентов;

• выбор наилучшего варианта ИС;

• контроль качества;

• анализ изменения уровня качества;

• планирование оргтехмероприятий по улучшению качества ИС и др.

Перед оценкой КИС устанавливают цель определения уровня качества ИС. Цель предопределяет метод аналитической оценки КИС. При этом первоначально классифицируют оцениваемую ИС. Примером аналитической оценки может быть редуцированная классификация свойств ИС (таблица 2.3).

Важным этапом в аналитической оценке КИС является рассмотрение результатов функционирования ИС. К основной форме результата ИС относятся различные категории информационной продукции и услуг (таблица 2.5). Продукция и услуги

Таблица 2.5

Классификация информационной продукции и услуг