Файл: Исаев Г Н Теоретико-методологические основы качества информационных систем.doc

Адекватность оценки в значительной мере зависит от возможности сравнения ИС и соответствующих показателей между собой. Сравнительность может быть показана через уровень качества, определяемый как отношение фактических и базовых значений показателей соответствующего вида [98]. Отсюда, одним из ключевых этапов оценки качества является определение фактических и базовых значений показателей для оценки качества ИС. В теоретическом ракурсе эта задача может быть идентифицирована, рассмотрена и возможно решена в рамках так называемого концептуального метамоделирования, рассматриваемого как теоретико-методологическая основа взаимоотношений материального и идеального миров [160]. Решение задачи предполагает прохождение нескольких этапов с выполнением теоретических и практических работ.

В квалиметрии ИС в роли значений базовых показателей целесообразно применять значения, достигнутые в условиях передового отечественного и зарубежного опыта разработки и эксплуатации так называемых «эталонных» ИС. Эти значения и (или) требования к параметрам качества ИС должны указываться в нормативно-технической документации, в частности, международных стандартах, ГОСТах, ОСТах, СТП, технических требованиях, руководящих технических материалах. К сожалению, указанные категории нормативной документации, по причине недостаточной разработанности проблемы, редко, а иногда и вовсе не содержат значения базовых показателей качества ИС.

На первоначальном этапе функционирования системы КИС в роли значений базовых показателей можно взять значения лучших отечественных и зарубежных ИС [98], по которым имеются достоверные сведения по их качеству. Кроме того, за исходные значения могут быть приняты планируемые значения показателей в перспективе эксплуатации ИС, или найденные экспериментальным или теоретическим путем. На последующих этапах эксплуатации ИС, при условии репрезентативной выборки статистических данных о значениях показателей качества ИС, то есть достигнутые значения показателей в предыдущих периодах времени, можно будет получить значения базовых показателей расчетным способом.

Значения интегральных показателей могут быть определены как средневзвешенные величины. Эти величины принимаются соответственно по единичным, групповым, базовым, относительным показателям качества. Значения показателей могут быть просчитаны как по отдельным этапам, так и в целом по ИС. Значения групповых показателей могут быть взяты по набору единичных показателей, входящих в систему показателей, принятых в целом для ИС. Таким образом, эти групповые показатели будут отображать как иерархичность, так и многосвязность свойств.

Значения обобщенных показателей по своей природе зависят от соответствующих фактических значений единичных и (или) групповых показателей, то есть находятся в причинно-следственной связи. С учетом содержания таких обобщенных показателей как, например, производительность технологического процесса ИС и себестоимость обработки информации можно сказать, что они взаимосвязаны и в значительной мере зависят от дефектов обработки. Определить значения производительности и себестоимости можно путем установления функциональной зависимости между значениями обобщенных показателей, с одной стороны, и значениями показателей, формируемых с учетом дефектов обработки по достоверности, полноте, своевременности, с другой. Априори можно предположить, что указанная зависимость может существовать в форме закономерности. Это должно быть подтверждено экспериментально. В работах по совершенствованию качества ИС необходимо, в частности, решать задачи управления, прогнозирования значений показателей качества при определенных условиях. Тогда становится необходимым определение значимости или «веса» каждого класса дефектов, которые при измерении могут быть обозначены как переменные величины в указанной выше функциональной зависимости, или закономерности.

Определить значения обобщенных показателей и коэффициентов весомости по каждой переменной можно на основе регрессионного анализа [96,99]. При этом необходимый для этого учет изменения значений переменных можно принять равным 1%. В нашем случае коэффициенты весомости могут быть определены, как коэффициенты регрессии принятых переменных по достоверности, полноте, своевременности и др. Свободные члены регрессионных уравнений будут показывать базовые значения соответствующих обобщенных показателей.

Для выполнения регрессионного анализа и построения регрессионной модели необходимо получить исходные данные по зависимости, которые можно задать в виде матриц фиксированных данных соответственно по производительности и себестоимости. Следует отметить, что сравнительно трудоемкий процесс решения уравнений, получения коэффициентов весомости можно и целесообразно выполнить путем применения ЭВМ и соответствующих программ регрессионного анализа [188].

Измерение значений обобщенных показателей выполняется в натуральных и стоимостных единицах. Исходя из существа оценки качества ИС, производительность последней можно измерить в документо-днях, а себестоимость обработки одного документа в рублях, хотя в принципе возможно измерение в шкалах другой градации. При измерении относительных значений обобщенных показателей необходимо учитывать прямые и обратные функциональные зависимости значений обобщенных показателей качества, в частности производительности ИС и себестоимости обработки единицы информации (файла, документа и др.). В нашем случае, с учетом принятого выше условия измерения показателей, можно определить «относительный показатель производительности ИС - это отношение фактического значения производительности ИС к его базовому значению». При улучшении качества ИС значение относительного показателя в общем случае будет стремиться к 1, то есть имеется прямофункциональная зависимость. Но при улучшении качества показатель себестоимости будет направлен к нулю, так как имеет обратнофункциональную зависимость. С учетом принципа унификации и принятой нами шкалы целесообразно измерять относительный уровень себестоимости как отношение базового значения к фактическому значению.

Значительную роль в системе показателей оценки качества играют комплексные показатели. Как видно по таблице 2.4 они обладают свойствами иерархичности, агрегируемости и многосвязности. Они должны отвечать нескольким требованиям:

1. Репрезентативность - отображение в комплексном показателе всех основных характеристик ИС, по которым оценивается её качество.

2. Монотонность изменения комплексного показателя качества ИС при изменении любого из единичных показателей качества при фиксированных значениях остальных показателей.

3. Чувствительность к варьируемым параметрам ИС. Это требование состоит в том, что комплексный показатель качества должен согласованно реагировать на изменение каждого из еди­ничных показателей. Комплексный показатель является функцией оценок всех единичных показателей, а его чувствительность определяется первой производной этой функции. Значение комплексного показателя должно быть особенно чувствительно в тех случаях, когда какой-либо единичный показатель выходит за допустимые пределы. При этом комплексный показатель качества должен заметно уменьшать свое численное значение.

4. Нормированность - численное значение комплексного показателя находится между наибольшим и наименьшим значениями относительных комплексных показателей качества. Это требование нормировочного характера предопределяет размах шкалы измерений комплексного показателя.

5. Сравнительность результатов комплексной оценки качества обеспечивается одинаковостью методов их расчетов, в которых единичные показатели должны быть выражены в удельных величинах.

В принципиальном отношении методы оценки качества различных объектов, используемые в прикладных разделах квалиметрии, практически одинаковы. В тривиальной форме оценка качества ИС может быть выполнена по трем основным уровням: выше требований, соответствует требованиям, ниже требований. В практике управления качеством ИС оценка качества выполняется на основе квантификации свойств ИС. Каждое свойство может быть представлено в форме показателя качества, значение которого представляется в цифровой форме. На основе сопоставительного анализа определяется уровень соответствия ИС определенным требованиям, которым она должна удовлетворять. В контексте рассмотренных выше понятий можно принять, что «оценка качества информационной системы – это реализация комплекса методов и средств по определению уровня соответствия информационной системы требованиям надсистемы».

В общем случае в СКИС необходимо стремиться к достижению наивысшего, то есть идеального значения показателя, которое возможно в заданных условиях работы каждой конкретной ИС. Для обеспечения сопоставимости значений определенных групп показателей наиболее целесообразным является использование унифицированной шкалы, когда значение показателя P будет находиться в пределах от 0 до 1, то есть 0P1. Допустим, что при P=1 ИС будет находиться в идеальном, требуемом состоянии, то есть в нужной области фазового пространства. В противном случае (P=0) ИС теряет соответствующее свойство, выходит из требуемой области фазового пространства, переходит в другое качественное состояние и возможно перестает быть ИС как таковой. Возможность наивысшего (базового) значения какого-либо показателя можно предположить на завершающем этапе технологии ИС, когда под воздействием КС УКИС значения показателей улучшаются от этапа к этапу.

По результатам измерения и оценки качества необходимо провести анализ КИС. Анализ представляет собой сложный процесс, предусматривающий изучение результатов оценки, факторов и условий, влияющих на уровень КИС, выявление «узких» участков ИС, причин дефектов и др. Так, например, полученные значения показателей качества ИС для удобства дальнейшего использования целесообразно записать в специальную форму - «Карту анализа и оценки качества ИС». Анализ и оценка КИС от начальных условий до выходных координат выполняется путем изучения значений комплекса показателей по схеме «от общего к частному», то есть от обобщенных показателей до единичных. В результате такого анализа необходимо определить состояние ИС, установить участки ИС, наиболее подверженные воздействию факторов, снижающих уровень качества ИС. Тогда на основе анализа факторов можно будет определить конкретные меры по улучшению качества ИС.

Логическим продолжением оценки и анализа КИС является выработка критериев совершенствования КИС. Эти критерии выбираются из общего состава показателей с учетом характера функционирования ИС. Так, например, при критическом увеличении объема дефектов искажения информации в роли такого критерия выбирается достоверность. В определенных условиях система СКИС должна отслеживать ряд критериев, при необходимости ранжированных по приоритету.

По результатам анализа выходных координат, оценки, выбора критериев, определения факторов-причин, «узких» мест и других категорий, снижающих уровень КИС, в соответствии с принципом самоорганизации система СКИС, например, в виде КС УКИС должна разработать систему мер, управляющих воздействий не только нейтрализующих снижение уровня качества, но и повышающих этот уровень. Эта система мер может быть разработана и представлена, например, в форме «Плана организационно-технических мероприятий по улучшению КИС». В общем случае в «План» могут быть включены различные мероприятия, например, документационно-информационные, технические, программные, технологические, организационные и др. Следует предполагать, что наибольший «вес» в «Плане» будут иметь мероприятия по совершенствованию качества информационных процессов, например, поиска и обработки данных. После подготовки, согласования, определения ресурсов и утверждения «Плана» проводятся мероприятия по его реализации, то есть разработка и внедрение оргтехмероприятий. В соответствии с принципом самоорганизации в функциональной структуре СКИС должен быть предусмотрен блок контроля за разработкой и реализацией этого «Плана».

Особенностью системы СКИС является то, что в её контуре возникают дефекты, которые могут снижать уровень качества не только самой управляемой ИС, но и КС УКИС. Одним из эффективных путей улучшения КИС является разработка и реализация методов и средств улучшения достоверности и полноты информации в рамках системы контроля обработки данных [60, 64, 65, 71, 79, 145, 146, 157]. Значительный эффект методы контроля дают в системах обработки информации цифрового содержания – учетных, отчетных, статистических, плановых, параметрических, где искажение даже одной цифры, например, финансовых, военных ИС, приводит в некоторых случаях к серьезным последствиям [60].

Задача обеспечения требуемого уровня достоверности данных вызывает необходимость применения процедур контроля на всех основных этапах технологического процесса обработки информации. Особому контролю подвергается достоверность выходных (производных) документов, перед выдачей их абоненту. Корректировка ошибок обусловливает необходимость привлечения дополнительных значительных трудовых, материальных, финансовых и временных ресурсов. Иногда искажения в документах вызывают необходимость повторной обработки документов. Для устранения подобных случаев усиливается внимание по обнаружению и исправлению ошибок на предмашинных этапах обработки. В связи с этим, особую значимость приобретает программный контроль достоверности на этапе ввода данных в ЭВМ.

Достоверность и полнота информации в ИС обеспечивается различным комплексом методов защиты: аппаратными, программными, организационными, комбинированными и др.[98]. По уровню применения технических средств методы контроля достоверности информации можно разделить на следующие основные категории: ручной, механический, автоматизированный и автоматический. Ручной или визуальный способ заключается в проверке правильности данных без применения каких-либо технических средств. При механическом способе применяются вспомогательные технические устройства, например, калькуляторы для подсчета контрольных сумм для пачки документов. Автоматизированный метод контроля состоит в диагностике правильности данных посредством соответствующих программных модулей пакетов прикладных программ (ППП). Автоматический метод состоит в программном выявлении ошибочного данного, определения его истинного значения и замены ошибочного значения на истинное значение в памяти ЭВМ [71,79]. В практике технологии обработки обычно применяются все указанные методы. Степень их применения зависит от класса и масштаба ИС.

В значительной части ИС организационного управления ввод информации в ЭВМ производится в форме документов [147]. С целью реализации контроля достоверности входной информации разрабатываются специальные прикладные программы [22,157,162,173,183,199,]. Эти диагностические программы ориентированы на контроль формальных и содержательных параметров входных первичных документов. При обнаружении ошибок они выдают сообщения оператору об адресе и модификации ошибки. Анализ работ по контролю достоверности данных показывает, что имеющиеся методы и программы контроля достоверности и полноты информации направлены, в основном, на обнаружение ошибок, их идентификацию. Исправление ошибок, восстановление достоверности данных выполняется только при непосредственном участии человека вручную.

С целью определения основных требований к методам и средствам повышения уровня достоверности обратимся к технологии обработки данных ИС. Почти каждый этап обработки сопровождается выполнением операций контроля данных, в которых значительный объем приходится на контроль достоверности и полноты сведений в обрабатываемых документах. Особо тщательно должна проверяться производная документация перед выдачей ее абонентам. Неадекватность (недостоверность и неполнота) сведений в документации влечет соответственно снижение эффективности принимаемых решений. Иногда это обусловливает повторную обработку пакета первичных документов, что увеличивает стоимость обработки информации, снижает уровень своевременности, ухудшает качество результатной информации. Таким образом, эффективность обработки в значительной мере зависит от операций контроля, предшествующих этапу обработки документов в ЭВМ.