Файл: И системного анализа.pdf

Основы теории систем и системного анализа 101
В результате сопоставления высказываний, проведения аналогий и обоб- щения часто, примерно через сутки, эксперты формулируют наиболее ценные предложения и идеи. Поэтому сбор информации по возможным новым идеям способствует повышению эффективности метода мозгового штурма.
Существует ряд разновидностей мозгового штурма, в которых предлага- ется чередовать пятиминутные штурмы с обдумыванием его результатов, чере- довать периоды генерации с дискуссиями и групповым принятием решений, применять последовательные этапы выдвижения предложений и их обсужде- ния, включать в группу экспертов «усилителей» и «подавителей» идей и т.п.
Мозговой штурм применяется для решения разнообразных прикладных про- блем.
Дискуссия. Этот вид экспертизы широко применяется на практике для обсуждения проблем, путей их решения, анализа различных факторов и т.п.
Для проведения дискуссии формируется группа экспертов не более 20 че- ловек. Группа управления проводит предварительный анализ проблем дискус- сии с целью четкой формулировки задач, определения требований к экспертам, их подбора и методики проведения дискуссии.
Сама дискуссия проводится как открытое коллективное обсуждение рас- сматриваемой проблемы, основной задачей которого является всесторонний анализ всех факторов, положительных и отрицательных последствий, выявле- ние позиций и интересов участников.
В ходе дискуссии разрешается критика. Большую роль в дискуссии игра- ет ведущий. От его умения создать творческую благожелательную атмосферу, четко выступить с постановкой проблемы, кратко и глубоко резюмировать вы- ступления и, главное, умело направить ход дискуссии на решение проблемы существенно зависит эффективность результатов обсуждения.
Дискуссия может проводиться в течение нескольких часов, поэтому не-
обходимо определить регламент работы:

время на доклад ведущего и выступления,

проведение перерывов.
Следует иметь в виду, что во время перерывов дискуссия продолжается, т.е. имеют место кулуарные обсуждения. В связи с этим не следует делать пе- рерывы слишком короткими, поскольку локальные обсуждения дают положи- тельный эффект.
Результаты дискуссии фиксируются в виде стенограмм или магнитной записи. После окончания дискуссии проводится анализ этих записей для более четкого представления основных результатов, выявления различий во мнениях.
В дискуссиях также примерно через сутки после окончания может соби- раться дополнительная информация от экспертов. Рассмотренные виды опроса дополняют друг друга и в определенной степени являются взаимозаменяемыми.
Для генерации новых объектов (идей, событий, проблем, решений) целе- сообразно применять мозговой штурм, дискуссии, анкетирование и метод
Дельфы (первые два тура).
102 Основы теории систем и системного анализа
Всесторонний критический анализ имеющегося перечня объектов эффек- тивно может быть проведен в форме дискуссии.
Для количественной и качественной оценки свойств, параметров, времени и других характеристик объектов применяются анкетирование и метод Дельфы.
Интервьюирование целесообразно использовать для уточнения результа- тов, полученных другими видами экспертизы.
10.4. Обработка экспертных оценок
После проведения опроса группы экспертов осуществляется обработка результатов. Исходной информацией для нее являются числовые данные, вы- ражающие предпочтения экспертов, и содержательное обоснование этих пред- почтений.
Целью обработки является получение обобщенных данных и новой ин- формации, содержащейся в скрытой форме в экспертных оценках. На основе результатов обработки формируется решение проблемы.
Наличие как числовых данных, так и содержательных высказываний экс- пертов приводит к необходимости применения качественных и количественных методов обработки результатов группового экспертного оценивания. Удельный вес этих методов существенно зависит от класса проблем, решаемых эксперт- ным оцениванием.
В зависимости от целей экспертного оценивания при обработке результа- тов опроса решают следующие основные задачи:
определение согласованности мнений экспертов;
построение обобщенной оценки объектов;
определение зависимости между суждениями экспертов;
определение относительных весов объектов;
оценка надежности результатов экспертизы.
Определение согласованности оценок экспертов необходимо для под- тверждения правильности гипотезы о том, что эксперты являются достаточно точными измерителями, и выявления возможных группировок в экспертной группе.
Оценка согласованности мнений экспертов производится путем вычис- ления количественной меры, характеризующей степень близости индивидуаль- ных мнений. Анализ значений меры согласованности способствует выработке правильного суждения об общем уровне знаний по решаемой проблеме и выяв- лению группировок мнений экспертов, обусловленных различием взглядов, концепций, существованием научных школ, характером профессиональной деятельности и т.п.
Задача построения обобщенной оценки объектов по индивидуальным оценкам экспертов возникает при групповом экспертном оценивании.
Если эксперты производили оценку объектов в количественной шкале,
то задача построения групповой оценки заключается в определении средне-
го значения или медианы оценки.

Основы теории систем и системного анализа 103
При измерении объектов в порядковой шкале методом ранжирования
или парного сравнения целью обработки индивидуальных оценок экспертов яв- ляется построение обобщенного упорядочения объектов на основе осреднения оценок экспертов.
Обработкой результатов экспертного оценивания можно определять зави- симости между суждениями различных экспертов. Выявление этих зависимо- стей позволяет устанавливать степень близости во мнениях экспертов.
Важное значение имеет установление зависимости между оценками объ- ектов, построенными по различным показателям сравнения. Это дает возмож- ность определить связанные между собой показатели сравнения и осуществить их группировку по степени взаимосвязи.
При решении многих задач недостаточно осуществить упорядочение объ- ектов по одному или по группе показателей. Желательно также иметь количе-
ственные значения относительной важности объектов. Для решения этой за- дачи можно сразу применить метод непосредственной оценки.
Однако эту же задачу при определенных условиях можно решить путем обработки результатов ранжирования или парных сравнений группы экспертов.
Оценки объектов, получаемые в результате обработки, представляют со- бой случайные величины, поэтому одной из важных задач является определе- ние их достоверности, т.е. надежности результатов экспертизы.
Обработка результатов экспертизы вручную связана с большими трудо- выми затратами (даже в случае решения простых задач упорядочения), поэтому ее целесообразно проводить на базе вычислительной техники. При организации обработки результатов опроса следует тщательно проанализировать трудоемко- сти решения задач с учетом разработки математического обеспечения для ЭВМ.
Определение согласованности экспертов.
При оценке объектов эксперты обычно расходятся во мнениях по решае- мой проблеме. В связи с этим возникает необходимость количественной оценки степени согласия экспертов. Получение количественной меры согласованности позволяет более обоснованно интерпретировать причины расхождения мнений.
Оценка согласованности суждений экспертов основывается на использо- вании понятия компактности, наглядное представление о котором дает геомет- рическая интерпретация результатов экспертизы. Оценка каждого эксперта представляется как точка в некотором пространстве, в котором имеется понятие евклидова расстояния. Если точки, характеризующие оценки всех экспертов, расположены на небольшом расстоянии друг от друга, т.е. образуют компакт- ную группу, то, очевидно, можно это интерпретировать как хорошую согласо- ванность мнений экспертов. Если же точки в пространстве разбросаны на зна- чительные расстояния, то согласованность мнений экспертов невысокая. Воз- можно, что точки - оценки экспертов расположены в пространстве так, что об- разуют две или несколько компактных групп. Это означает, что в экспертной группе существуют две или несколько существенно отличающихся точек зре- ния на оценку объектов.
104 Основы теории систем и системного анализа
Конкретизация оценки согласованности мнений экспертов произво-
дится в зависимости от использования количественных или качественных
шкал измерения и выбора меры степени согласованности.
При использовании количественных шкал измерения и оценке всего од- ного параметра объекта все мнения экспертов можно представить в виде точек на числовой оси. Эти точки можно рассматривать как реализации случайной величины и поэтому для оценки группировки и разброса точек использовать хорошо разработанные методы математической статистики.
Центр группировки точек позволяет определить математическое ожида- ние (среднее значение), медиану случайной величины, а дисперсию случайной величины. Мерой согласованности оценок экспертов, т.е. компактности распо- ложения точек на числовой оси, может служить отношение среднеквадратиче- ского отклонения к математическому ожиданию случайной величины.
Если объект оценивается несколькими числовыми параметрами, то мне- ние каждого эксперта представляется как точка в пространстве параметров.
Центр группировки точек опять определяется как математическое ожидание вектора параметров, а разброс точек - дисперсией вектора параметров. Мерой согласованности суждений экспертов служит в этом случае сумма расстояний оценок от среднего значения, отнесенная к расстоянию математического ожи- дания от начала координат. Мерой согласованности может также служить ко- личество точек, расположенных в радиусе среднеквадратического отклонения от математического ожидания, ко всему количеству точек. Различные методы определения согласованности количественных оценок на основе понятия ком- пактности рассматриваются в теории группировок и распознавания образов.
При измерении объектов в порядковой шкале согласованность оценок экспертов в виде ранжировании или парных сравнений объектов также основы- вается на понятии компактности.
Метод простого ранжирования заключается в том, что каждый эксперт располагает признаки в порядке предпочтения. Цифрой 1 обозначается наибо- лее важный признак, цифрой 2 – следующий по важности и т. д. Полученные результаты сводятся в таблицу 10.1
При ранжировании объектов в качестве меры согласованности мнений группы экспертов используется дисперсионный коэффициент конкордации (ко- эффициент согласия).
Таблица результатов ранжирования
Признаки или объект оценки
Эксперты
1 2 3 4 s d
X
1
r
11
r
12
r
13
r
14
r
1s r
1d
X
2
r
21
r
22
r
23
r
24
r
2s r
2d
X
3
r
31
r
32
r
33
r
34
r
3s r
3d
X
i r
i1
r i2
r i3
r i4
r is r
id
X
m r
m1
r m2
r m3
r m4
r ms r
md

Основы теории систем и системного анализа 105
Рассмотрим матрицу результатов ранжирований m объектов группой из d экспертов
,
)
,
1
;
,
1
(
,
m
i
d
s
r
is


где
is
r - ранг, присваиваемый s-м экспертом i-му объекту.
Составим суммы рангов по каждой строке. В результате получим вектор с ком- понентами



d
s
is
i
r
r
1
, (
m
i
,
1

).
Будем рассматривать величины
i
r как реализации случайной величины и найдем оценку дисперсии. Как известно, оптимальная по критерию минимума среднего квадрата ошибки оценка дисперсии определяется формулой:
2 1
)
(
1 1





m
i
i
r
r
m
D
, (10.1) где
r
- оценка математического ожидания, равная



m
i
i
r
m
r
1 1
. (10.2)
Дисперсионный коэффициент конкордации определяется как отношение
оценки дисперсии к максимальному значению этой оценки: max
D
D
W

. (10.3)
Коэффициент конкордации изменяется от нуля до единицы, поскольку max
0
D
D


Максимальное значение дисперсии равно
)
1
(
12
)
(
3 2
max



m
m
m
d
D
. (10.4)
Введем обозначение
2 1
1
)
(
r
r
S
m
i
d
s
is





. (10.5)
Используя (5), запишем оценку дисперсии (1) в виде
S
m
D



1 1
. (10.6)
Подставляя (10.4), (10.6) в (10.3) и сокращая на множитель (m – 1), запишем окончательное выражение для
коэффициента конкордации
)
(
12 3
2
m
m
d
S
W




. (10.7)
Данная формула определяет коэффициент конкордации для случая от-
сутствия связанных рангов.
106 Основы теории систем и системного анализа
Если W=0, то согласованность оценок различных экспертов отсутствует.
В этом случае для получения достоверных оценок следует уточнить исходные данные о событиях и (либо) изменить состав группы экспертов.
Если W=1, то согласованность оценок различных экспертов не всегда можно считать объективными. В этом случае может оказаться, что все члены экспертной группы условились придерживаться одинаковых взглядов.
Если в результате ранжирования имеются связанные ранги, то макси- мальное значение дисперсии в знаменателе формулы (10.3) становится меньше, чем при отсутствии связанных рангов. При наличии связанных рангов коэффи- циент конкордации вычисляется по формуле






d
s
s
T
d
m
m
d
S
W
1 3
2
)
(
12
, (10.10) где




s
H
k
k
k
s
h
h
T
1 3
)
(
. (10.10)
В формуле (10.10)
s
T – показатель связанных рангов в s-й ранжировке,
s
H – число групп равных рангов в s-й ранжировке,
k
h – число равных рангов в
k-й группе связанных рангов при ранжировке s-м экспертом.
Если совпадающих рангов нет, то
0

s
H
,
k
h = 0,
s
T =0. В этом случае формула (10.10) совпадает с формулой (10.7).
Коэффициент конкордации равен 1, если все ранжировки экспертов оди-
наковы, и равен нулю, если все ранжировки различны.
Коэффициент конкордации, вычисляемый по формулам (10.7) и (10.10), является оценкой истинного значения коэффициента и, следовательно, пред- ставляет собой случайную величину.
Для определения значимости оценки коэффициента конкордации необхо- димо знать распределение частот для различных значений числа экспертов d и количества объектов m.
Распределение частот для W при различных значениях m и d может быть определено по известным статистическим таблицам. При числе объектов m > 7 оценка значимости коэффициента конкордации может быть произведена по критерию
2

Величина
W
m
d
)
1
(

имеет хи-квадрат распределение с
1

 m

степе- нями свободы. При наличии связанных рангов хи-квадрат распределение с
1

 m

степенями свободы имеет значение







d
s
s
T
m
m
m
d
S
1 2
1 1
)
1
(
12


Основы теории систем и системного анализа 107
Контрольные вопросы
1. В чем заключается сущность метода экспертных оценок?
2. Какие типы задач решаются экспертами?
3. Какие классы проблем рассматриваются с использованием метода экспертных оценок?
4. Перечислите этапы реализации метода экспертных оценок.
5. Кто осуществляет организацию экспертизы?
6. На основе каких факторов осуществляется подбор состава экспертов?
7. Перечислите индивидуальные характеристики экспертов и охарактери- зуйте их.
9. Что принимается в качестве обобщенной характеристики эксперта и как она определяется?
9. Какие процедуры выполняются при проведении опроса экспертов?
10. Перечислите виды опроса экспертов и охарактеризуйте их.
11. Для решения каких типов задач используются соответствующие виды опроса экспертов?
12. Какие задачи решают при обработке результатов опроса экспертов?
13. Как осуществляется определение согласованности мнений экспертов?
108 Основы теории систем и системного анализа
11. ВАРИАНТЫ ЗАДАНИИЙ В ТЕСТОВОЙ ФОРМЕ

Основы теории систем и системного анализа 109 3) гипотезы, высказывания мнения;
4) конкретные понятия и система связей.
7. Установите соответствие термина и определения
Термин
Определение
1. Фактический ма- териал любой тео- рии
k) представляет собой совокупность понятий и суждений
2. Функции теории для построения систем
f) описательная, объяснительная, предсказательная, пред- писывающая
3. Рабочая среда
e) совокупность различных факторов, которые воздейст- вуют на человека-оператора в процессе его деятельности
Вариант 2
1. Простейшая, неделимая часть системы, определяемая в зависимости от цели построения и анализа системы:
1) компонент;
2) наблюдатель;
3) элемент;
4) атом.
2. Ограничение системы свободы элементов определяют понятием: а) критерий; б) цель; в) связь; г) страта.
3. Кто является автором идеи теста на интеллектуальность системы искусст- венного интеллекта?
1)А. Тьюринг;
2) Н. Винер;
3) К. Шеннон;
4) Фон Нейман.
4. Как называется интеллектуальная программа, способная делать логиче- ские выводы на основании знаний в конкретной предметной области и обеспе- чивающая решение специфических задач?
1) экспертная система;
2) решатель задач;
3) система управления базами данных;
4) система управления организацией.
110 Основы теории систем и системного анализа
5. Программы искусственного интеллекта отличаются от других про- грамм
_____________ (закончите определение)
6. Установите правильную
последовательность установления поведения системы по сложности:
1) решающие, автоматические, предвидящие, самоорганизующие;
2) абстрактные, синтезированные, концептуальные, централизованные;
3) обучаемые, закрытые, надежные, развивающиеся;
4) детерминированные, стохастические, эмерджентные, поглощающие
7. Установите соответствие термина и определения
Термин
Определение
1. Отличительная черта интеллекту- альных систем
k) использование моделирования знаний для решения зада- чи из конкретной проблемной области
2. Система
f) множество объектов вместе с отношениями этих объектов
3. Структурное представление системы
e) выделение элементов системы и связей между ними.
Тема 2. Основные методы и алгоритмы, предназначенные для обработки данных в системном анализе. Меры информации, используемые в системном анализе
Вариант 1
1. Системный анализ начинается с разработки: а) структура управления организацией; б) целей системы управления; в) критерия эффективности организации; г) методов управления.
2. «Дерево» целей – это: а) распределение целей по уровням управления; б) графическое распределение функций управления; в) иерархия должностей в организации; г) закрепление функций за подразделениями организации.
3. Системный анализ – это: а) метод, используемый при принятии управленческих решений; б) процесс развития организации; в) проектирование тенденций развития организации;