Файл: И системного анализа.pdf

ВУЗ: Не указан

Категория: Не указан

Дисциплина: Не указана

Добавлен: 23.11.2023

Просмотров: 172

Скачиваний: 2

ВНИМАНИЕ! Если данный файл нарушает Ваши авторские права, то обязательно сообщите нам.

Основы теории систем и системного анализа 89
Рисунок 9.6 – Обобщенная модель самоорганизующейся системы
Стрелки на схеме отражают «многократную повторяемость циклов воз- действия». При этом путь:
ABCDE (контур 1) -- контур «оперативной информации», или авто регу- ляции, как контур реакции системы на воздействие с целью сохранения устой- чивости (гомеостаза);
BFGDC (контур 2) -- контур «структурной информации» как контур от- ветов и запоминания множества «полезных следов», накопления разнообразия, опыта, адаптации, самообучения, иначе говоря, контур развития и совершенст- вования организации. С помощью этого контура система накапливает, структу- рирует, формирует потенциал знаний для своего будущего развития.
Контрольные вопросы
1. Перечислите основные системообразующие принципы самооргани- зующихся систем.
2. В чем заключается самоорганизация систем?
3. Что представляет кибернетическая адаптивная система, в чем ее назна- чение?
4. Какое утверждение положено в основу самоорганизации нейронных?
5. Какие фазы развития присущи самоорганизующимся системам?
90 Основы теории систем и системного анализа
6. Как реализуется интерпретация ответов нейронной сети?
7. В чем заключается роль состояния бифуркации и какие имеет особен- ности?
8. Какие виды самоорганизации систем вы знаете?
9. Что представляет собой техническая самоорганизация как процесс?
10. Какие два основных класса среди механизмов самоорганизации мож- но выделить?
11. Что представляет собой техническая самоорганизация как явление?
12. По какому принципу функционирует биологическая самоорганизация как процесс?
13. Для каких исследований предназначена биологическая самоорганиза- ция как явление?
14. По какому принципу функционирует социальная самоорганизация как процесс?
15. В чем заключается роль и назначение социальной самоорганизации?
16. Приведите схему функционирования самоорганизующихся открытых систем?
17. Перечислите основные свойства самоорганизующихся систем.

Основы теории систем и системного анализа 91
10. ЭКСПЕРТНЫЕ СИСТЕМЫ
Экспертные системы широко используются для решения неструктуриро- ванных проблем в тех случаях, когда математическая формализация проблем либо невозможна в силу их новизны и сложности, либо требует больших затрат времени и средств.
При этом экспертные системы не только не предполагают вытеснения че- ловека из каких-либо интеллектуальных сфер деятельности, а наоборот, ориен- тируются на то, что профессиональные знания специалиста в большинстве слу- чаев лучше описывают плохо структурированную действительность, чем любая искусственная модель.
Экспертная система – компьютерная система, способная частично заме- нить специалиста-эксперта в разрешении проблемной ситуации. Схема работы экспертной системы представлена на рисунке 10.1.
Рисунок 10.1 – Схема работы экспертной системы
Экспертная система должна содержать базу знаний, которая содержит факты и правила логического вывода в выбранной предметной области, опре- деляемые экспертом. Применяя правила из базы знаний к содержащимся в ней фактам можно получать новые факты. На основе такой базы знаний экспертная система принимает решения.
Любая экспертная система может функционировать в двух режимах:
1. Режим ввода знаний.
2. Режим консультации.
В первом режиме эксперт с помощью инженера по знаниям (специалиста по разработке интеллектуальных информационных систем) посредством редак- тора базы знаний вводит известные ему сведения о предметной области в базу знаний экспертной системы.
Во втором режиме пользователь ведёт диалог с экспертной системой, вводя данные текущей задачи и получая рекомендации экспертной системы.
Экспертные системы разделяют на:
92 Основы теории систем и системного анализа
1. Статические – решающие задачи в условиях не изменяющихся во вре- мени исходных данных и знаний.
2. Квазидинамические – решают задачи в условиях изменяющихся во времени исходных данных и знаний с некоторым фиксированным интервалом времени.
3. Динамические - решающие задачи в условиях изменяющихся во вре- мени исходных данных и знаний.
Выделяют 6 этапов разработки экспертных систем:
1. Этап идентификации проблем – определяются задачи, которые необхо- димо решить, цели разработки, эксперты и типы пользователей.
2. Этап извлечения знаний –проводится анализ предметной области, оп- ределяются используемые понятия и их взаимосвязи, выбираются методы ре- шения.
3. Этап структурирования знаний – определяются способы представления знаний, формализуются основные понятия, определяются способы интерпрета- ции знаний, моделируется работа системы.
4. Этап формализации – осуществляется заполнение базы знаний экспер- том. Происходит в несколько действий: извлечение знаний из эксперта, органи- зация знаний, обеспечивающая эффективную работу системы, представление знаний в понятном для экспертной системы виде.
5. Реализация экспертной системы – создаётся один или несколько прото- типов экспертной системы, решающих требуемые задачи.
6. Этап тестирования – производится оценка выбранного способа пред- ставления знаний и эффективность работы экспертной системы в целом.
Экспертные системы нашли широкое применение в повседневной жизни и используются в самых различных областях. Наиболее известными и хорошо проработанными экспертными системами являются WolframAlpha (база знаний и набор вычислительных алгоритмов для решения математических задач),
MYCIN (диагностическая система, предназначенная для диагностики и наблю- дения за состоянием больного при менингите и бактериальных инфекциях) и
Акинатор (интернет-игра, в которой компьютер отгадывает персонажа, зага- данного пользователем, путём задавания ему вопросов; имеет автоматически пополняемую базу знаний).
Процесс подготовки и проведения экспертизы включает следующие эта- пы:
1. определение цепей экспертизы;
2. формирование группы специалистов-аналитиков;
3. формирование группы экспертов;
4. разработка сценария и процедур экспертизы;
5. сбор и анализ экспертной информации;
6. обработка экспертной информации;
7. анализ результатов экспертизы и принятия решений.


Основы теории систем и системного анализа 93
10.1 Метод обработки экспертных оценок
Необходимость широкого применения экспертных оценок в процессе формирования и выбора решений обусловлена влиянием различных факторов на повышение эффективности и качества работы. Экспертиза как способ полу- чения информации всегда использовалась при выработке решений. Результаты исследований позволяют сделать вывод о том, что в настоящее время эксперт- ные оценки являются в основном сформировавшимся научным методом анали- за сложных неформализуемых проблем.
Сущность метода экспертных оценок заключается в рациональной орга- низации проведения экспертами анализа проблемы с количественной оценкой суждений и обработкой их результатов. Обобщенное мнение группы экспертов принимается как решение проблемы. В процессе принятия решений эксперты выполняют информационную и аналитическую работу по формированию и оценке решений.
Все многообразие решаемых ими задач сводится к трем типам:
формирование объектов,
оценка характеристик,
формирование и оценка характеристик объектов.
Формирование объектов включает определение возможных событий и явлений, построение гипотез, формулировку целей, ограничений, вариантов решений, определение признаков и показателей для описания свойств объектов и их взаимосвязей и т.п.
В задаче оценки характеристик эксперты производят измерения досто- верности событий и гипотез, важности целей, значений признаков и показате- лей, предпочтений решений. В задаче формирования и оценки характеристик объектов осуществляется комплексное решение первых двух типов задач. Та- ким образом, эксперт генерирует объекты (идеи, события, решения и т.п.) и оценивает их характеристики.
При решении рассмотренных задач все множество проблем можно разде- лить на два класса: с достаточным и недостаточным информационным
потенциалом.
Для проблем первого класса имеется необходимый объем знаний и опыта по их решению. Поэтому по отношению к этим проблемам эксперты являются качественными источниками и достаточно точными измерителями информа- ции. Для таких проблем обобщенное мнение группы экспертов определяется осреднением их индивидуальных суждений и является близким к истинному.
В отношении проблем второго класса эксперты уже не могут рассматри- ваться как достаточно точные измерители. Мнение одного эксперта может ока- заться правильным, хотя оно сильно отличается от мнения всех остальных экс- пертов. Обработка результатов экспертизы при решении проблем второго клас- са не может основываться на методах осреднения.
Метод экспертных оценок применяется для решения проблем прогнози- рования, планирования и разработки программ деятельности, нормирования труда, выбора перспективной техники, оценки качества продукции и др. Для
94 Основы теории систем и системного анализа применения метода экспертных оценок в процессе принятия решений необхо- димо рассмотреть вопросы подбора экспертов, проведения опроса и обработ-
ки его результатов.
10.2. Подбор экспертов
В зависимости от масштаба решаемой проблемы организацию экспертизы осуществляет ЛПР или назначаемая им группа управления. Подбор количест- венного и качественного состава экспертов производится на основе анализа широты проблемы, требуемой достоверности оценок, характеристик экспертов и затрат ресурсов.
Широта решаемой проблемы определяет необходимость привлечения к экспертизе специалистов различного профиля. Следовательно, минимальное число экспертов определяется количеством различных аспектов, направлений, которые необходимо учесть при решении проблемы.
Достоверность оценок группы экспертов зависит от уровня знаний от- дельных экспертов и количества членов. Если предположить, что эксперты яв- ляются достаточно точными измерителями, то с увеличением числа экспертов достоверность экспертизы всей группы возрастает.
Затраты ресурсов на проведение экспертизы пропорциональны количест- ву экспертов. С увеличением числа экспертов увеличиваются временные и фи- нансовые затраты, связанные с формированием группы, проведением опроса и обработкой его результатов. Таким образом, повышение достоверности экспер- тизы связано с увеличением затрат. Располагаемые финансовые ресурсы огра- ничивают максимальное число экспертов в группе. Оценка числа экспертов снизу и сверху позволяет определить границы общего количества экспертов в группе.
Характеристики группы экспертов определяются на основе индивидуаль- ных характеристик экспертов:

компетентности (уровень профессиональной подготовки),

креативности (творческие способности человека),

отношения к экспертизе,

конформизма (подверженность влиянию авторитета),

конструктивности мышления (не «летать» в облаках),

коллективизма, самокритичности.
В настоящее время перечисленные характеристики в основном оценива- ются качественно. Для ряда характеристик имеются попытки ввести количест- венные оценки.
Компетентность – степень квалификации эксперта в определенной об- ласти знаний. Компетентность может быть определена на основе анализа пло- дотворной деятельности специалиста, уровня и широты знакомства с достиже- ниями мировой науки и техники, понимания проблем и перспектив развития.
Для количественной оценки степени компетентности используется коэффици- ент компетентности, с учетом которого взвешивается мнение эксперта. Коэф-


Основы теории систем и системного анализа 95 фициент компетентности определяется по априорным и апостериорным дан- ным. При использовании априорных данных оценка коэффициента компетент- ности производится до проведения экспертизы на основе самооценки эксперта и взаимной оценки со стороны других экспертов.
При использовании апостериорных данных оценка коэффициента компе- тентности производится на основе обработки результатов экспертизы. Сущест- вует ряд методик определения коэффициента компетентности по априорным данным. Наиболее простой является методика оценки относительных коэф-
фициентов компетентности по результатам высказывания специалистов о составе экспертной группы.
Сущность этой методики заключается в следующем. Ряду специалистов предлагается высказать суждение о включении лиц в экспертную группу для решения определенной проблемы. Если в этот список попадают лица, не во- шедшие в первоначальный список, то им также предлагается назвать специали- стов для участия в экспертизе. Проведя несколько туров такого опроса, можно составить достаточно полный список кандидатов в эксперты. По результатам проведенного опроса составляется матрица, элементы которой являются пере- менные
ij
x






иначе
эксперта
го
i
назвал
эксперт
й
j
если
x
ij
,
0
,
,
1
Причем каждый эксперт может включать себя или не включать в экс- пертную группу.
По полученным элементам матрицы вычисляются коэффициенты ком-
петентности как относительные веса экспертов по формуле






m
i
m
j
ij
m
j
ij
i
x
x
k
1 1
1
,
)
,
1
(
m
i

, где
i
k – коэффициент компетентности i-го эксперта, m - количество экспертов
(размерность матрицы
ij
x
). Коэффициенты компетентности нормированы так, что их сумма равна единице
1 1



m
i
i
k
Содержательный смысл коэффициентов компетентности, вычисленных по данным таблицы
ij
x
, состоит в том, что подсчитывается сумма единиц
(число «голосов»), поданных за i-го эксперта, и делится на общую сумму всех единиц. Таким образом, коэффициент компетентности определяется как отно- сительное число экспертов, высказавшихся за включение i-го эксперта в список экспертной группы.
96 Основы теории систем и системного анализа
Креативность - это способность решать творческие задачи. В настоящее время кроме качественных суждений, основанных на изучении деятельности экспертов, нет каких-либо предложений по оценке этой характеристики.
Конформизм - это подверженность влиянию авторитетов. Особенно сильно конформизм может проявиться при проведении экспертизы в виде от- крытых дискуссий. Мнение авторитетов подавляет мнение лиц, обладающих высокой степенью конформизма. Отношение к экспертизе является очень важ- ной характеристикой качества эксперта при решении данной проблемы. Нега- тивное или пассивное отношение специалиста к решению проблемы, большая занятость и другие факторы существенно сказываются на выполнении экспер- тами своих функций. Поэтому участие в экспертизе должно рассматриваться как плановая работа. Эксперт должен проявлять интерес к рассматриваемой проблеме.
Конструктивность мышления - это прагматический аспект мышления.
Эксперт должен давать решения, обладающие свойством практичности. Учет реальных возможностей решения проблемы очень важен при проведении экс- пертного оценивания.
Коллективизм – аспект, который учитывается при проведении открытых дискуссий. Этика поведения человека в коллективе во многих случаях сущест- венно влияет на создание положительного психологического климата и тем са- мым на успешность решения проблемы. Самокритичность эксперта проявляет- ся при самооценке степени своей компетентности, а также при учете мнений других экспертов и принятии решения по рассматриваемой проблеме.
Перечисленные характеристики эксперта достаточно полно описывают необходимые качества, которые влияют на результаты экспертизы. Однако их анализ требует очень кропотливой и трудоемкой работы по сбору информации и ее изучению. Кроме того, как правило, часть характеристик эксперта оцени- вается положительно, а часть - отрицательно. Возникает проблема согласования характеристик и выбора экспертов с учетом противоречивости их качеств. При- чем, чем больше характеристик принимается во внимание, тем труднее принять решение о том, что важнее и что допустимо для эксперта. Для устранения ука- занной трудности необходимо сформулировать обобщенную характеристику эксперта, учитывающую его важнейшие качества, с одной стороны, и допус- кающую непосредственное ее измерение, с другой стороны.
В качестве такой характеристики можно принять достоверность сужде-
ний эксперта, которая определяет его как “измерительный прибор”. Однако применение такой обобщенной характеристики требует информации о про- шлом опыте участия эксперта в решении проблем. В ряде случаев такой ин- формации может не быть.
Достоверность оценок эксперта количественно оценивают по формуле
,
N
N
D
i
i

)
,
1
(
m
i

,


Основы теории систем и системного анализа 97 где
i
N - число случаев, когда i-й эксперт дал решение, приемлемость которого подтвердилась практикой, N - общее число случаев участия i-го эксперта в ре- шении проблем.
Вклад каждого эксперта в достоверность оценок всей группы определяет- ся по формуле



m
i
i
i
ОГ
i
D
m
D
D
1 1
,
)
,
1
(
m
i

, где m - число экспертов в группе. В знаменателе стоит средняя достоверность группы экспертов.
10.3. Опрос экспертов
Опрос экспертов представляет собой заслушивание и фиксацию в содер- жательной и количественной форме суждений экспертов по решаемой пробле- ме. Проведение опроса является основным этапом совместной работы групп управления и экспертов. На этом этапе выполняются следующие процедуры:
организационно-методическое обеспечение опроса;
постановка задачи и предъявление вопросов экспертам;
информационное обеспечение работы экспертов.
Вид опроса по существу определяет разновидность метода экспертной оценки. Основными видами опроса являются:
анкетирование, интервьюиро-
вание, метод Дельфы, мозговой штурм, дискуссия.
Выбор того или иного вида опроса определяется целями экспертизы, сущностью решаемой проблемы, полнотой и достоверностью исходной инфор- мации, располагаемым временем и затратами на проведение опроса.
Анкетирование. Анкетирование представляет собой опрос экспертов в письменной форме с помощью анкет. В анкете содержатся вопросы, которые можно классифицировать по содержанию и типу. По содержанию вопросы де- лятся на три группы:
объективные данные об эксперте (возраст, образование, должность, специальность, стаж работы и т.п.);
основные вопросы анализируемой проблемы;
дополнительные вопросы, позволяющие выяснить источники информа- ции, аргументацию ответов, самооценку компетентности эксперта и т.п.
По типу основные
вопросы классифицируются: открытые, закрытые
и с веером ответов.
Открытые вопросы предполагают ответ в произвольной форме. Откры- тые вопросы целесообразно применять в случае большой неопределенности проблемы. Этот тип вопросов позволяет широко охватить рассматриваемую проблему, выявить спектр мнений экспертов. Недостатком открытых вопросов является возможное большое разнообразие и произвольная форма ответов, что существенно затрудняет обработку анкет.
98 Основы теории систем и системного анализа
Закрытые вопросы - это такие вопросы, на которые ответ может быть дан в виде «да», «нет», «не знаю». Закрытые вопросы применяются в случае рас- смотрения четко определенных двух альтернативных вариантов, когда требует- ся по существу определить степень большинства мнений по этим альтернати- вам. Обработка закрытых вопросов не вызывает каких-либо трудностей.
Вопросы с веером ответов предполагают выбор экспертами одного из совокупности предполагаемых ответов. Вопросы с веером ответов целесооб- разно использовать при наличии нескольких достаточно четко определенных альтернативных вариантов. Эти варианты формируют для ориентации экспер- тов по возможному кругу направлений в решении проблемы. Для получения более детальной информации по каждому вопросу могут быть предложены по- рядковая и балльная шкалы. Эксперт по каждому ответу выбирает значение по- рядковой и балльной оценок. Например, значениями порядковой шкалы могут быть «очень хорошо», «хорошо», «удовлетворительно», «неудовлетворитель- но», или «значительно», «незначительно», «не влияет» и т.п. Обработка анкет с вопросами этого типа по сложности занимает промежуточное место между от- крытыми и закрытыми вопросами.
Если анкетирование проводится в несколько туров, то целесообразно при большой сложности и неопределенности проблемы вначале использовать от- крытые типы вопросов, а на последующих турах - с веером ответов и закрытые типы.
Кроме анкеты экспертам представляется обращение - пояснительная за-
писка, в которой разъясняются цели и задачи экспертизы, дается необходимая эксперту информация, приводятся инструкции по заполнению анкет и необхо- димые организационные сведения.
Интервьюирование - это устный опрос, проводимый в форме беседы- интервью. При подготовке беседы интервьюер разрабатывает вопросы экспер- ту. Характерной особенностью этих вопросов является возможность быстрого ответа на них экспертом, поскольку он практически не имеет времени на его обдумывание.
Тематика интервью должна сообщаться эксперту заранее, но конкрет-
ные вопросы ставятся непосредственно в процессе беседы. Целесообразно в связи с этим готовить последовательность вопросов, начиная от простого и по- степенно их углубляя и усложняя, но вместе с тем и конкретизируя.
Достоинством интервью является непрерывный живой контакт интер- вьюера с экспертом, что позволяет быстро получить необходимую информацию путем прямых и уточняющих вопросов в зависимости от ответов эксперта.
Недостатками интервью являются возможность сильного влияния ин- тервьюера на ответы эксперта, отсутствие времени для глубокого продумыва- ния ответов и большие затраты его на опрос всего состава экспертов. Интер- вьюер должен хорошо знать анализируемую проблему, уметь четко формули- ровать вопросы, создавать непринужденную обстановку и уметь слушать.
Метод Дельфы. Этот метод представляет собой процедуру анкетирова- ния, проходящую в несколько туров, с обработкой и сообщением результатов


Основы теории систем и системного анализа 99 каждого тура экспертам, работающим инкогнито по отношению друг к другу.
Метод назван по имени греческого города, в котором в древности жил знамени- тый оракул.
Известные примеры применения метода Дельфы связаны с постановкой вопросов, требующих в качестве ответов числовой оценки параметров.
В первом туре опроса методом Дельфы экспертам предлагаются вопро- сы, на которые они дают ответы без аргументирования. Полученные от экспер- тов данные обрабатываются с целью выделения среднего или медианы и край- них значений оценок. Экспертам сообщаются результаты обработки первого тура опроса с указанием расположения оценок каждого эксперта. Если оценка эксперта сильно отклоняется от среднего значения, то его просят аргументиро- вать свое мнение или изменить оценку.
Во втором туре эксперты аргументируют или изменяют свою оценку с объяснением причин корректировки. Результаты опроса во втором туре обраба- тываются и сообщаются экспертам. Если после первого тура производилась корректировка оценок, то результаты обработки второго тура содержат новые средние и крайние значения оценок экспертов. В случае значительного откло- нения индивидуальных оценок от средних, эксперты должны аргументировать или изменить свои суждения, пояснив причины корректировки.
Проведение последующих туров осуществляется по аналогичной проце- дуре. Обычно после третьего или четвертого тура оценки экспертов стабилизи- руются, что и служит критерием прекращения дальнейшего опроса.
Итеративная процедура опроса с сообщением результатов обработки
после каждого тура обеспечивает лучшее согласование мнений экспертов, по-
скольку эксперты, давшие сильно отклоняющиеся оценки, вынуждены крити-
чески осмыслить свои суждения и обстоятельно их аргументировать.
Необходимость аргументации или корректировки своих оценок не озна- чает, что целью экспертизы является получение полной согласованности мне- ний экспертов. Конечным результатом может оказаться выявление двух или более групп мнений, отражающих принадлежность экспертов к различным на- учным школам, ведомствам или категориям лиц.
Получение такого результата является также полезным, поскольку позво- ляет выяснить наличие различных точек зрения и поставить задачу на проведе- ние исследований в данной области.
При проведении опроса в методе Дельфы сохраняется анонимность отве- тов экспертов по отношению друг к другу. Это обеспечивает исключение влия- ния конформизма, т.е. подавления мнений за счет “веса” научного авторитета или должностного положения одних экспертов по отношению к другим.
Для повышения эффективности проведения экспертизы по методу Дель- фы необходимо автоматизировать процесс фиксации, обработки и сообщения экспертам информации. Это достигается путем использования ЭВМ.
Метод мозгового штурма. Этот метод представляет собой групповое обсуждение проблемы с целью получения новых идей, вариантов ее решения.
100 Основы теории систем и системного анализа
Мозговой штурм часто называют также мозговой атакой, методом генерации идей.
Характерной особенностью этого вида экспертизы является активный творческий поиск принципиально новых решений в трудных тупиковых ситуа- циях, когда известные пути и способы решения оказываются непригодными.
Для поддержания активности и творческой фантазии экспертов категорически запрещается критика их высказываний.
Основные правила организации и методика проведения мозгового
штурма заключаются в следующем:
1. Осуществляется подбор экспертов в группу до 20-25 человек, в кото- рую включаются специалисты по решаемой проблеме и люди с широкой эру- дицией и богатой фантазией, причем необязательно хорошо знающие рассмат- риваемую проблему.
2. Желательно включение в группу лиц, занимающих одинаковое слу- жебное и общественное положение, что обеспечивает большую независимость высказываний и создание атмосферы равноправия.
3. Для проведения сеанса назначается ведущий, основной задачей которо- го является управление ходом обсуждения для решения поставленной пробле- мы. Ведущий в начале сеанса объясняет содержание и актуальность проблемы, правила ее обсуждения и предлагает для рассмотрения одну-две идеи.
4. Сеанс продолжается примерно 40-45 минут без перерыва. Для выступ- ления предоставляется 2-3 минуты и они могут повторяться. В каждом выступ- лении эксперты должны стремиться выдвинуть как можно больше новых, мо- жет быть, на первый взгляд фантастических идей или развивать ранее выска- занные идеи, дополняя и углубляя их.
Важным требованием к выступлениям является конструктивный
характер идей и предложений.
Они должны быть направлены на решение проблемы. Ведущий и все чле- ны группы должны своими действиями и высказываниями способствовать соз- данию всеобщей синхронно работающей коллективной мысли, возбуждению мыслительных процессов, что существенно влияет на результативность обсуж- дения.
В процессе генерирования идей и их обсуждения прямая критика запре-
щена. Выступления экспертов фиксируются путем стенографирования или ви- деозаписи и после окончания сеанса подвергаются анализу, который заключа- ется в группировке и классификации высказанных идей и решений по различ- ным признакам, оценке степени полезности и возможности реализации. При- мерно через сутки - двое после проведения сеанса экспертов просят сообщить, не возникли ли еще какие-нибудь новые идеи и решения. Эксперименты пока- зывают, что если в процессе сеанса была создана хорошая творческая атмосфе- ра с активным участием в работе всех экспертов, то после окончания обсужде- ния в мозге человека продолжается процесс генерации и анализа своих и дру- гих предложений, который протекает не только осознанно, но и подсознатель- но.