ВУЗ: Не указан
Категория: Не указан
Дисциплина: Не указана
Добавлен: 12.11.2020
Просмотров: 1567
Скачиваний: 8
Глава
5
синоптический метод
основан на анализе экспертами
известного м ножества прогнозов относительно объекта
прогнозирования и прогнозного фона с последующим
их синтезом.
Данные, полученные на основе экспертных оценок, могут быть
отнесены к категории вторичной информации, составляющей ин
формационную базу прикладиого проекта. Хотя в рамках настоя
щего учебника невозможно подробно описать содержание каждо
го инварианта экспертной методики, из приведеиного списка оче
видно, что они опираются на процедурные правила, сочетающие
элементы психологических, социологических и политических зна
ний, а их применение предполагает самую разностороннюю под
готовку специалистов, участвующих в экспертизе. Кроме того, об
работка информации, полученной на основе экспертных оценок,
предусматривает их количественную обработку и использование
математических процедур. Таким образом, методика экспертных
оценок относится к категории междисциплинарных исследователь
ских техник.
Исследование с применением экспертных оценок проводится
в три этапа:
1 )
готовятся информационные материалы и подбираются экс
перты;
2)
собираются экспертные заключения и обрабатыв<tются ре
зультаты;
3) готовится итоговое заключение.
Рассмотрим эти этапы более подробно.
Подrотовка информационных материалов
и подбор экспертов
На этапе подготовки программы проекта формируется группа
специалистов-аналитиков, в обязанности которой входят подбор
экспертов, участвующих в экспертизе; составление специальных
опросных листов (анкет) ; разработка способа и процедуры опроса
экспертов; проведение опроса; обработка результатов опроса и их
.
статистический анализ; синтез объективной (статистической) и
субъективной (аналитические заключения) информации с целью
подготовки итоговых оценок, необходимых для принятия решения.
Однако главной задачей этого этапа является все же не техни
ческая сторона организации экспертизы, а разработка ее содер-
1 1 8
Экспертные методы в политических исследованиях
жательных аспектов. Так, качественная оценка эксперта зависит
от предварительной проработки организаторами совещания об
щей системной концепции рассматриваемой ситуации или про
цесса. Обычно такая проработка производится путем перевода тра
диционных научных обсуждений в русло моделирования, напри
мер представления рассматриваемых проблем в виде иерархически
организованной структуры - проблемного дерева, или в иной
терминологии - <<дерева целей». Эта работа производится путем
последовательного расчленения основных исследовательских за
дач на элементы, с тем чтобы создать систему так называемых
взвешенных связей (<<дерево целей>>).
Дерево целем
-
структурированная, построенная по иерар
хическому принципу (ранжированная) совокупность целей
системы, программы, плана, в которой выделены: генераль
ная цель (« вершина дерева») ; подчиненные ей подцели пер-
вого, второго и последующего уровней ( «ветви дерева » ) .
Название «дерево целеЙ » связано с тем, что схематически
представленная совокупность распределенных по уровням
целей напоминает по виду перевернутое дерево .
Существует четыре простых правила для установления полно
ты и непротиворечивости <<дерева целей>> при чтении:
1 )
сверху вниз подцель должна отвечать на вопрос: <<Что нуж
но сделать, чтобы реализовать цель предыдущего уровня?>>
Например: что нужно сделать, чтобы урегулировать воору
женный гражданский конфликт? ;
2)
снизу вверх цель более высокого уровня должна отвечать на
вопрос: для чего необходима цель непосредственно подчи
ненная ей?;
3) подцелей, необходимых для достижения одной цели; сле
дует уточнить, все ли подцели дуйствительно необходимы
для ее достижения;
4)
подцелей, необходимых для достижения одной цели; сле
дует уточнить, какие еще подцели этого уровня необходи
мы для достижения более высокой цели.
Чтобы построить «дерево целей>> поставленной в приведеином
примере задачи , необходимо, в частности, зафиксировать следу
ющие подцели второго уровня:
J I - 1
- добиться прекращения огня,
L 1 9
Глава
5
11-2 - установить контроль за прекращением огня,
I I-3 -
опреде
лить режим административного управления, 11-4 - определить пути
восстановления разрушенной экономики (схема
1 0) .
Добавление
подцелей происходит до тех пор, пока они не становятся объек
тивно измеримыми или позволяют эксперту дать однозначный от
вет <<да/нет•>. В общем виде эти правила напоминают процесс ана
лиза методом построения иерархий, описанный в работах Т. Саати.
1. Урегулирование конфликта
- ! .Добиться прекращения огня
1 1-2.0беспечить контроль за прекращением огня
П-З.Определить режим административного управления
Определить пути восстановления экономики
Схема 10.
Фрагмент «дерева целей•> для анализа урегулирования
этнопол итического конфликта
Таким образом , в прикладных политологических исследовани
ях <<дерево целей•> может рассматриваться как графическая схема,
демонстрирующая декомпозицию комплексных проблем на состав
ляющие их элементы более низкого уровня и позволяющая после
довательно конкретизировать задачи для основных направлений
деятельности в рамках политического процесса.
п
роблема является комплексной, если она « разбивается» на
составляющие ее подпроблемы и для каждой разрабатывает
ся своя программа экспертизы. После получения решений по под
проблемам, они агрегируются и анализируются на уровне пробле
мы в целом. Если на уровне подпроблем экспертизой занимаются
профильные специалисты (узкое направление) , то на уровне ком
плексной проблемы работают широко ориентированные аналити
ки, не являющиеся специалистами только в одной из областей .
Установив круг потенциально возможных кандидатур экспер
тов, необходимо определить численность экспертной группы. Хотя
точно рассчитать оптимум довольно трудно, при малом числе эк
спертов групповая оценка в значительной степени зависит от ин
дивидуальных экспертных мнений, вследствие чего возрастает ее
субъективность. В то же время при слишком многочисленном со
ставе учqстников экспертизы труднее выявить общее согласован
ное заключение, а достоверность групповой оценки может сни-
1 20
Экспертные методы в политических исследованиях
зиться в силу уменьшения роли мнений, отличающихся от мне
ния большинства, но далеко не всегда оказывающихся ошибоч
ными.
Обычно, когда речь идет о формировании объективного мне
ния, к участию в экспертном совещании привлекают наиболее ква
лифицированных специалистов из всех организаций, имеющих про
фессиональное отношение к рассматриваемой проблеме. Но в пос
ледние годы круг различных научных центров стал столь обширным,
что организаторы экспертных совещаний должны дополнительно
уточнять критерии своего выбора. Решение о переональном привле
чении эксперта чаще всего основывается на уровне его компетент
ности. Однако даже самый квалифицированный эксперт может
оказаться неэффективным участником конкретной экспертизы как
из-за причин случайного характера, так и из-за отсутствия стиму
лов подтверждения личной квалификации. Поэтому иногда возни
кает проблема дополнительной оценки компетенции специалис
та, уже включенного в рабочий процесс.
К
наиболее важным ха
рактеристикам эксперта, наличие которых целесообразно учитывать
в ходе переанального отбора, относятся:
креативность
-
способ
ность самостоятельно решать творческие задачи;
эвристичность
-
умение видеть или создавать неочевидные <<сценариИ>>;
интуиция
способность делать заключения об исследуемом объекте без осозна
ния логики (причинно-следственных связей) его формулирования;
независимость
- умение противопоста
влять
групповым мнениям соб
ственное;
универсальность -
способность видеть проблему с различ
ных точек зрения.
Сбор экспертных заключениИ и обработка
результатов
Составляя анкеты для проведения экспертизы, следует иметь в
виду, что при их заполнении определенную роль играет порядок
постановки вопросов и их формулировка .
.
Вопросы не должны до
nускать двойного толкования или побуждать эксперта выразить
м нение в малознакомой ему предметной области. Мера конкрети
зации вопросов должна учитывать реальную возможность специа
листа дать правильный ответ. Излишняя детализация создает ил
люзию максимальной точности суждения, тогда как на самом деле
она может отвлекать от главных вопросов. П рактика показывает,
что сначала лучше искать ответы на общие вопросы, а затем по
степенно переходить к более частным.
1 2 1
Глава
5
Важное значение имеет и количество объектов, предъявляемое
эксперту. Самые надежные результаты достигаются при числе объек
тов, равном
7±2.
Показатель
7±2
отмечается в психологии как мак
симальное количество факторов, тем, вопросов, над которыми
человек способен думать одновременно.
Сбор экспертных заключений может проводиться заочно, ког
да личный контакт аналитиков с экспертами отсутствует, либо
очно, когда заполнение анкеты осуществляется в рамках беседы с
экспертом. Преимущества и недостатки очной или заочной проце
дуры аналогичны тем, с которыми сталкиваются социологи, про
водя опросы общественного мнения. Заочный опрос относительно
дешев, однако при нем возможны искажения в случае неправиль
ного заполнения анкет. При личной беседе этот недостаток исклю
чается, но зато требуются значительные затраты труда и времени.
Кроме того, аналитик, проводящий личный опрос, может созна
тельно или бессознательно влиять на ответы эксперта.
Очные способы выражения экспертами своих оценок класси
фицируются по тому, насколько анонимно они совершаются . Ано
нимный опрос подразумевает, что никто из экспертов не знает
оценок своих коллег. Допускается также анонимное обсуждение
оценок, не совпадающих с мнением большинства, оно проводит
ся в письменном виде. Полную противоположность анонимному
опросу составляет процедура сбора экспертных заключений в ходе
открытого группового обсуждения всех оценок. И тот и другой спо
соб имеет свои преимущества: анонимность позволяет откровенно
высказывать переанальное мнени,е, а атмосфера открытого обсуж
дения способствует пробуждению творческой активности экспер
тов.
Экспертные процедуры возникли на фоне традиционных ме
тодов приняти� политических решений и во многом воспроизво
дят сложившийся формат открытых и закрытых совещаний. Но их
главным отличием является стремление избегать жестких ограни
чений для выдвижения экспертами своих суждений. Благодаря этому
подходу возникает благоприятная интеллектуальная среда твор
ческого осмысления сложных проблем и преодоления устаревших
стереотипов восприятия. Поэтому обычно атмосфера, свойствен
ная экспертным совещаниям, определяется в профессиональном
лексиконе термином <<мозговой штурм». Но для того чтобы его воз
можноvти бьши полностью реализованы , необходимо соблюсти
несколько правил повышения эффективности мышления.
1 22
Экспертные методы в политических исследованиях
Основные правила ((мозгового wтурма))
в
рамках достаточно общей_формул_ировки поставленной пробле
мы выделить единственныи главныи вопрос.
- Не объявлять ложной и не прекращать обсуждать ни одну
идею, которая высказывается по ходу дискуссии.
- Подхватывать необычную идею любого рода, даже если ее
уместность кажется первоначально сомнительной .
- Поощрять активность высказываний, чтобы освободить уча
стников заседания от скованности.
Использование опыта <<мозгового штурма>> позволяет, во-пер
вых, увеличить результативность анализа, во-вторых, облегчает
радикальную критическую переработку ранее подготовленных про
ектов, в-третьих, предоставляет возможность разработать заклю
чения, опирающиеся на согласованные мнения.
Среди основных методов сбора экспертных заключений наибо
лее распространенным является метод открытых обсуждений. Н о ,
привлекая своей демократичностью, о н не всегда дает удовлетво
рительные с точки зрения практических потребностей результаты .
Поэтому часто экспертные совещания, начавшись в широком со
ставе, продолжаются уже в закрытом формате и при значительных
изменениях круга участников. В ходе закрытых совещаний иногда
применяют метод обсуждения, называемый <<методом фаворита».
Экспертная группа выделяет лицо, оценка которого является ре
шающей при формулировании обобщающих заключений и обяза
тельной для всех участников.
Завершающая часть второго этапа исследования с применени
ем экспертных оценок
-
обработка результатов экспертизы.
Глав
ная задача обработки результатов опроса - представить эксперт
ные заключения в стандартизованном виде. Стандартизация делает
возможной процедуру сравнения результатов, полученных разны
ми способами. Но сам статистический аi_iализ начинается с опре
деления согласованности оценок разных экспертов.
Если все оценки одинаковы, то проблема измерения решена.
Однако обычно не все оценки совпадают. Более того, иногда мне
ния участников обсуждения сильно расходятся . Тогда в задачи об
работки входит выявление специфики представлений экспертов.
Этого можно достичь, предлагая экспертам объяснять свои оцен
ки или путем формального сравнения их мнений. Если получен
ные результаты не согласованы, то одним из решений может быть
1 23
Глава
5
повторение экспертизы (с разъяснением имеющихся разногласий).
Так применяется известный метод проведения экспертизы Дельфи.
д
ельфы - город Древней Греции, заслуживший известность
предсказателями будущего, которые назывались оракулами.
Основные принципы, положенные в основу метода Дельфи, зак
лючаются в обеспечении анонимности опроса путем исключения
непосредственного взаимодействия экспертов. Обратная связь, ре
гулируемая аналитиками, позволяет выявить преобладающие суж
дения специалистов и сблизить их точки зрения на проблему. Вме
сте с тем метод не имеет целью достижение полного единства
мнений , так как учитывается, что, несмотря на сближение точек
зрения , различие будет существовать и в конце опроса.
Обычно для <<сходимости>> мнений, полученных в соответствии с
продедурой Дельфи, достаточно трех туров. Если степень согласо
ванности остается недостаточной, то следует предпринять дополни
тельные шаги, в частности изменить состав группы экспертов либо
изменить перечень факторов (объектов), подлежащих оценке.
Регулярное проведение экспертиз по какому-либо вопросу мо
жет довести процедуру получения экспертных оценок до высокой
степени стандартизации и воспроизводимости результатов. При этом
часто экспертные заключения предоста
вляю
тся в числовом виде, и
тем самым их обработка сводится к процедурам, разработанным в
области вычислительной математики и статистики. Статистический
анализ и анализ чувствительности полученного массива экспертных
данных составляют математическо� обеспечение экспертиз, и луч
ше, если они выполняются соответствующими специалистами.
1 24
с
татнстнческнм аналнз
имеет дело, главным образом, с количе
ственными данными, обусловленными множественностью при
знаков или факторов. Его применение позволяет определять основные
закономерности распределения данных
{
параметров экспертных оце
нок) и степень корреляции между отдельными показателями.
Аналнэ чувствнтельностн
вариантов решений обусловлен тем,
что веса факторов определяются как случайная величина . Если ре
зультат очень чувствителен к изменению исходных данных, то ре
шение может быть принято необоснованно. Кроме того, эксперты
могли дать данные с некоторой степенью неточности . Анализ чув
ствит�льности может быть проведен и по отношению к составу
группы экспертов - изменение в составе группы не должно силь
но влиять на результаты.
Экспертные методы
в
политических исследованиях
Целью процедуры количественной обработки результатов экс
пертного анализа является содержательная характеристика мно
жества профессионально выделенных точек зрения на рассматри
ваемое явление. Дальнейшее зависит от того, кто в конечном счете
должен принять решение. Целью экспертизы никогда не является
и не должно являться освобождение конкретного лица от ведом
ственной, моральной или политической ответственности за собы
тия, наступившие вследствие его действий.
Практически при любой обработке результатов работы экспер
тной группы встает проблема перехода от индивидуальных пред
почтений к групповому предпочтению, т.е. получение агрегиро
ванного заключения. Существует несколько
основных типов про
блемной ситуации:
•
члены экспертной группы придерживаются противополож
ных точек зрения. Усреднение в такой ситуации может спо
собствовать победе экспертов, обладающих не самым высо
ким уровнем квалификации;
•
члены экспертной группы используют разные принцилы на
числения <<ОЧКОВ>>, что приводит к разноплановости оценок;
•
члены экспертной группы демонстрируют цикличность пред
почтений и не могут однозначно определить иерархию при
знаков объекта. Основной причиной такого результата яв
ляется переход экспертов с оценивания объектов по одно
му признаку к оцениванию по другому.
Одним из главных требований, предъявляемым к процессу об
работки экспертных заключений, является исключение негатив
ного эффекта усреднения, разноплановости и цикличности.
При формулировании итоговых экспертных оценок неизменно
встает вопрос о соотношении количественных и качественных ха
рактеристик объекта наблюдения и о возможностях учета этого
соотношения. Хотя далеко не все политические феномены могут
быть описаны на основе точных измерений, очень часто отображе
н ие традиционно качественных представлений людей в числовом
виде или даже указание на относительную значимость определен
н ых факторов по сравнению с другими повышает точность анали
тических заключений. Поэтому использование экспертных оценок
позволяет подготовить количественную базу для выбора оптималь
н ых решений как в жестком цифровом выражении, так и в более
мягких «рейтинговых>>, <<ранговых>> или аналогичных им вариантах.
1 25
Глава
5
п
риведем общую постановку задачи измерений в рамках всего
множества экспертных методов . Так, дан набор некоторых
объектов (факторов) и эксперта просят поставить каждому объек
ту (фактору) числовую или ранговую оценку значимости этого
фактора . Под объектом можно понимать также и один объект, но
в разные моменты времени . В этом случае надежность эксперт
ных оценок зависит от возможности измерения содержащейся в
них информации с помощью различных шкал и показателей . Когда
проводится экспертиза , то предполагается , что эксперт в состоя
нии сравнить объекты , варианты или факторы, приписав каждому
из них число. В зависимости от того, по какой шкале могут быть
заданы эти сравнения, экспертные оценки содержат больший или
меньший объем информации.
Чаще всего экспертные оценки качественных признаков воспри
нимаются как измеренные по порядковой шкале, и дЛЯ их матема
тической обработки применяются
методы упорядочения.
Методы упо
рядочения моrут быть применены в нескольких случаях. Так, весьма
типичной является ситуация, когда из общего числа факторов необ
ходимо выделить наиболее важные. В практике нередко случается,
что одна из альтернатив превосходит другую по какому-либо пока
зателю, хотя другая тоже является привлекательной, но уже на ином
основании. В таких случаях выбирается какой-либо один важный при
знак (или несколько), на основе которого производится выбор оп
тимального варианта. Достаточно сложные проблемы возникают и
тогда, когда необходимо оценить какие-либо качественные факто
ры, которые нельзя точно измерить. Упорядочить их совокупность
можно, сопоставив степень каждого из них этим качеством.
В
по
вседневной жизни мы часто оцениваем такие факторы с помощью
слов: <<лучше>>, <<ценнее>>, <<полезнее», <<Красивее>>, «талантливее>> и
т.д. Наиболее распространенными методами упорядочения альтер
натив (факторов) являются
ранжирование, нормирование
и
сравнение.
Совпадение выводов, полученных на основе применения двух раз
личных подходов, позволяет предположить, что они основаны на
самом материале, а не на методах его обработки.
Математический аппарат, используемый при экспертной оцен-
.
ке значимости объектов, факторов, альтернатив, постоянно раз
вивается и не исчерпывается методами упорядочения . Основной
областью математики, которая обеспечивает количественную об
работку
:
экспертных оценок, является статистика. В плане элект
ронного обеспечения экспертных методов существуют пакеты при-
1 26
Экспертные методы в политических исследованиях
кладных программ, которые используются как индивидуальными,
так и ведомственными пользователями.
Подrотовка итоrовоrо заключения
На третьем завершающем этапе обработки экспертных данных
неизменно возникает задача комплексного анализа характеристик
объекта наблюдения, которые были получены на основании при
менения разных приемов статистической обработки и особенно
разных шкал. Для этого необходим переход к одному типу дан
ных - числовому или качественному. Обычно такой анализ осу
ществляется с помощью сведения всех показателей к количествен
ным. Но при наличии адекватных представлений и исполнительс
ких навыков комплексную обработку информации можно проводить
и с помощью сведения числовых показателей к качественному виду.
Например, характеристике демографической ситуации в отдель
ной стране, определяемой как состояние демографического взры
ва, моrут соответствовать хотя и близкие по величине, но все же
разные показатели естественного прироста населения. Нюансы,
важные в долгосрочной перспективе, можно в данном случае, в
пределах краткосрочной перспективы, не учитывать.
Важным, хотя и не абсолютным показателем корректности
экспертных заключений является ситуация, когда выводы, полу
ченные на основе <<количественной» обработки данных, если и не
совпадут с выводами <<качественной» обработки, то, по крайней
мере, не будут им противоречить. Другими словами, применение
экспертных оценок при подготовке конкретного решения очень
часто служит началом целой серии экспертных совещаний, посте
пенно снижающих неопределенность ситуации.
§ 3
Опыт применении методики
экспертных оценок в политических
исследованиях
Ситуационный анализ
Интересной и перспективной формой одновременного полу
' lения оценок значительного числа специалистов в практике оте
' lественной и зарубежной аналитики выступает ситуационный ана
л из. В число безусловных достоинств этого метода входят возмож-
1 27