Файл: Метод экспертных оценок и область его применения решений (на примере конкретной организации).pdf
Добавлен: 28.06.2023
Просмотров: 97
Скачиваний: 3
В качестве основных критериев отбора экспертов можно назвать представленные на рис. 3. При оценивании экспертов по названным критериям и выборе экспертов могут использоваться следующие процедуры:
- самооценка экспертов по объективным параметрам;
- взаимная оценка экспертов;
- оценка экспертов независимыми специалистами.
Оценка уровня компетентности экспертов с учетом качества ранее проведенных экспертиз (данная оценка производится самой исследовательской командой на основе анализа ретроспективных данных о работе эксперта). Наиболее предпочтительным является отбор экспертов на основе независимой квалифицированной оценки с поправкой на качество ранее сделанных экспертиз[20].
Рисунок 3 - Основные критерии отбора экспертов[21]
Процедуры отбора экспертов для участия в опросах должны основываться на комбинации различных методов: от прямого назначения ведущих ученых в состав экспертных панелей до уточнения экспертов путем последовательного опроса узких групп специалистов[22].
Для проведения работы по методу Дельфи создают рабочую группу, которая и организует по поручению лица, принимающего решение, деятельность экспертов, объединенных (формально или по существу) в экспертную комиссию[23].
Основные стадии экспертного опроса представлены в таблице 1.
Таблица 1
Основные стадии технологии проведения экспертного опроса[24]
|
№ |
Название |
Описание стадии |
|
1 |
2 |
3 |
|
1 |
Принятие |
Принятие решения о необходимости проведения экспертного опроса и формулировка лицом, принимающим решение, его |
|
2 |
Подбор и |
Рабочая группа включает обычно научного руководителя и секретаря. Научный руководитель отвечает за организацию и проведение экспертного исследования в целом, а также за анализ собранных материалов и формулировку заключения экспертной комиссии. Он участвует в формировании коллектива экспертов и выдаче здания каждому (вместе с лицом, принимающим решение, или его представителем). |
|
3 |
Разработка и утверждение технического задания |
На этой стадии решение о проведении экспертного опроса приобретает четкость во времени, финансовом, кадровом, материальном и организационном обеспечении. В рабочей группе выделяются различные группы специалистов: аналитическая, эконометрическая (специалисты по методам анализа |
|
4 |
Разработка оценок |
Сценарий включает в себя конкретный вид информации, которая будет получена от экспертов (тексты (слова), условные градации, числа, ранжировки, разбиения или иные виды объектов нечисловой природы), конкретные методы анализа собранной информации. |
|
5 |
Подбор |
На этой стадии рабочая группа составляет список возможных экспертов в соответствии с их компетентностью. |
|
6 |
Формирование экспертной комиссии |
На этой стадии рабочая группа проводит переговоры с экспертами, получает их согласие на работу в экспертной комиссии. ЛПР вычеркивает или добавляет экспертов к предложениям РГ, утверждает состав экспертной комиссии. Проводится заключение договоров с экспертами об условиях их работы к ее оплаты |
Продолжение таблицы 1
|
1 |
2 |
3 |
|
7 |
Сбор экспертной информации |
Часто перед этим проводится набор и обучение интервьюеров – одной из групп, входящих в РГ |
|
8 |
Анализ экспертной информации |
Компьютерный анализ экспертной информации с помощью |
|
9 |
Итоговый |
Итоговый анализ экспертных мнений. Интерпретация полученных результатов аналитической группой РГ и подготовка заключительного документа ЭК для ЛПР. |
|
10 |
Окончание деятельности РГ |
Официальное окончание деятельности РГ, в том числе утверждение ЛПР заключительного документа ЭК, подготовка и |
Проблема подбора экспертов является одной из наиболее сложных в теории и практике метода Дельфи[25]. Очевидно, в качестве экспертов необходимо использовать тех людей, чьи суждения наиболее помогут принятию адекватного решения. В проблеме подбора экспертов можно выделить две составляющие – составление списка возможных экспертов и выбор из них экспертной комиссии в соответствии с компетентностью кандидатов (рис. 4) [26].
Рисунок 4 - Методы подбора экспертов[27]
Таблица 2
Методы подбора экспертов[28]
|
№ |
Название метода |
Описание |
|
1 |
Реестр |
Когда экспертиза проводится многократно, ведется реестр |
|
2 |
Метод «снежного |
От каждого специалиста, привлекаемого в качестве эксперта, получают несколько фамилий тех. кто может быть экспертом по рассматриваемой тематике |
|
3 |
Успешность участия в предыдущих экспертизах |
Критерий для экспертов, которые участвуют в длинных сериях однотипных экспертиз |
|
4 |
Использование формальных показателей |
Должность, ученые степень и звание, стаж, число публикаций. В современных условиях может носить лишь вспомогательный характер |
|
5 |
Метод самооценки компетентности |
Эксперт сам дает информацию о том, в каких областях он |
|
6 |
Метод взаимооценки |
При использовании метода взаимооценки, помимо возможности проявления личностных и групповых симпатий и антипатий, играет роль малая осведомленность экспертов о возможностях друг друга. В современных условиях достаточно хорошее знакомство с работами и возможностями друг друга может быть лишь у специалистов, много лет работающих совместно. |
Для сбора и анализа экспертных мнений в методе Дельфи предусмотрено заранее определенное число туров, которые необходимо произвести для получения результатов[29]. Общение экспертов – заочное анонимное. Эксперт знакомится с мнениями и аргументами других экспертов, но не знает, кто именно высказал то или иное мнение[30].
Для оценки полученных результатов используют шкалы изменения, представленные в таблице 3.
Таблица 3
Виды шкал измерения[31]
|
№ |
Вид шкалы |
Группы допустимых |
Описание |
Допустимые |
||
|
1. |
Шкала наименований (номинальная) |
все взаимно-однозначные преобразования |
В этой шкале числа |
мода |
||
|
2. |
Порядковая шкала |
все строго возрастающие преобразования |
В этой шкале числа |
члены вариационного ряда (медианы) |
||
|
3. |
Шкала |
линейные возрастающие преобразования |
На шкале нельзя отметить ни естественное начало отсчета, ни естественную единицу измерения |
среднее арифметическое |
||
|
4. |
Шкала |
линейные возрастающие преобразования без свободного члена |
Есть естественное |
только степенные средние и |
||
|
5. |
Абсолютная шкала |
тождественное преобразование |
Результаты измерений |
При анализе мнений экспертов можно применять самые разнообразные статистические методы. Поскольку ответы экспертов во многих процедурах экспертного опроса – не числа, а такие объекты нечисловой природы, как градации качественных признаков, ранжировки, разбиения, результаты парных сравнений, нечеткие предпочтения, то для их анализа оказываются полезными методы статистики объектов нечисловой природы[32]. Выводы, сделанные на основе данных, измеренных в шкале определенного типа, не должны меняться при допустимом преобразовании шкалы измерения этих данных[33]. При анализе используют одновременно метод средних арифметических рангов (среднее арифметическое), и методов медианных рангов (медианы)[34]. Такая рекомендация находится в согласии с концепцией устойчивости, рекомендующей использовать различные методы для обработки одних и тех же данных с целью выделить выводы, получаемые одновременно при всех методах[35]. Такие выводы, видимо, соответствуют реальной действительности, в то время как заключения, меняющиеся от метода к методу, зависят от субъективизма исследователя, выбирающего метод обработки исходных экспертных оценок.
Все вопросы, задаваемые экспертам, можно разделить на несколько типичных групп (табл. 4).
Таблица 4
Специфика видов вопросов[36]
|
№ |
Тип вопроса |
Описание вопроса |
Ключевые |
|
1 |
2 |
3 |
4 |
|
1 |
Фактические |
Направлены на выяснение фактов и особенностей, которые легко наблюдать. |
Кто, когда, где, как |
|
2 |
Конвергентные вопросы |
Не имеют однозначного ответа и требуют напряжения мысли. Ни ситуация, ни текст не дают прямой подсказки. Конвергентный вопрос соединяет понимание человека и фактический материал, это первая ступень интерпретации той |
Зачем, каковы |
|
3 |
Дивергентные |
Дивергентный вопрос позволяет отвечающему понять наличие альтернативы. |
Что будет (не будет), если... |
Продолжение таблицы 4
|
1 |
2 |
3 |
4 |
|
4 |
Вопрос-оценка |
Соединяют понимание ситуации и отношение человека к событию. Вопрос на суждение предполагает, что отвечающий обладает информацией, выходящей за пределы ситуации, неравнодушен к предмету разговора и понимает неоднозначность того, о чем идет речь. Вопросы данного типа должны продвигать эксперта к формированию и обоснованию точек зрения. |
|
|
5 |
Комбинированный вопрос (комплексный |
Вопросы одного типа плавно переходят в вопросы другого типа. Так, фактический вопрос создает основу для вопросов трех других типов. Часто в одном вопросе можно соединить вопрос на объяснение и вопрос на предположение. |
|
|
б |
Открытые вопросы |
Вопросы такого типа не накладывают ограничений на ответы респондента, дают гораздо больше познавательной информации, но их труднее классифицировать для последующего анализа. |
|
|
6.1 |
Обычный вопрос |
Опрашивающему задают вопрос, подразумевающий свободную форму ответа |
|
|
6.2 |
Подбор словесной ассоциации |
Опрашиваемому называют слово и просят назвать первое, пришедшее на ум слово |
|
|
6.3 |
Завершение |
Спрашиваемому предлагают незаконченное предложение и просят его завершить |
|
|
6.4 |
Завершение |
Опрашиваемому предлагают незаконченный рассказ и просят его продолжить |
Практика показывает, что можно получать качественную информацию при помощи комбинированных вопросов[37]. При этом требуется определить, как можно соединить уже имеющиеся вопросы в общий комплексный вопрос[38]. Степень взаимосвязи заданных экспертам вопросов определяется тем, есть ли у них направленность в сборе информации, имеются ли в экспертном исследовании предварительные гипотезы, и насколько выдвинутые гипотезы вариативны[39]. Комбинированные вопросы позволяют связать разные вопросы и из полученных ответов сложить целостную «картинку» изучаемой ситуации[40].
Для разработки анкет можно предложить схему, приведенную рис. 5.
Рисунок 5 - Схема построения экспертных анкет для панели экспертов[41]
Программа исследования обычно включает в себя подробное, четкое и завершенное изложение следующих разделов: методологическая часть - формулировка и обоснование проблемы, указание цели, определение объекта и предмета исследования, логический анализ основных понятий, формулировка гипотез и задач исследования; методическая часть - определение обследуемой совокупности, характеристика используемых методов сбора первичной социальной и социально-технической информации, логическая структура инструментария для сбора этой информации, логические схемы ее обработки[42].
В классической математической статистике средние величины вводят с помощью операций сложения (выборочное среднее арифметическое, математическое ожидание) или упорядочения (выборочная и теоретическая медианы)[43].
В теории экспертных оценок применяются различные математические методы. При сборе и обработке мнений экспертов большое значение имеют метризация измерительных шкал различных типов и совместная сопоставимая количественнаяобработка разнородных факторов[44]. Потребности развития теории и практики экспертных оценок дали стимул к разработке статистики объектов нечисловой природы, а затем полученные в новой области математической статистики результаты позволили продвинуться в теории экспертных оценок, поднимающей научный уровень выполнения прикладных работ. Можно констатировать, что именно потребности развития теории и практики экспертных оценок привели к появлению новой парадигмы математической статистики[45].