Файл: Метод экспертных оценок и область его применения (Методы экспертных оценок. Понятие экспертных оценок).pdf

К плюсам метода необходимо причислить его нехитрость, вразумительность в интересах исследования и постижения, его притягательность для специалистов-участников «мозгового штурма» в связи с перспективой учета и наибольшего применения их возможностей и особенностей характера.

Метод обладает внушительной выработкой, равно как по единой доле мыслей, так и по части новейших. Вместе с тем следует выделить и недочёты метода: с одной стороны – отсутствие залога получения высококачественных решений, с иной – приобретение неточных заключений.

Самобытно метод способен применяться с целью постановления множественных административных и умозаключительных вопросов.

Смысл метода «Дельфи». Наиболее популярным из методик корпоративных экспертных оценок считается метод Дельфи, подготовленный в 1964 г. американской научно-исследовательской компанией «РЭНД-Корпорейшн». Имя его фигурально относительное, оно напоминает о известных с античных времён дельфийских оракулах^[16].

Метод «Дельфи» – улучшенный коллективный аспект к заключению вопросов оценки. Он подразумевает рецензенту необъективных представлений единичных специалистов в отсутствии конкретных контактов между ними с сохранением анонимности суждений. Процедура не прекращается вплоть до тех пор, покуда развитие в течении согласовывания точек зрения никак не делается пустяковым, в таком случае закрепляются расходящиеся точки зрения^[17].

Отличительными особенностями метода «Дельфи» являются^[18]:

1. полностью заочный и анонимный опрос экспертов;
2. опрос экспертов в несколько туров;
3. задействование обратной связи, когда в каждом последующем туре используются результаты предыдущего, для чего перед каждым этапом (после первого) эксперты получают подробную информацию о результатах предыдущего;
4. использование статистических методов обработки результатов групповых ответов.

Прогнозирование методом «Дельфи» многотуровое, однако обычно проводится не более трёх – четырёх этапов.

В первом туре опроса допускаются любые ответы в анкете, чтобы дать неограниченную возможность экспертам сформулировать свои суждения о возможных значениях прогнозируемого технического объекта или события в будущем. Руководитель группы идентифицирует полученные в анкетах мнения: одинаковые объединяются, второстепенные исключаются, после чего перечень суждений включается в следующую, вторую анкету.

---

Во втором туре опроса члены экспертной группы оценивают не только оставленные в анкете суждения, но и реальность даты осуществления событий. Ответы специалистов должны быть строго мотивированны. Если эксперт считает, что сроки осуществления событий, указанные в анкете, нереальны, то возможны ответы – «раньше», «позже». После второго тура опроса руководитель группы подготавливает статистическую сводку мнений, а также рассчитывает медиану, т.е. дает групповую оценку.

В третьем туре опроса члены экспертной группы получают подготовленное руководителем описание суждений и составленную статистическую сводку. На основе полученных материалов эксперты должны дать обзор всех мнений и с учетом этого высказать новые суждения о возможных значениях объекта и времени реализации событий. Если в этом случае оценка специалистов не попадает в интервал, то они вновь должны обстоятельно аргументировать своё мнение.

Четвёртый тур опроса является последним, заключительным и включает в себя те же процедуры, что и в предыдущем туре опроса.

Особое внимание при использовании экспертных оценок следует уделять вопросам точности и надежности получаемых прогнозов. Точность и надёжность прогнозов на основе экспертных оценок достигаются:

• тщательным подбором и проверкой компетентности членов экспертной группы, как правило, ведущих ученых и практиков в данной области знаний;
• проведением экспериментальных проверок компетенции всей привлекаемой к экспертизе группы, т.е. организацией серий опытов, при которых экспериментатор знает ответ, а члены экспертной группы не знают. Если на основе нескольких итераций получают вполне удовлетворительный ответ, то прогнозы данной экспертной группы считаются вполне надежными;
• возможной организацией проверки полученного прогноза другими методами (моделированием, прогнозированием на основе трендовых моделей и т.д.);
• простым анкетированием и четким очертанием прогнозируемого явления (технического объекта);
• сокращением по возможности числа прогнозируемых событий (объектов);
• определением наиболее оптимальных промежутков времени между турами опросов.

Глава II. Использование данных экспертных оценок и их примеры

При проведении анализа экспертных оценок в соответствии с целями исследования и принятыми моделями необходимо определить согласованность действий экспертов, достоверность экспертных оценок.

---

О достоверности групповых экспертных оценок обычно судят по их согласованности. При проведении экспертных опросов, как правило, получают оценки нескольких объектов. Определить согласованность оценок, которые даются разными экспертами, можно с помощью непараметрического двухфакторного дисперсионного анализа.

Метод экспертных оценок как эвристический метод анализа основных макроэкономических показателей, формирующих единую международную систему расчетов, основан на интуитивно-логических предпосылках, содержательно-качественном анализе. Анализ экспертной информации проводится на базе расчета и анализа непараметрических показателей связи: ранговых коэффициентов корреляции Чарльза Эдварда Спирмена, Мориса Джорджа Кенделла и конкордации.

Под ранговой корреляцией понимается статистическая связь между порядковыми переменными. В статистической практике эта связь анализируется на основании исходных статистических данных, представленных упорядочениями (ранжировками) и рассматриваемых объектов по разным свойствам.

Ранжирование – это процедура упорядочения объектов изучения, которая выполняется на основе предпочтения^[19].

Ранг – это порядковый номер значений признака, расположенных в порядке возрастания или убывания их величин. Если проранжировать совокупность по двум признакам, то полное совпадение рангов означает максимально тесную прямую связь, а полная противоположность рангов – максимально тесную обратную связь. Ранжировать оба признака необходимо в одном и том же порядке: либо от меньших значений признака к большим, либо наоборот^[20].

Для измерения степени тесноты связи между ранжировками X^(k) = (x₁^(k), x₂^(k),…, x_n^(k))^Т и X^(j) = (x₁^(j), x₂^(j),…, x_n^(j))^Т К. Спирмэн еще в 1904 году предложил показатель, наречённый впоследствии ранговым коэффициентом корреляции Спирмэна.

(1)

где n - число наблюдений (число пар рангов);
x_i^(k) - ранг i-го объекта по k - му признаку;
x_i^(j) - ранг j-го объекта по k - му признаку;
(x_i^(k) - x_i^(j))² - квадрат разности рангов.

Прямым подсчётом нетрудно убедиться, что для совпадающих ранжировок (т.е. при x_i^(k) = x_i^(j) для всех i = l,2,...,n) τ_kj^(s) = 1, а для противоположных (т. е. при x_i^(k) = n - x_i^(j)+ 1, i = 1 , 2, . . . , n) - τ_kj^(s) = -1.
Можно показать, что во всех остальных случаях | τ_kj^(s) | < 1./4/

---

Формула (1) пригодна лишь в случае отсутствия объединенных рангов в обеих исследуемых ранжировках. Для её распространения на общий случай определим для каждой (k-й) ранжировки X^(k) (k = 0,1,... ,р) величину^[21]

(2)

где m^(k) – число групп неразличимых рангов у переменной x^(k), а n_t^(k) –число элементов (рангов), входящих в t-ю группу неразличимых рангов (в частном случае отсутствия объединенных рангов имеем m^(k) = n, n₁^(k) = n₂^(k) =…= n_n^(k)=1 и соответственно T^(k) = 0; кроме того, группы неразличимых рангов, состоящие из единственного элемента, по существу, не участвуют в расчете величины T^(k))

Если Т^(k) и Т^(j) являются небольшими относительно (1/6)*(n³ - n) величинами, то можно воспользоваться приближенным соотношением (а при Т^(k) = Т^(j) оно точное)

(3)

Правда, при этом же условии (относительная малость Т^(k) + Т^(j) по сравнению с (1/6)*(n³ - n) и приближенная формула (1) дает хорошую точность.

Другой широко используемой характеристикой тесноты статистической связи между двумя упорядочениями является ранговый коэффициент корреляции Кендалла, определяемый соотношением

(4)

где ν(Х^(k) ,X^(j)) - минимальное число обменов соседних элементов последовательности X^(j), необходимое для приведения её к упорядочению Х^(k). Очевидно, величина ν(Х^(k) ,X^(j)) симметрична относительно своих аргументов, так что с равным правом можно говорить о минимальном числе «соседских обменов» элементов последовательности Х^(k), необходимом для приведения к виду X^(j)[22].

Из формулы (4) следует, что при совпадающих ранжировках Х^(k) и X^(j) τ^(K)_kj= 1 (так как ν(Х^(k) ,X^(j)) = 0), а при противоположных (т.е. при x_i^(k) = n-x_i^(j)+l, i= 1,2,..., n, так что ν(Х^(k) ,X^(j)) = (1/2)n(n-1)) - τ^(K)_kj= 1. Нетрудно показать, что во всех остальных случаях |τ^(K)_kj| < 1.

Вычисление τ^(K)_kjсвязано с необходимостью подсчета величины ν(Х^(k),X^(j))и, следовательно, является более трудоемким, чем вычисление τ^(S)_kj. Однако, во-первых, коэффициент Кендалла обладает некоторыми преимуществами по сравнению с коэффициентом Спирмэна, главные из них:

1. относительно большая продвинутость в исследовании его статистических свойств и, в частности, его выборочного распределения (см. ниже);
2. возможность его использования и в частной («очищенной») корреляции рангов;
3. большие удобства его пересчёта при добавлении к n статистически обследованным объектам новых, т.е. при удлинении анализируемых ранжировок: для вычисления нового значения рангового коэффициента корреляции приходится переранжировать значительную часть объектов, что в случае τ^(S)_kj означает необходимость пересчёта разностей x_i^(k) - x_i^(j); при вычислении же τ^(K)_kj значения рангов не играют никакой роли, важно лишь число необходимых «соседских обменов», которое при добавлении новых объектов подсчитывается рекуррентным способом (к старому значению ν(Х^(k),X^(j))) может быть лишь дополнен некоторый «добавок»).

---

Во-вторых, можно воспользоваться рекомендациями, упрощающими подсчёт числа ν(Х^(k),X^(j)) как при ручном, так и при машинном счёте.

Так, при ручном счёте полезным оказывается известный факт тождественного совпадения величин ν(Х^(k),X^(j)) и I(Х^(k),X^(j)), где число инверсий I(Х^(k),X^(j)) - это просто число расположенных в неодинаковом порядке пар элементов последовательностей Х^(k) и X^(j), являющееся естественной мерой нарушения порядка объектов в одной последовательности относительно другой. Для удобства подсчёта I(Х^(k),X^(j)) перенумеруем объекты в порядке, определяемом рангами последовательности Х^(k). Тогда анализируемые ранжировки Х^(k), X^(j) соответствующим образом видоизменяются, т.е. преобразуются к виду соответственно Х^(k), X^(j), где X^(k) = (l,2,...,n)^T; X^(j) = (x₁^(j), x₂^(j),…, x_n^(j))^Т, а число инверсий I(Х^(k),X^(j)) = I(X^(k),X^(j)), а следовательно, и величина ν(Х^(k),X^(j)) определяется по формуле

(5)

где, если x_q^(j)>x_i^(j) (т.е. нарушен порядок последовательности X^(k));

ν_ql^(j,k) =0- в противоположном случае.

Легко подсчитать, что число инверсий I(Х^(k),X^(j)) может меняться от 0 (что соответствует случаю совпадающих ранжировок) до (1/2)n(n - 1) (что соответствует случаю противоположных ранжировок).

Формулы (4)-(5) пригодны для подсчёта τ^(K)_kj лишь в случае отсутствия объединённых рангов в обеих исследуемых ранжировках. Соответствующее «подправленное» значение τ_kj^*(K) - при наличии объединённых рангов в анализируемых упорядочениях будет определяться соотношением

(5΄)

в котором коэффициент τ^(K)_kj вычисляется по формуле (4)-(6), а «поправочные» величины U^(l) определяются соотношением

(6)

(смысл величин m^(l) и n_t^(l), определён выше, см. (3)).

При решении основных задач А - С статистического анализа ранговых связей (возникает необходимость уметь измерить статистическую связь между несколькими (более чем двумя) переменными. С этой целью Кендаллом был предложен показатель Ŵ(m), названный коэффициентом конкордации (или согласованности), вычисляемый по формуле

(7)

где m - число анализируемых порядковых переменных (сравниваемых упорядочений); n - число статистически обследованных объектов или длина ранжировки (объем выборки); k_1,k₂,…,k_m - номера отобранных для анализа порядковых переменных (из исходной совокупности x⁽⁰⁾, x⁽¹⁾, x⁽²⁾, …, x^(p)) , так что, очевидно, m ≤ р + 1).

---