Файл: Метод экспертных оценок и область его применения решений (на примере ООО «ОптМетизы»)..pdf

- эксперт является хранилищем большого объема рационально обработанной информации, и поэтому он может рассматриваться как качественный источник информации (своего рода «информационный измеритель» с небольшими погрешностями);

- групповое мнение экспертов близко к истинному решению проблемы.

Если эти гипотезы верны, то для построения процедур опроса и алгоритмов обработки можно использовать результаты теории измерений и математической статистики.

Ко второму классу относятся проблемы, в отношении которых информационный потенциал знаний недостаточен для уверенности в справедливости указанных гипотез.^[13] При решении проблем из этого класса экспертов уже нельзя рассматривать как «хороших измерителей». Поэтому необходимо очень осторожно проводить обработку результатов экспертизы. Применение методов осреднения, справедливых для «хороших измерителей», в данном случае может привести к большим ошибкам. Например, мнение одного эксперта, сильно отличающееся от мнений остальных экспертов, может оказаться правильным. В связи с этим для проблем второго класса в основном должна применяться качественная обработка. В данном курсе основное внимание уделяется вопросам экспертного оценивания для решения проблем первого класса.

Несколько иначе область применения данного метода обозначена Н.И. Даудрих.^[14]

Рис. 1. Область применения метода экспертных оценок

Таким образом, область применения метода экспертных оценок весьма широка. Перечислим типовые задачи, решаемые методом экспертных оценок:

- составление перечня возможных событий в различных областях за определенный промежуток времени;

- определение наиболее вероятных интервалов времени свершения совокупности событий;

- определение целей и задач управления с упорядочением их по степени важности;

- определение альтернативных вариантов решения задачи с оценкой их предпочтения;

- альтернативное распределение ресурсов для решения задач с оценкой их предпочтительности;

- альтернативные варианты принятий решений в определенной ситуации с оценкой их предпочтительности.

Для решения перечисленных типовых задач в настоящее время применяются различные разновидности метода экспертных оценок. К основным видам относятся: анкетирование и интервьюирование; мозговой штурм; дискуссия; совещание; оперативная игра; сценарий.

Каждый из этих видов экспертного оценивания обладает своими преимуществами и недостатками, определяющими рациональную область применения. Во многих случаях наибольший эффект дает комплексное применение нескольких видов экспертизы.

Анкетирование и сценарий предполагают индивидуальную работу эксперта. Интервьюирование может осуществляться как индивидуально, так и с группой экспертов. Остальные виды экспертизы предполагают коллективное участие экспертов в работе. Независимо от индивидуального или группового участия экспертов в работе целесообразно получать информацию от множества экспертов. Это позволяет получить на основе обработки данных более достоверные результаты, а также новую информацию о зависимости явлений, событий, фактов, суждений экспертов, не содержащуюся в явном виде в высказываниях экспертов.

1.3. Виды и этапы проведения экспертного оценивания

В современной литературе рассматриваются различные виды экспертного оценивания^[15].

1. По характеру взаимодействия между экспертами

Очное интервью. Личное общения с экспертом (интервью). Позволяет адаптировать гайд по ходу ведения беседы, переформулировать вопросы в зависимости от особенностей эксперта, корректировать вопросы в соответствие с его зоной компетентности.

Заочный опрос. Опрос происходит в письменной форме, т.е. эксперт получает список вопросов, ситуаций, формулировку проблемы и пр. Письменный опрос позволяет эксперту тщательно подготовится к ответам, собрать необходимые материалы, работать в «своем» темпе.

2. По численности экспертов

Индивидуальный опрос. Одновременно опрашивается только один эксперт, ведется индивидуальный разговор (переписка при заочном формате). Возможность получения максимально полной информации от каждого участника, отсутствие внешнего влияния на эксперта.

Групповой опрос. Опрос может проводиться в разных форматах: групповой дискуссии, «мозгового штурма», «дельфи-метода» и т.п. Ключевая черта - взаимодействие между экспертами. Преимущество – возможность столкновения разных взглядов, сравнение возможных решений, «эффект синергии»

3. По процедуре согласования оценок

Опрос в один тур. Информация запрашивается от каждого эксперта только однажды; нет какого-либо обсуждения, уточнения, корректировки по итогам. Вид опроса более экономичен по затратам времени и финансов.

Многотуровый. Неоднократное обращение к экспертам с просьбой прокомментировать результаты, получившиеся в ходе предыдущего раунда опроса. Необходим для выработки оптимального варианта действий

Рассмотрим этапы проведения экспертного оценивания.

Первым этапом организации работ по применению экспертного оценивания является подготовка и издание руководящего документа, в котором формулируется цель работы и основные положения по ее выполнению. В этом документе должны быть отражены следующие вопросы:

- постановка задачи эксперимента;

- цели эксперимента;

- обоснование необходимости эксперимента;

- сроки выполнения работ;

- задачи и состав группы управления;

- обязанности и права группы;

- финансовое и материальное обеспечение работ.^[16]

Для подготовки этого документа, а также для руководства всей работой назначается руководитель экспертизы. На него возлагается формирование группы управления и ответственность за организацию ее работы.

После формирования группа управления осуществляет работу по подбору экспертной группы примерно в такой последовательности:

- уяснение решаемой проблемы;

- определение круга областей деятельности, связанных с проблемой;

- определение долевого состава экспертов по каждой области деятельности;

- определение количества экспертов в группе;

- составление предварительного списка экспертов с учетом их местонахождения;

- анализ качеств экспертов и уточнение списка экспертов в группе;

- получение согласия экспертов на участие в работе;

- составление окончательного списка экспертной группы.^[17]

Следует помнить, что при подборе экспертов весьма важны знания, опыт, личная позиция экспертов. Это хорошо видно на рис. 2.

Рис. 2. Специфика экспертной позиции

Существуют определенные особенности подбора экспертов, которые кратко изложены на рис. 3.

Рис. 3. Особенности отбора экспертов

Параллельно с процессом формирования группы экспертов группа управления проводит разработку организации и методики проведения опроса экспертов. При этом решаются следующие вопросы:

- место и время проведения опроса;

- количество и задачи туров опроса;

- форма проведения опроса;

- порядок фиксации и сбора результатов опроса;

- состав необходимых документов.

Следующим этапом работы группы управления является определение организации и методики обработки данных опроса. На данном этапе необходимо определить задачи и сроки обработки, процедуры и алгоритмы обработки, силы и средства для проведения обработки.

Здесь необходимо отметить, что принципиально важное значение получает качество сформулированных вопросов – от этого, в конечном итоге, зависит точность и эффективность систематизации полученных ответов.

На рис. 4. изложены некоторые рекомендации по формулировке вопросов экспертам.

Рис. 4. Рекомендации по формулировке вопросов экспертам

В процессе непосредственного проведения опроса экспертов и обработки его результатов группа управления осуществляет выполнение комплекса работ в соответствии с разработанным планом, корректируя его по мере необходимости по содержанию, срокам и обеспечению ресурсами.

Последним этапом работ для группы управления является оформление результатов работы. На этом этапе производится анализ результатов экспертного оценивания; составление отчета; обсуждение и одобрение результатов; представление итогов работы на утверждение; ознакомление с результатами экспертизы организаций и лиц.

На данном этапе также важно придерживаться определенных рекомендаций, приводимых на рис. 5.

Рис. 5. Правила оценки экспертных данных

Выше изложена процедура проведения экспертного оценивания в 3 этапа. В литературе имеется и более подробная система этапов проведения экспертного оценивания, которая изложена на рис. 6.

Рис. 6. Этапы экспертного оценивания

1.4. Преимущества и недостатки метода экспертных оценок

Безусловным преимуществом данного метода является использование знаний компетентных экспертов, которые могут дать весьма качественную информацию для принятия тех или иных управленческих решений.

Вместе с тем, при использовании метода экспертных оценок возникают свои проблемы. Основными из них являются: подбор экспертов, проведение опроса экспертов, обработка результатов опроса, организация процедур экспертизы.

Так, трудности экспертизы, по мнению Н.И. Даудриха, заключаются в следующем (рис. 7).

Рис. 7. Трудности экспертизы

Таким образом, метод экспертной оценки имеет недостатки, главным из которых следует признать отсутствие ясного критерия оценки адекватности результатов экспертизы реальной действительности. Сам процесс формулирования оценки, который в методах прямого измерения эксплицирован, «прозрачен», в экспертных методах полностью или частично скрыт. Фактически единственным залогом валидности результата является вера в компетентность эксперта. И в этой ситуации, по существу, единственным способом повысить уверенность в адекватности оценок становится увеличение числа опрашиваемых экспертов. Поэтому в практике анализа используются, как правило, групповые экспертные оценки.^[18]

Однако использование коллективного оценивания не решает всей проблемы. Нередко экспертные сообщества представляют собой плотные социальные сети, формирующие общие стандарты, подходы и, соответственно, общие стереотипы.^[19]

Существует риск, что групповая оценка окажется не более чем отражением сложившегося «шаблона» восприятия.

Кроме того, среди недостатков метода экспертных оценок как способа получения прогнозов можно выделить следующие:

а) часть специалистов экспертной группы или даже один наиболее активный член группы могут оказывать давление на всех членов, и, если такое мнение ошибочно, может быть получен неправильный прогноз;

б) в отдельных случаях на решения членов экспертной группы может оказать отрицательное влияние не глубина доводов, а количество замечаний «за» или «против»;

в) возможно также, что проблема достижения соглашения между членами экспертной группы будет иметь более важное значение, чем тщательно разработанный прогноз.

Однако, несмотря на отмеченные недостатки, методы экспертных оценок остаются важнейшим и наиболее надежным способом прогнозирования в политической сфере.

2. Применение метода экспертных оценок на примере ООО «ОптМетизы»