Файл: Курс лекций В. М. Назарова по ису тема Методы исследования систем управления Комплекснокомбинированные методы исследования.doc
ВУЗ: Не указан
Категория: Не указан
Дисциплина: Не указана
Добавлен: 04.02.2024
Просмотров: 400
Скачиваний: 1
ВНИМАНИЕ! Если данный файл нарушает Ваши авторские права, то обязательно сообщите нам.
росов определяются как сумма рангов для каждого объекта. При этом в итоге первый ранг присваивается тому объекту, который получил наименьшую сумму рангов, а последний — тому, у которого оказалась наибольшая сумма рангов, т.е. наименее значимому объекту.
При использовании экспертных методов очевидно, что чем больше привлекается экспертов, тем выше объективность результата оценки. Однако привлечение большого числа квалифицированных экспертов и высокая трудоемкость экспертных работ повышает стоимость проведения оценок качества. Поэтому, чтобы снизить трудоемкость работ экспертов, используют метод рангов, который предусматривает только ранжирование показателей, а не их численное определение экспертами.
Тем не менее данный метод применяется в практике исследования СУ, несмотря на свою простоту и малую трудоемкость, сравнительно. Это объясняется большим числом ранжируемых объектов исследования.
Метод непосредственного оценивания (балльный метод)
представляет собой упорядочение исследуемых объектов (например, при отборе параметров для составления параметрической модели) в зависимости от их важности путем приписывания баллов каждому из них. При этом наиболее важному объекту приписывается наибольшее количество баллов по принятой шкале (дается оценка). Наиболее распространен диапазон шкалы оценок: от 0 до 1; 0 до 5; 0 до 10; 0 до 100. В простейшем случае оценка может быть 0 или 1.
Иногда оценивание осуществляется в словесной форме. Например, «очень важный», «важный», «маловажный» и т.п., что тоже иногда для большого удобства обработки результатов опроса переводится в балльную шкалу (соответственно 3, 2, 1).
Непосредственное оценивание следует применять при полной уверенности в профессиональной информированности экспертов о свойствах исследуемых объектов. По результатам оценок определяются ранг и весомость (значимость) каждого исследуемого объекта.
Из методов группового опроса наибольшее распространение получили различные модификации метода Дельфи.
Метод Дельфи
Метод Дельфи представляет собой ряд последовательно осуществляемых процедур
, направленных на подготовку и обоснование прогноза. Эти процедуры характеризуются анонимностью (независимостью ответов экспертов) опроса, регулируемой обратной связью между результатами опроса предыдущего этапа и подготовкой их нового варианта, а также групповым характером ответа.
Регулируемая обратная связь осуществляется путем проведения нескольких туров опроса экспертов, на каждом из которых характеристики их ответов обрабатываются с помощью математико-статистических методов и результаты сообщаются анонимно.
Групповой ответ формируется путем обработки и анализа результатов ответов экспертов. Критерием окончания его разработки, как правило, служит «близость» мнений экспертов.
Недостаток метода Дельфи заключается в том, что он не позволяет сталкивать в споре различные мнения и стимулировать тем самым возникающее при личном контакте «генерирование» идей. Кроме того, при экспертизе по методу Дельфи необходимо значительное время.
Рассмотрим порядок проведения экспертного опроса по методу Дельфи.
1. Отбор специалистов для участия в экспертизе начинается с составления списка компетентных в соответствующих областях лиц. Этот список служит основой для выбора экспертов с помощью специальных методов оценки их качеств. Известны четыре группы таких методов: самооценки, оценки группой каждого специалиста, оценки специалиста на основе результатов его прошлой экспертной деятельности, методы определения компетентности.
При методе самооценок специалисты оценивают по предлагаемой анкете свои способности (зрительную память, настойчивость, способность к аналитическому мышлению, сообразительность, внимание, активность, эрудицию и многое другое) по пятибалльной шкале.
Организаторы экспертизы рассчитывают средние значения по каждой характеристике, для группы экспертов в целом. В зависимости от их значений состав группы может меняться. Практический опыт показывает, что группы с высокой самооценкой ошибаются в своих экспертных суждениях меньше других: средняя групповая ошибка уменьшается с ростом средней самооценки. С помощью самооценок определяют компетентность эксперта, оценивая аргументы, с помощью которых он обосновывал свои ответы, а также степень его знакомства с исследуемом проблемой.
В тех случаях, когда эксперты знают друг друга, наряду с самооценкой используют метод коллективной оценки каждого из них остальными членами группы. Коллективные оценки обычно менее точны, чем самооценки. Поэтому, как правило, используются оба метода: организаторы экспертизы предлагают каждому из кандидатов заполнить опросные листы на себя и на других участников опроса.
Более объективными оказываются методы, основанные на использовании результатов прошлой экспертной деятельности специалиста. Они применяются, когда имеются данные о результатах участия специалиста в экспертизах в прошлом. Одним из таких методов является определение степени надежности эксперта, которое представляет собой частное от деления правильных оценок к общему числу оценок эксперта.
Определить оптимальную численность экспертной группы довольно трудно. Наиболее простой способ — установление ее минимальной численности. Минимальное количество специалистов должно соответствовать количеству рассматриваемых проблем. Верхняя оценка численности экспертной группы определяется как потенциально возможное и достаточное число экспертов.
2. Общая схема проведения экспертизы по методу Дельфи состоит в следующем.
На первом туре эксперты дают ответы на поставленные вопросы, как правило, без аргументации. Ответы обрабатываются, определяются их статистические характеристики (средняя, среднеквадратическое отклонение, крайние значения ответов) и результаты обработки сообщаются экспертам.
После этого проводится второй тур опроса, в ходе которого эксперты должны объяснить, почему они изменили или не изменили своего мнения.
Данные обработки результатов второго тура опроса и аргументация ответов с сохранением анонимности снова сообщаются экспертам перед проведением третьего тура опроса.
Последующие туры проводятся по такой же схеме. Подобная организация экспертизы позволяет экспертам учесть в своих ответах новые для них обстоятельства и в то же время избавляет их от какого бы то ни было давления при отстаивании своей позиции.
Как правило, на практике оказывается достаточным проведение четырех туров опросов. После чего мнения всех экспертов либо сближаются, либо образуют две (или больше) группы существенно различающихся мнений. В первом случае достигнутый результат со значительной степенью обоснованности может быть рассмотрен в качестве прогнозного решения, во втором — необходимо продолжить исследование проблем развития объекта с учетом выдвигаемой различными группами аргументации.
Метод Дельфи имеет несомненные преимущества по сравнению с методами, основанными на обычной статистической обработке результатов индивидуальных опросов. Он позволяет уменьшить колебания по всей совокупности индивидуальных ответов, ограничивает колебания внутри групп. При этом, как показывают проводимые эксперименты, наличие малоквалифицированных экспертов оказывает менее сильное влияние на групповую оценку, чем простое усреднение результатов ответов, поскольку ситуация помогает им исправить ответы за счет получения новой информации от своей группы.
Существует несколько модификаций метода Дельфи, в которых основные принципы организации экспертизы имеют много общего. Различия связаны с попытками усовершенствовать метод за счет более обоснованного отбора экспертов, введения схем оценки их компетентности, улучшенных механизмов обратных связей и т. п. Для удобства обработки информации все модификации, как правило, предполагают возможность выражения ответа в виде числа, количественной оценки.
Некоторые недостатки метода Дельфи связаны с нехваткой времени, которое отведено эксперту на обдумывание проблемы. В этом случае эксперт может согласиться с мнением большинства, чтобы уйти от необходимости объяснения, в чем заключается отличие его решения от остальных вариантов. Эти недочеты устраняются совершенствованием организации экспертиз путем создания автоматизированных систем обработки результатов опроса.
Техническая реализация такой системы основана на использовании компьютерной сети по схеме «клиент—сервер». Это обеспечивает представление вопросов экспертам (общающимся с сервером посредством Интернета или выделенного канала), сбор и обработку результатов ответов на выделенном сервере, запрос и выдачу аргументации и другой необходимой информации для подготовки ответов.
Кроме того, некоторые специалисты считают, что предположение о том, чтобы те, кто резко расходится с мнением большинства, обосновали свою точку зрения, может привести к усилению эффекта приспособления, а не уменьшить его, как это было задумано. Но все же многие ученые утверждают, что метод Дельфи превосходит «обычные» методы прогнозирования, по крайней мере, при разработке краткосрочных прогнозов.
Метод Дельфи впервые был описан в «Докладе об изучении долгосрочного прогнозирования» американской корпорации «Рэнд» в 1964 г. Объектами исследования явились: научные прорывы, рост населения, автоматизация, исследование космоса, возникновение и предотвращение войн, будущие системы оружия.
За истекший период круг прогнозируемых процессов с помощью метода Дельфи значительно расширился, но несомненно, что наибольшее применение этот метод нашел в областях, связанных с научно-техническим прогрессом. Благодаря развитию телекоммуникационных технологий его применение существенно упростилось по сравнению с той длительной бюрократической процедурой, которую он представлял собой вначале. В нашей стране в последнее время он довольно успешно применяется в предпринимательской деятельности, при разработке комплексных, затрагивающих различные сферы социума проектов. Метод Дельфи используется, как правило, в сочетании или в качестве составляющей части в сложных методиках синтеза управленческих решений.
При использовании экспертных методов очевидно, что чем больше привлекается экспертов, тем выше объективность результата оценки. Однако привлечение большого числа квалифицированных экспертов и высокая трудоемкость экспертных работ повышает стоимость проведения оценок качества. Поэтому, чтобы снизить трудоемкость работ экспертов, используют метод рангов, который предусматривает только ранжирование показателей, а не их численное определение экспертами.
Тем не менее данный метод применяется в практике исследования СУ, несмотря на свою простоту и малую трудоемкость, сравнительно. Это объясняется большим числом ранжируемых объектов исследования.
Метод непосредственного оценивания (балльный метод)
представляет собой упорядочение исследуемых объектов (например, при отборе параметров для составления параметрической модели) в зависимости от их важности путем приписывания баллов каждому из них. При этом наиболее важному объекту приписывается наибольшее количество баллов по принятой шкале (дается оценка). Наиболее распространен диапазон шкалы оценок: от 0 до 1; 0 до 5; 0 до 10; 0 до 100. В простейшем случае оценка может быть 0 или 1.
Иногда оценивание осуществляется в словесной форме. Например, «очень важный», «важный», «маловажный» и т.п., что тоже иногда для большого удобства обработки результатов опроса переводится в балльную шкалу (соответственно 3, 2, 1).
Непосредственное оценивание следует применять при полной уверенности в профессиональной информированности экспертов о свойствах исследуемых объектов. По результатам оценок определяются ранг и весомость (значимость) каждого исследуемого объекта.
Из методов группового опроса наибольшее распространение получили различные модификации метода Дельфи.
Метод Дельфи
Метод Дельфи представляет собой ряд последовательно осуществляемых процедур
, направленных на подготовку и обоснование прогноза. Эти процедуры характеризуются анонимностью (независимостью ответов экспертов) опроса, регулируемой обратной связью между результатами опроса предыдущего этапа и подготовкой их нового варианта, а также групповым характером ответа.
Регулируемая обратная связь осуществляется путем проведения нескольких туров опроса экспертов, на каждом из которых характеристики их ответов обрабатываются с помощью математико-статистических методов и результаты сообщаются анонимно.
Групповой ответ формируется путем обработки и анализа результатов ответов экспертов. Критерием окончания его разработки, как правило, служит «близость» мнений экспертов.
Недостаток метода Дельфи заключается в том, что он не позволяет сталкивать в споре различные мнения и стимулировать тем самым возникающее при личном контакте «генерирование» идей. Кроме того, при экспертизе по методу Дельфи необходимо значительное время.
Рассмотрим порядок проведения экспертного опроса по методу Дельфи.
1. Отбор специалистов для участия в экспертизе начинается с составления списка компетентных в соответствующих областях лиц. Этот список служит основой для выбора экспертов с помощью специальных методов оценки их качеств. Известны четыре группы таких методов: самооценки, оценки группой каждого специалиста, оценки специалиста на основе результатов его прошлой экспертной деятельности, методы определения компетентности.
При методе самооценок специалисты оценивают по предлагаемой анкете свои способности (зрительную память, настойчивость, способность к аналитическому мышлению, сообразительность, внимание, активность, эрудицию и многое другое) по пятибалльной шкале.
Организаторы экспертизы рассчитывают средние значения по каждой характеристике, для группы экспертов в целом. В зависимости от их значений состав группы может меняться. Практический опыт показывает, что группы с высокой самооценкой ошибаются в своих экспертных суждениях меньше других: средняя групповая ошибка уменьшается с ростом средней самооценки. С помощью самооценок определяют компетентность эксперта, оценивая аргументы, с помощью которых он обосновывал свои ответы, а также степень его знакомства с исследуемом проблемой.
В тех случаях, когда эксперты знают друг друга, наряду с самооценкой используют метод коллективной оценки каждого из них остальными членами группы. Коллективные оценки обычно менее точны, чем самооценки. Поэтому, как правило, используются оба метода: организаторы экспертизы предлагают каждому из кандидатов заполнить опросные листы на себя и на других участников опроса.
Более объективными оказываются методы, основанные на использовании результатов прошлой экспертной деятельности специалиста. Они применяются, когда имеются данные о результатах участия специалиста в экспертизах в прошлом. Одним из таких методов является определение степени надежности эксперта, которое представляет собой частное от деления правильных оценок к общему числу оценок эксперта.
Определить оптимальную численность экспертной группы довольно трудно. Наиболее простой способ — установление ее минимальной численности. Минимальное количество специалистов должно соответствовать количеству рассматриваемых проблем. Верхняя оценка численности экспертной группы определяется как потенциально возможное и достаточное число экспертов.
2. Общая схема проведения экспертизы по методу Дельфи состоит в следующем.
На первом туре эксперты дают ответы на поставленные вопросы, как правило, без аргументации. Ответы обрабатываются, определяются их статистические характеристики (средняя, среднеквадратическое отклонение, крайние значения ответов) и результаты обработки сообщаются экспертам.
После этого проводится второй тур опроса, в ходе которого эксперты должны объяснить, почему они изменили или не изменили своего мнения.
Данные обработки результатов второго тура опроса и аргументация ответов с сохранением анонимности снова сообщаются экспертам перед проведением третьего тура опроса.
Последующие туры проводятся по такой же схеме. Подобная организация экспертизы позволяет экспертам учесть в своих ответах новые для них обстоятельства и в то же время избавляет их от какого бы то ни было давления при отстаивании своей позиции.
Как правило, на практике оказывается достаточным проведение четырех туров опросов. После чего мнения всех экспертов либо сближаются, либо образуют две (или больше) группы существенно различающихся мнений. В первом случае достигнутый результат со значительной степенью обоснованности может быть рассмотрен в качестве прогнозного решения, во втором — необходимо продолжить исследование проблем развития объекта с учетом выдвигаемой различными группами аргументации.
Метод Дельфи имеет несомненные преимущества по сравнению с методами, основанными на обычной статистической обработке результатов индивидуальных опросов. Он позволяет уменьшить колебания по всей совокупности индивидуальных ответов, ограничивает колебания внутри групп. При этом, как показывают проводимые эксперименты, наличие малоквалифицированных экспертов оказывает менее сильное влияние на групповую оценку, чем простое усреднение результатов ответов, поскольку ситуация помогает им исправить ответы за счет получения новой информации от своей группы.
Существует несколько модификаций метода Дельфи, в которых основные принципы организации экспертизы имеют много общего. Различия связаны с попытками усовершенствовать метод за счет более обоснованного отбора экспертов, введения схем оценки их компетентности, улучшенных механизмов обратных связей и т. п. Для удобства обработки информации все модификации, как правило, предполагают возможность выражения ответа в виде числа, количественной оценки.
Некоторые недостатки метода Дельфи связаны с нехваткой времени, которое отведено эксперту на обдумывание проблемы. В этом случае эксперт может согласиться с мнением большинства, чтобы уйти от необходимости объяснения, в чем заключается отличие его решения от остальных вариантов. Эти недочеты устраняются совершенствованием организации экспертиз путем создания автоматизированных систем обработки результатов опроса.
Техническая реализация такой системы основана на использовании компьютерной сети по схеме «клиент—сервер». Это обеспечивает представление вопросов экспертам (общающимся с сервером посредством Интернета или выделенного канала), сбор и обработку результатов ответов на выделенном сервере, запрос и выдачу аргументации и другой необходимой информации для подготовки ответов.
Кроме того, некоторые специалисты считают, что предположение о том, чтобы те, кто резко расходится с мнением большинства, обосновали свою точку зрения, может привести к усилению эффекта приспособления, а не уменьшить его, как это было задумано. Но все же многие ученые утверждают, что метод Дельфи превосходит «обычные» методы прогнозирования, по крайней мере, при разработке краткосрочных прогнозов.
Метод Дельфи впервые был описан в «Докладе об изучении долгосрочного прогнозирования» американской корпорации «Рэнд» в 1964 г. Объектами исследования явились: научные прорывы, рост населения, автоматизация, исследование космоса, возникновение и предотвращение войн, будущие системы оружия.
За истекший период круг прогнозируемых процессов с помощью метода Дельфи значительно расширился, но несомненно, что наибольшее применение этот метод нашел в областях, связанных с научно-техническим прогрессом. Благодаря развитию телекоммуникационных технологий его применение существенно упростилось по сравнению с той длительной бюрократической процедурой, которую он представлял собой вначале. В нашей стране в последнее время он довольно успешно применяется в предпринимательской деятельности, при разработке комплексных, затрагивающих различные сферы социума проектов. Метод Дельфи используется, как правило, в сочетании или в качестве составляющей части в сложных методиках синтеза управленческих решений.