Таблица 5.10 Данные для расчета коэффициента конкордации

Эксперт № Количество экспертов К = 6	Ранги, поставленные экспертами пяти объек­там ранжирования Н=5
	1	2	3	4	5
2	3	5	1	2	4
3	4	5	3	1	2
4	3	5	2	4	1
5	4	3	2	1	5
6	4	5	2	1	3
К[(Н+1) : 2]	8	18	18	18	18
	22	28	12	10	18
||лу-*[(Я + 1):2]|	16	100	36	64	0

Логико-интуитивные методы исследования систем управления 25

Коэффициент конкордации определяются следующим образом: 1¥= (12 + 16 + 100 + 36 + 64 + 0) : [б² (5³ - 5)] = 0,6.

Итак, мнения экспертов можно признать согласованными, по­скольку полученная величина коэффициента конкордации соответ­ствует условию \¥> 0,5.

При использовании экспертных методов, в которых ранги не определяются, для нахождения конкордации рассчитанные значи­мости объектов следует переводить в ранги. Ранг 1 приписывается объекту, у которого значимость наибольшая и т.д., в противном случае оценку согласованности мнений проводят по другим крите­риям согласия.

Рассчитанную величину коэффициента конкордации следует взвешивать по критерию Пирсона (X²) с определенным уровнем значимости (В), т.е. с максимальной вероятностью неправильного результата работы экспертов. Обычно задавать значимость доста­точно в пределах 0,005 — 0,05.

В случае получения расчетной величины больше табличной, т.е.

Х²_Расч > ^табл > (^с избранным уровнем значимости), мнения экс­пертов окончательно признаются согласованными.

Табличные величины х\_ш6л, значения которых представлены в

табл. 5.11, зависят от принимаемого уровня значимости и числа степеней свободы (5), определяемого по формуле 5 = Н — 1.

Таблица 5.11

Табличные величины критерия Пирсона X

табл

Уровень значимости

Число степеней свободы (Б = Н — 1)

(В)	1	2	5	7	10	15	20	25	30
0,005	7,8	13	17	30,5	25	33	40	47	54
0,025	5'	9,3	12,7	16	20,5	27,5	34	40	47
0,050	3,8	7,8	11	14	18,5	25	31	38	44

Расчетная величина X_расч определяется по формуле

Кас, = Ш(Н-1).

(5.12)

Таким образом, для данных приведенного ранее примера

^ = 0,6 • 6 • (5-1) = 14,4. (5.13)

25

Глава 5

При уровне значимости 0,05 табличная величина Х^_абя равна примерно 9, т.е. мнения экспертов можно окончательно признать с вероятностью 0,95 согласованными, так как Х²_расч > Х²^^.

В случае определения несогласованности мнений экспертов по коэффициентам конкордации и соответствующей проверке его ве­личины по критерию Пирсона экспертные опросы следует повто­рить. Если при использовании экспертного метода ранги объектов экспертизы не определяются, то для расчета коэффициента кон­кордации следует в них перевести, приписывая самому большему количеству предпочтений ранг 1, следующему по важности — 2 и т.д. В противном случае согласованность мнений экспертов следует оценить по критерию согласия Д.

---

Обработка экспертных и социологических данных и расчеты мер согласованности требуют довольно трудоемких вычислений, поэтому при проведении сбора и обработки результатов экспертной и социо­логической информации следует шире использовать компьютерную технику. Возможности для этого есть, так как автоматизация прове­дения и обработки результатов подобного рода данных стала предме­том создания ряда продуктов программного обеспечения.

Применение при исследованиях и проектировании систем УК всех рассмотренных экспертных методов, несмотря на их недостат­ки, достаточно эффективно. Причем наибольший эффект достига­ется при одновременном использовании как рассмотренных выше, так и других методов.

В составе нормативно-методической документации (НМД) сис­тем управления предприятия целесообразно иметь документ, опре­деляющий применение экспертных методов при проведении работ с участием экспертов.

5.3. Метод тестирования

ОСНОВНЫЕ ПОНЯТИЯ И СУЩНОСТЬ МЕТОДА

В последнее время в различных сферах деятельности широкое распространение получил метод тестирования. Первоначально в за­рубежной практике с помощью тестов, т.е. комплекса определенных заданий стандартной формы, проводились испытания психического состояния, умственного развития, способностей, волевых и других свойств личности отдельного человека или социальной группы лю­дей. Затем сфера метода тестирования расширилась, его начали применять для определения не только психофизических состояний и особенностей людей, но и при проведении исследований СУ,

Логико-интуитивные методы исследования систем управления 25

различного рода экспериментов. Особенно популярным тестирова­ние стало в образовании. В управлении при помощи тестов иссле­дуют, например, проблемы, связанные с определением квалифика­ции и аттестации персонала, распределением функций управления и ресурсов, выбором стиля управления и т.п.

Тест в переводе с английского языка (test) — испытание, мери­ло, критерий, в медицине — исследование, проба, анализ, в химии — реакция, реактив. В зависимости от сферы деятельности человека тест представляет собой:

• удовлетворяющую критериям исследования эмпирико-анали-тическую процедуру;

• комплекс высказываний, позволяющий объективно отразить реально существующие отношения между людьми, их свойства, при­знаки и количественные параметры;

• метод изучения глубинных процессов деятельности человека, основывающийся на его высказываниях или оценках факторов функционирования СУ;

• искусственное строго дозированное воздействие, направлен­ное на объект в процессе проводимого эксперимента и позволяющее по ответной реакции исследовать его состояние и (или) всей СУ.

Очевидно, что два последних определения относится к прило­жению тестов непосредственно для исследования СУ. Причем со­держание последнего понятия отражает более широкую сферу ис­пользования метода тестирования и объективнее раскрывает сущ­ность тестов.

---

Исходя из приведенных определений тест — это искусственно созданное воздействие испытательного характера; может воздейство­вать на изучаемый элемент и (или) СУ в целом в процессе прово­димого эксперимента (в натурных или специально создаваемых имитируемых условиях); вызывает ответную реакцию элемента и (или) СУ в виде высказываний и других «откликов» на их «выходе».

Дополнительно необходимо признать, что в динамике такое ис­пытательное воздействие, т.е. тестирование, в любом случае может рассматриваться как метод, использование которого образует экс­периментальный процесс исследования какого-либо элемента и (или) СУ в целом и позволяет установить взаимосвязи между «входными» воздействиями и «выходными» параметрами изучаемого объекта. Тестирование требует соответствующей подготовки, планиро­вания и создания условий для его осуществления.

Натурное тестирование проводится в реальных условиях. При­мерами натурного тестирования служат:

26

Глава 5

• широкомасиггабный эксперимент, который проводился в 80-е гг. XX в. промышленности СССР, по созданию СУ на основе стандартиза­ции (такого рода эксперименты можно отнести к экстремальным, так как они являются высоко рисковыми);

• апробация опытных нормативов по труду на рабочих местах;

• специально организованная дозированная «утечка» управлен­ческой информации, позволяющая прозондировать ответную реак­цию, например, определенного слоя общества и соответственно выявить его вектор, активность и т.п.

Особенно глубокой подготовки и проработки требует широко­масштабное натурное тестирование, когда необходимо предусмат­ривать ответственность организаторов, учитывать допустимость рисков, возможных негативных последствий, в частности социаль­ного, экологического и материального ущербов.

Нельзя недооценивать и тестирование в имитационных условиях. Так, в управлении при проведении исследований часто используются деловые игры, «мозговые» атаки и т.д. Метод тестирования может применяться на всех стадиях исследования, начиная от диагностики и заканчивая стадией внедрением результатов исследовательских ра­бот в практику управления. Отсюда вытекает ответственность всех участников организации и проведения рассматриваемого процесса.

Основное назначение теста — контроль и установление соответ­ствия между значениями входных и выходных параметров испытуе­мой системы при выполнении ею различных функций и на различ­ных режимах управления (ручной, автоматический и т.п.). Один из примеров социального теста — «утечка информации» из органов управления СУ для получения сведений об ответных реакциях объ­ектов исследования. Подобного рода тесты имеют целью, напри­мер, выяснить реакцию персонала СУ на то или иное воздействие, ее направленность и интенсивность. Другой пример натурного со­циально-экономического тестирования — установление опытных норм по труду, хронометраж выполняемых персоналом заданий и т.п.

---

Безусловно, тестирование является одним из самых эффектив­ных методов исследования СУ Вместе с тем необходимо отметить, что использование методов тестирования в образовательных систе­мах может в дальнейшем, в процессе практической деятельности, привести к негативным последствиям. Это обусловлено возможным воздействием альтернативных ложных суждений (ответов) на па­мять и сознание тестируемого индивидуума, что с некоторой долей вероятности может повлиять на правильность принятия управлен­ческих решений на подсознательном уровне (например, в условиях дефицита времени).

Логико-интуитивные методы исследования систем управления 26

ПРАВИЛА КОНСТРУИРОВАНИЯ И ФОРМУЛИРОВАНИЯ ТЕСТОВ

Для проведения работ по тестированию необходимо:

• четко определять цели, задачи, правила, условия, требуемые результаты, начало и конец, отразив все эти данные в соответст­вующем плане;

• установить возможные последствия тестирования;

• определить необходимый объем информации, и методы ее сбора, обработки и использования; разработать сценарии действий всех участников;

• сформулировать методику проведения оценки результатов тестирования;

• определить направления и варианты использования результатов.

Независимо от вида и разработанного порядка тестирования боль­шое значение для получения объективных результатов имеет конст­руирование и формулирование тестов. Конструктивно тесты в зави­симости от их предназначения могут быть заданы и спроектирова­ны в различной форме. В общем случае тест может рассматриваться в рамках:

1) искусственно созданного воздействия испытательного характера;

2) ответной реакции объекта испытания.

Так, для социального тестирования ответная реакция на тест может конструироваться в виде высказываний:

• «да», «нет»;

• «согласен», «не согласен»;

• «правильно», «неправильно»;

• «совершенно верно», «верно», «скорее верно, чем неверно», «труд­но сказать», «скорее неверно, чем верно», «неверно», «совсем неверно».

Высказывания могут быть даны также в виде оценок, например:

• «очень высокая», «высокая», «выше среднего», «средняя», «ниже среднего», «низкая», «очень низкая»;

• от 1 до 10 баллов;

• от 0 до 1 балла.

Желательно, чтобы конструктивно ответная реакция на тест по­зволяла обрабатывать результаты тестирования математико-статис-тическими методами.

К основным правшам формулирования искусственно созданных воздействий испытательного характера (например, для тестов соци­ально-экономических СУ) следует отнести:

• целенаправленность;

• однозначность понимания;

27

Глава 5

• логичность;

• краткость (желательно не более одного придаточного предложения);

• информативность;

• простота, понятность и доступность;

• нейтральность;

• позитивность и негативность высказываемых суждений

---

• альтернативность (с числом возможных суждений не менее четырех и не более десяти, причем как позитивного, так негативно­го характера);

• отсутствие намека на ожидаемый ответ;

• сбалансированность;

• наличие ключа к каждому тесту для обработки полученной информации в соответствии с целями тестирования.

К ответным реакциям, отражаемым в виде высказываний или оценок, практически во многом предъявляется требования, анало­гичные тем, которые предъявляются непосредственно к воздействи­ям, при этом дополнительно включаются требования односложно­сти и точности.

Каждый тест, включая социально-экономические, должен обла­дать определенными свойствами, в частности свойствами назначе­ния, безопасности, экологичности, этичности, экономичности, ва-лидности и надежности.

Свойства безопасности и экологичности относятся только к воз­действиям технического характера.

Этичность теста характеризует его с точки зрения морали, нравственности и корректности

Валидность теста — свойство, обеспечивающее (в зависимости от цели исследования) измерение состояния исследуемого объекта, позволяющее проверять результаты измерения на основе анализа оценки или другими способами, сравнивая полученные данные.

Надежность теста определяется его качеством, и прежде всего точностью измерения. Требования к надежности устанавливаются в зависимости целей и задач тестирования. Проверка надежности осу­ществляется, как правило, параллельным или повторным тестирова­нием объекта исследования. Кроме того, надежность может опреде­ляться методами корреляционного (на основе корреляции высказы­ваний), дисперсионного и факторный анализов.

Характеристики остальных свойств тестов достаточно очевидны.

Пример тестов приведен в Приложении 1.

Логико-интуитивные методы исследования систем управления 27

5.4. Метод «дерева» целей

СУЩНОСТЬ МЕТОДА

Результаты взаимодействия всех элементов в СУ прямо связаны с поставленными целями. Именно в системе целей многие ученые видят условия успешной деятельности всей системы.

Академик В. М. Бехтерев считал: «Чем слабее сплоченность и организованность коллектива, тем меньше коллектив имеет воз­можность достичь тех целей, ради которых он возник». При этом им отмечалось, что «общее неблагополучие объединяет людей силь­нее, чем общее благополучие». Однако в этом случае коллектив, т.е. персонал, должен быть объединен единой целью.

Цели исследования тесно связаны с целеполаганием, т.е. с их ус­тановлением. Целеполагание — одна из важнейших, первостепен­ных и ответственных функций исследования СУ.

При этом следует иметь в виду, что основные функции целепо-лагания обусловливают необходимость:

• определять и формулировать цели, что позволяет представить желаемые конечные результаты исследования;

---

Смотрите также файлы

• транспортная задача.doc

• Конспект лекцій планування - МК1.doc

• звіт кабельні ліній практика.docx

• LAB1.doc

• LAB2.doc