Файл: Решение 36р от 09. 06. 2007 Москва 2008 ббк 60. 5 Р 74 Учебное пособие подготовлено при поддержке Рособразования по аналитической ведомственной целевой программе Разви.pdf
ВУЗ: Не указан
Категория: Не указан
Дисциплина: Не указана
Добавлен: 23.11.2023
Просмотров: 507
Скачиваний: 1
ВНИМАНИЕ! Если данный файл нарушает Ваши авторские права, то обязательно сообщите нам.
Дизайн оценочных исследований
В оценке эффективности социальных проектов, которая может включать оценку деятельности социальных сервисов или действий их отдельных специалистов, как и в анализе социальной политики в це- лом, особое значение имеет применение количественных методов и ка- чественных сбора и анализа информации. Выбор той или иной методо- логии основывается на целом ряде условий. Количественные и качест-
1
Информацию о многих организациях и проектах по оценке социальных проектов можно найти на сайте «международной сети по оценке программ http://ipen21.org/ipen
148
Часть 4
венные методы сильно различаются между собой; поэтому определен- ные модели оценки, или эвалюаторного исследования более совмести- мы с качественными методами, чем другие
1
Например, проводя исследования эффективности в форме систем- ного анализа или оценивая степень достижения целей, чаще всего при- меняют количественные методы. Переменные для оценивания опреде- ляются заранее, их расписывают на измеряемые (операциональные) индикаторы и, если возможно, рассматривают в качестве объекта экспе- римента. Системный анализ требует (1) определения наиболее важных переменных на входе и выходе программы, (2) статистического анализа связей между тем, что имеет программа на входе и ее результатами. Пе-
ременными на входе являются, например, такие показатели, как коли- чество персонала, отношение между количеством персонала и количе- ством участников программы, характеристики участников программы, базовый уровень обслуживания участников программы (претестовые оценки). Результаты программ включают, например, уровень обслу- живания участников программы после реализации программы (постте- стовые оценки), уровень трудоустройства, денежное выражение новых навыков у клиентов, новый уровень дохода клиентов или его эквивалент и так далее. Системный анализ является популярным подходом к оцен- ке в глазах правительства. Это подход, который зависит от компонент- ного анализа (разделения системы программы на отдельные части) в отличие от холистского т.е. целостного подхода в качественных методах.
Переменные определяются дедуктивным путем, логически перед тем, как начнется сбор данных, в отличие от индуктивной аналитической стратегии качественного исследования, где параметры формулируют в процессе полевой исследовательской работы. Взгляд на мир системного аналитика несовместим с феноменологическим подходом.
Анализ достигнутых целей некоторое время был доминирующим подходом к оценке. В этом подходе результаты, фиксируемые в процессе реализации программы, определяются в терминах успехов клиентов или участников, которые измеряются при помощи стандартизованных тес- тов. Данные этих тестов можно анализировать статистически, чтобы сравнить индивидов и группы участников. Однако, успехи участников могут быть оценены только в определенном контексте, или в связи с оп- ределенными смыслами, которые отдельный человек придает результа- там его или ее личного опыта участия в программе и личных пережива- ний по поводу испытываемых проблем.
Качественные методы оценивания применяются в так называемой
транзакционной модели, которая рассматривает каждый случай как уни- кальный и делает акцент на восприятии людьми происходящих событий.
Транзакционная модель базируется на тех же допущениях, которые содер- жаться в качественном исследовании: важно понимать людей и программы в контексте; участие в исследовании должно складываться как естественная ситуация без специально организованного внешнего контроля и особых манипуляций; наиболее полное понимание возникает из индуктивного
1
Patton M. Q. Qualitative Evaluation Methods. Beverly Hulls, London: Sage Publica- tion, 1980. P.49-58 / Перевод П. Романова.
Оценочные исследования
149
анализа детального и неформализованного сбора данных посредством прямого контакта с программой и ее участниками.
В этой модели считается, что узнать о восприятии можно, только изучив определенные транзакции, в рамках которых восприятие может быть зафиксировано. Все участники ситуации взаимодействуют между собой, причем человек, проводящий оценку, тоже оказывает влияние и находится под влиянием ситуации, так как является частью транзакции.
Значит, следует проводить рефлексию восприятия в наиболее естест- венных условиях функционирования программы. Для этого организуют различных людей для наблюдения за программой и с их помощью гото- вят короткие нарративы, т.е. повествования, словесные описания ре- зультатов, строят диаграммы.
В этом случае используются методы социальной антропологии ор- ганизаций – этнографические наблюдения и интервью, с целью выявить ценности участников программы, проявляющиеся, в частности, в повсе- дневном общении, выражениях, организационном фольклоре. Так вы- ясняются общие для группы установки, а также конфликтующие инте- ресы и предпочтения. Исследователь проверяет качество своих записей, приглашая персонал программы и представителей целевой группы реа- гировать на точность полученных зарисовок и выводов. По большей части данные собираются неформально – в процессе взаимодействий. В итоге не все данные могут входить в отчет, исходя из этических сообра- жений и соглашений, достигнутых с участниками исследования.
Еще одна модель оценки – так называемая «иллюминативная», ставящая своей задачей осветить как можно более широкий контекст, в котором функционирует программа. Такая модель в первую очередь направлена на описание и интерпретацию, чем на измерение и прогно- зирование, и тоже принадлежит к антропологической перспективе.
Здесь исследователя занимает влияние программ на различные соци- альные ситуации, к которым они применяются, как это напрямую отно- сится к их достоинствам и недостаткам, и как они влияют на жизненный опыт и жизненный путь участников. Осуществляется это посредством постоянного поискового изучения и документирования всего, что явля- ется составными частями этой программы, в том числе, в действиях, си- туациях и разговорах участников.
Американскому философу и специалисту в области эвалюаторных исследований Майклу Скривену принадлежит идея оценки эффектив-
ности, свободной от целей. Этот подход означает сбор данных по ши- рокому кругу действительных результатов деятельности и оценку того, насколько эти результаты важны для удовлетворения демонстрируемых потребностей. Специалист по оценке в этом случае избегает формулиро- вать свои задачи и выводы в связи с целями программы. Никаких обсу- ждений целей с сотрудниками не проводится, проектные буклеты или заявки не читаются; изучаются только результаты программы и эффек- ты, доступные измерению.
Дело в том, что при изучении узко обозначенных целей программы есть риск упустить важные незапланированные результаты, которые в этом случае будут называться «побочными», «непредвиденными» или
«вторичными». Сами названия эти таковы, что какое-либо достижение, оказавшееся, возможно, наиважнейшим, будет недооцениваться, а ведь
150
Часть 4 признание такого результата в качестве прямого и важного могло бы позволить, например, переформулировать приоритеты дальнейшей ра- боты программы! Кроме того, именно из-за жесткой и конкретной фор- мулировки ожидаемых результатов возникает риск ошибочного воспри- ятия: мы начинаем видеть все сквозь призму заранее сформулирован- ных целей и ничего другого. Тем самым, специалист по оценке стано- вится в меньшей степени объективным в условиях, зависящих от целей.
По собственному выражению Скривена, «оценка целей не является не только необходимым, но даже вредным шагом. Я начинаю работу с аль- тернативного подхода – просто оцениваю действительные эффекты в противоположность контуру демонстрируемых потребностей. Я назвал это оценкой эффективности свободной от целей… Чем меньше специа- лист по оценке эффективности слышит о цели проекта, тем больше внимания он будет уделять поиску действительных эффектов (в боль- шей степени, чем поиску мнимых эффектов)»
1
Свободная от целей оценка эффективности, с ее поиском «реаль- ных, действительных эффектов» представляет собой индуктивную и холи- стскую стратегию, направленную на преодоление логико-дедуктивных ог- раничений, воспроизводимых в количественном подходе к оценке, осно- вывающемся на четко сформулированных целях. Между тем, многие социальные программы не имеют артикулированных, измеряемых кон- кретными количественными показателями целей, и потому не могут быть подвержены количественной оценке.
Традиционная формулировка вопроса по эффективности гласит: «В какой степени программа достигла своих целей?». Как видим, цель должна быть ясной для того, чтобы специалист по оценке эффективно- сти знал, что искать… Так начинается длительный, подчас болезненный процесс, в ходе которого люди должный установить цели в понятиях, которые ясны, определенны и доступны измерению. Программные це- ли, очерченные в точных и недвусмысленных выражениях, являются необходимой информацией для эвалюаторного исследования. В частно- сти, когда планируется, оценка программные цели особенно важны. Оп- ределенная в четких и конкретных индикаторах цель фигурирует в ко- личественной оценке результатов. Это распространенный подход оцен- ки достижения целей, который за рубежом давно используется в эва- люаторных исследованиях программ образования, социальной защиты и здравоохранения.
По контрасту с оценкой, опирающейся на логически заданные из- меряемые цели, подход, свободный от целей означает сбор данных, на- прямую связанных с результатами программы, где понимание эффек- тивности не ограничено узким фокусом на установленные заранее цели.
Свободная от целей оценка опирается на качественные методы, по- скольку широко доверяет описаниям и прямому опыту, почерпнутым из программы. Более того, свободная от целей оценка в особенности требу- ет от специалиста, проводящего такую работу, попридержать суждения относительно того, что программа пытается делать и сфокусироваться, вместо этого, на поисках того, что действительно происходит в програм-
1
Scriven М. 1972. Цит.по: Patton M. Q. Qualitative Evaluation Methods. Beverly Hulls,
London: Sage Publication, 1980. P.49-58 / Перевод П. Романова.
Оценочные исследования
151
ме, что рассматривается как ее результат. Специалист по оценке эффек- тивности, таким образом, может стать открытым к любым данным, воз- никающим из феномена программы как такового.
Иногда оценку планируют и структурируют в соответствии с необ- ходимостью принять решение. Специалист по оценке эффективности нужен для того, чтобы обеспечить информацию, необходимую для при- нятия этого решения или решений, поэтому задачи оценки формулиру- ются, исходя из того, какая именно нужна информация, чтобы помочь выработать соответствующую стратегию.
Отметим, что количественные и качественные методы применяются как при оценке процесса, так и при оценке результата, хотя в последнем случае более распространенным является использование статистических процедур. Оценка процесса действия программы – это практически то же самое, что и мониторинг. Мониторинг, как правило, проводят от лица офи- циальных лиц, желающих контролировать программу и знать, что проис- ходит во время ее реализации. В свою очередь, оценка процесса программы проводится для пользы программы, ее улучшения. Необходимо опреде- лить, где проводить оценку (например, выбрать несколько социальных служб), кто будет отвечать на вопросы, установить временные рамки – пе- риод проведения исследования, интервалы, интенсивность. Оценку процес- са можно осуществлять как при помощи качественных, так и с использова- нием количественных методов, а также комбинировать методы
1
Преимущество качественных исследований социальной программы заключается в возможности неожиданных открытий, ознакомлении со значимыми аспектами, элементами программы, незаметных при фор- мализованных подходах.
Когда нужно применять качественные методы
для оценки процесса?
а) При отсутствии достаточного объема знаний о про- грамме и ее деятельности б) При оценке необычных, новых программ в) Если программа построена на спорных и неочевидных, противоречивых предпосылках г) Если исследователь предпочитает понимание контек- ста программы формальным замерам происходящего
Если программа и реализующая ее организация давно известны, ха- рактеризуются прозрачностью, исследования там проводятся регулярно, то можно обратиться к количественному измерению процесса программы.
Однако, от качественной методологии и в этом случае отказываться не сле- дует, так как порой за знакомым и привычным фасадом могут скрываться заблуждения и недостатки или, напротив, интересные наработки и иные достоинства. Получить необходимую информацию о процессе реализации программы можно, в частности, из анкет, регулярно заполняемых сотруд- никами и клиентами. Поставленные вопросы могут касаться проблем кли-
1
Ваисс К. Оценка. Методы изучения программ и политики / Пер. с англ.: Про- грамма Тасис, 2003.
152
Часть 4 ентов, предложенных им услуг, даты и времени предоставления услуг. Как анкеты, так и неформализованные интервью с получателями программы и персоналом тоже используются в качестве инструмента для сбора информа- ции. Все опрошенные могут отвечать на одни и те же вопросы или каждый расскажет свою историю. Использовать можно любой метод, комбинацию методов, определив при этом частоту сбора информации. Подобное реше- ние зависит от специфики программы, количества изменений. Информа- ция об участниках изменяется не часто, тогда как предоставляемые услуги, возможно, понадобится осветить несколько раз. Кроме того, полезно разра- ботать запасной план на случай неожиданных изменений
1
Оценка результатов может проводиться с использованием экспе- риментального или квазиэкспериментального дизайна: сравнение уча- стников до и после программы; сравнение участников программы с те- ми, кто в ней не участвовал (с группой людей, отобранных в контроль- ную группу методом случайной выборки). В частности, при помощи экс- перимента выясняется, действительно ли оцениваемая программа возы- мела положительное воздействие, например, на поведение или на дохо- ды представителей целевой группы.
Достоверность оценки – понятие, помогающее оп- ределить правдивость выводов, их соответствие реаль- ному положению вещей.
Различают внутреннюю и внешнюю достоверность. Внутренняя ука- зывает на причинную связь между независимыми (например, описание участников или полученных ими услуг) и зависимыми (результаты про- граммы) переменными. Внутренняя достоверность ставит вопрос о том, что вызывает наблюдаемый эффект – сама программа или внешние ус- ловия и факторы. Она указывает, состоят ли мероприятия программы и наблюдаемые результаты в каузальной, т.е. причинно-следственной
взаимосвязи. Внешняя достоверность связана с выводами относительно возможности применения результатов одной оценки к другой программе подобного типа. Если одна программа по профилактике ВИЧ успешна, применимо ли это к другим и каким именно программам?
В разных формах оценки можно достичь разной степени внутрен- ней и внешней достоверности. Случайная выборка способствует дости- жению высокой степени внутренней достоверности. Однако, в экспе- риментальном дизайне трудно достичь высокой внешней достоверно- сти. Стремясь проконтролировать условия эксперимента, исследовате- ли подчас создают тепличные условия, отличные от тех, в которых на- ходятся участники других подобных программ. Поэтому полученные результаты не всегда можно обобщить, перенести вовне.
Единицей анализа может выступатьчеловек, группа, организация, сообщество. Но при этом следует понимать, что программы направле- ны не на отдельных людей, а на изменение поведения, норм, взглядов, качества жизни более крупных единиц. Например, кампания по разви- тию благотворительности призывает к действию отдельных людей, но
1
Ваисс К. Оценка. Методы изучения программ и политики / Пер. с англ.: Про- грамма Тасис, 2003.
В оценке эффективности социальных проектов, которая может включать оценку деятельности социальных сервисов или действий их отдельных специалистов, как и в анализе социальной политики в це- лом, особое значение имеет применение количественных методов и ка- чественных сбора и анализа информации. Выбор той или иной методо- логии основывается на целом ряде условий. Количественные и качест-
1
Информацию о многих организациях и проектах по оценке социальных проектов можно найти на сайте «международной сети по оценке программ http://ipen21.org/ipen
148
Часть 4
венные методы сильно различаются между собой; поэтому определен- ные модели оценки, или эвалюаторного исследования более совмести- мы с качественными методами, чем другие
1
Например, проводя исследования эффективности в форме систем- ного анализа или оценивая степень достижения целей, чаще всего при- меняют количественные методы. Переменные для оценивания опреде- ляются заранее, их расписывают на измеряемые (операциональные) индикаторы и, если возможно, рассматривают в качестве объекта экспе- римента. Системный анализ требует (1) определения наиболее важных переменных на входе и выходе программы, (2) статистического анализа связей между тем, что имеет программа на входе и ее результатами. Пе-
ременными на входе являются, например, такие показатели, как коли- чество персонала, отношение между количеством персонала и количе- ством участников программы, характеристики участников программы, базовый уровень обслуживания участников программы (претестовые оценки). Результаты программ включают, например, уровень обслу- живания участников программы после реализации программы (постте- стовые оценки), уровень трудоустройства, денежное выражение новых навыков у клиентов, новый уровень дохода клиентов или его эквивалент и так далее. Системный анализ является популярным подходом к оцен- ке в глазах правительства. Это подход, который зависит от компонент- ного анализа (разделения системы программы на отдельные части) в отличие от холистского т.е. целостного подхода в качественных методах.
Переменные определяются дедуктивным путем, логически перед тем, как начнется сбор данных, в отличие от индуктивной аналитической стратегии качественного исследования, где параметры формулируют в процессе полевой исследовательской работы. Взгляд на мир системного аналитика несовместим с феноменологическим подходом.
Анализ достигнутых целей некоторое время был доминирующим подходом к оценке. В этом подходе результаты, фиксируемые в процессе реализации программы, определяются в терминах успехов клиентов или участников, которые измеряются при помощи стандартизованных тес- тов. Данные этих тестов можно анализировать статистически, чтобы сравнить индивидов и группы участников. Однако, успехи участников могут быть оценены только в определенном контексте, или в связи с оп- ределенными смыслами, которые отдельный человек придает результа- там его или ее личного опыта участия в программе и личных пережива- ний по поводу испытываемых проблем.
Качественные методы оценивания применяются в так называемой
транзакционной модели, которая рассматривает каждый случай как уни- кальный и делает акцент на восприятии людьми происходящих событий.
Транзакционная модель базируется на тех же допущениях, которые содер- жаться в качественном исследовании: важно понимать людей и программы в контексте; участие в исследовании должно складываться как естественная ситуация без специально организованного внешнего контроля и особых манипуляций; наиболее полное понимание возникает из индуктивного
1
Patton M. Q. Qualitative Evaluation Methods. Beverly Hulls, London: Sage Publica- tion, 1980. P.49-58 / Перевод П. Романова.
Оценочные исследования
149
анализа детального и неформализованного сбора данных посредством прямого контакта с программой и ее участниками.
В этой модели считается, что узнать о восприятии можно, только изучив определенные транзакции, в рамках которых восприятие может быть зафиксировано. Все участники ситуации взаимодействуют между собой, причем человек, проводящий оценку, тоже оказывает влияние и находится под влиянием ситуации, так как является частью транзакции.
Значит, следует проводить рефлексию восприятия в наиболее естест- венных условиях функционирования программы. Для этого организуют различных людей для наблюдения за программой и с их помощью гото- вят короткие нарративы, т.е. повествования, словесные описания ре- зультатов, строят диаграммы.
В этом случае используются методы социальной антропологии ор- ганизаций – этнографические наблюдения и интервью, с целью выявить ценности участников программы, проявляющиеся, в частности, в повсе- дневном общении, выражениях, организационном фольклоре. Так вы- ясняются общие для группы установки, а также конфликтующие инте- ресы и предпочтения. Исследователь проверяет качество своих записей, приглашая персонал программы и представителей целевой группы реа- гировать на точность полученных зарисовок и выводов. По большей части данные собираются неформально – в процессе взаимодействий. В итоге не все данные могут входить в отчет, исходя из этических сообра- жений и соглашений, достигнутых с участниками исследования.
Еще одна модель оценки – так называемая «иллюминативная», ставящая своей задачей осветить как можно более широкий контекст, в котором функционирует программа. Такая модель в первую очередь направлена на описание и интерпретацию, чем на измерение и прогно- зирование, и тоже принадлежит к антропологической перспективе.
Здесь исследователя занимает влияние программ на различные соци- альные ситуации, к которым они применяются, как это напрямую отно- сится к их достоинствам и недостаткам, и как они влияют на жизненный опыт и жизненный путь участников. Осуществляется это посредством постоянного поискового изучения и документирования всего, что явля- ется составными частями этой программы, в том числе, в действиях, си- туациях и разговорах участников.
Американскому философу и специалисту в области эвалюаторных исследований Майклу Скривену принадлежит идея оценки эффектив-
ности, свободной от целей. Этот подход означает сбор данных по ши- рокому кругу действительных результатов деятельности и оценку того, насколько эти результаты важны для удовлетворения демонстрируемых потребностей. Специалист по оценке в этом случае избегает формулиро- вать свои задачи и выводы в связи с целями программы. Никаких обсу- ждений целей с сотрудниками не проводится, проектные буклеты или заявки не читаются; изучаются только результаты программы и эффек- ты, доступные измерению.
Дело в том, что при изучении узко обозначенных целей программы есть риск упустить важные незапланированные результаты, которые в этом случае будут называться «побочными», «непредвиденными» или
«вторичными». Сами названия эти таковы, что какое-либо достижение, оказавшееся, возможно, наиважнейшим, будет недооцениваться, а ведь
150
Часть 4 признание такого результата в качестве прямого и важного могло бы позволить, например, переформулировать приоритеты дальнейшей ра- боты программы! Кроме того, именно из-за жесткой и конкретной фор- мулировки ожидаемых результатов возникает риск ошибочного воспри- ятия: мы начинаем видеть все сквозь призму заранее сформулирован- ных целей и ничего другого. Тем самым, специалист по оценке стано- вится в меньшей степени объективным в условиях, зависящих от целей.
По собственному выражению Скривена, «оценка целей не является не только необходимым, но даже вредным шагом. Я начинаю работу с аль- тернативного подхода – просто оцениваю действительные эффекты в противоположность контуру демонстрируемых потребностей. Я назвал это оценкой эффективности свободной от целей… Чем меньше специа- лист по оценке эффективности слышит о цели проекта, тем больше внимания он будет уделять поиску действительных эффектов (в боль- шей степени, чем поиску мнимых эффектов)»
1
Свободная от целей оценка эффективности, с ее поиском «реаль- ных, действительных эффектов» представляет собой индуктивную и холи- стскую стратегию, направленную на преодоление логико-дедуктивных ог- раничений, воспроизводимых в количественном подходе к оценке, осно- вывающемся на четко сформулированных целях. Между тем, многие социальные программы не имеют артикулированных, измеряемых кон- кретными количественными показателями целей, и потому не могут быть подвержены количественной оценке.
Традиционная формулировка вопроса по эффективности гласит: «В какой степени программа достигла своих целей?». Как видим, цель должна быть ясной для того, чтобы специалист по оценке эффективно- сти знал, что искать… Так начинается длительный, подчас болезненный процесс, в ходе которого люди должный установить цели в понятиях, которые ясны, определенны и доступны измерению. Программные це- ли, очерченные в точных и недвусмысленных выражениях, являются необходимой информацией для эвалюаторного исследования. В частно- сти, когда планируется, оценка программные цели особенно важны. Оп- ределенная в четких и конкретных индикаторах цель фигурирует в ко- личественной оценке результатов. Это распространенный подход оцен- ки достижения целей, который за рубежом давно используется в эва- люаторных исследованиях программ образования, социальной защиты и здравоохранения.
По контрасту с оценкой, опирающейся на логически заданные из- меряемые цели, подход, свободный от целей означает сбор данных, на- прямую связанных с результатами программы, где понимание эффек- тивности не ограничено узким фокусом на установленные заранее цели.
Свободная от целей оценка опирается на качественные методы, по- скольку широко доверяет описаниям и прямому опыту, почерпнутым из программы. Более того, свободная от целей оценка в особенности требу- ет от специалиста, проводящего такую работу, попридержать суждения относительно того, что программа пытается делать и сфокусироваться, вместо этого, на поисках того, что действительно происходит в програм-
1
Scriven М. 1972. Цит.по: Patton M. Q. Qualitative Evaluation Methods. Beverly Hulls,
London: Sage Publication, 1980. P.49-58 / Перевод П. Романова.
Оценочные исследования
151
ме, что рассматривается как ее результат. Специалист по оценке эффек- тивности, таким образом, может стать открытым к любым данным, воз- никающим из феномена программы как такового.
Иногда оценку планируют и структурируют в соответствии с необ- ходимостью принять решение. Специалист по оценке эффективности нужен для того, чтобы обеспечить информацию, необходимую для при- нятия этого решения или решений, поэтому задачи оценки формулиру- ются, исходя из того, какая именно нужна информация, чтобы помочь выработать соответствующую стратегию.
Отметим, что количественные и качественные методы применяются как при оценке процесса, так и при оценке результата, хотя в последнем случае более распространенным является использование статистических процедур. Оценка процесса действия программы – это практически то же самое, что и мониторинг. Мониторинг, как правило, проводят от лица офи- циальных лиц, желающих контролировать программу и знать, что проис- ходит во время ее реализации. В свою очередь, оценка процесса программы проводится для пользы программы, ее улучшения. Необходимо опреде- лить, где проводить оценку (например, выбрать несколько социальных служб), кто будет отвечать на вопросы, установить временные рамки – пе- риод проведения исследования, интервалы, интенсивность. Оценку процес- са можно осуществлять как при помощи качественных, так и с использова- нием количественных методов, а также комбинировать методы
1
Преимущество качественных исследований социальной программы заключается в возможности неожиданных открытий, ознакомлении со значимыми аспектами, элементами программы, незаметных при фор- мализованных подходах.
Когда нужно применять качественные методы
для оценки процесса?
а) При отсутствии достаточного объема знаний о про- грамме и ее деятельности б) При оценке необычных, новых программ в) Если программа построена на спорных и неочевидных, противоречивых предпосылках г) Если исследователь предпочитает понимание контек- ста программы формальным замерам происходящего
Если программа и реализующая ее организация давно известны, ха- рактеризуются прозрачностью, исследования там проводятся регулярно, то можно обратиться к количественному измерению процесса программы.
Однако, от качественной методологии и в этом случае отказываться не сле- дует, так как порой за знакомым и привычным фасадом могут скрываться заблуждения и недостатки или, напротив, интересные наработки и иные достоинства. Получить необходимую информацию о процессе реализации программы можно, в частности, из анкет, регулярно заполняемых сотруд- никами и клиентами. Поставленные вопросы могут касаться проблем кли-
1
Ваисс К. Оценка. Методы изучения программ и политики / Пер. с англ.: Про- грамма Тасис, 2003.
152
Часть 4 ентов, предложенных им услуг, даты и времени предоставления услуг. Как анкеты, так и неформализованные интервью с получателями программы и персоналом тоже используются в качестве инструмента для сбора информа- ции. Все опрошенные могут отвечать на одни и те же вопросы или каждый расскажет свою историю. Использовать можно любой метод, комбинацию методов, определив при этом частоту сбора информации. Подобное реше- ние зависит от специфики программы, количества изменений. Информа- ция об участниках изменяется не часто, тогда как предоставляемые услуги, возможно, понадобится осветить несколько раз. Кроме того, полезно разра- ботать запасной план на случай неожиданных изменений
1
Оценка результатов может проводиться с использованием экспе- риментального или квазиэкспериментального дизайна: сравнение уча- стников до и после программы; сравнение участников программы с те- ми, кто в ней не участвовал (с группой людей, отобранных в контроль- ную группу методом случайной выборки). В частности, при помощи экс- перимента выясняется, действительно ли оцениваемая программа возы- мела положительное воздействие, например, на поведение или на дохо- ды представителей целевой группы.
Достоверность оценки – понятие, помогающее оп- ределить правдивость выводов, их соответствие реаль- ному положению вещей.
Различают внутреннюю и внешнюю достоверность. Внутренняя ука- зывает на причинную связь между независимыми (например, описание участников или полученных ими услуг) и зависимыми (результаты про- граммы) переменными. Внутренняя достоверность ставит вопрос о том, что вызывает наблюдаемый эффект – сама программа или внешние ус- ловия и факторы. Она указывает, состоят ли мероприятия программы и наблюдаемые результаты в каузальной, т.е. причинно-следственной
взаимосвязи. Внешняя достоверность связана с выводами относительно возможности применения результатов одной оценки к другой программе подобного типа. Если одна программа по профилактике ВИЧ успешна, применимо ли это к другим и каким именно программам?
В разных формах оценки можно достичь разной степени внутрен- ней и внешней достоверности. Случайная выборка способствует дости- жению высокой степени внутренней достоверности. Однако, в экспе- риментальном дизайне трудно достичь высокой внешней достоверно- сти. Стремясь проконтролировать условия эксперимента, исследовате- ли подчас создают тепличные условия, отличные от тех, в которых на- ходятся участники других подобных программ. Поэтому полученные результаты не всегда можно обобщить, перенести вовне.
Единицей анализа может выступатьчеловек, группа, организация, сообщество. Но при этом следует понимать, что программы направле- ны не на отдельных людей, а на изменение поведения, норм, взглядов, качества жизни более крупных единиц. Например, кампания по разви- тию благотворительности призывает к действию отдельных людей, но
1
Ваисс К. Оценка. Методы изучения программ и политики / Пер. с англ.: Про- грамма Тасис, 2003.