ВУЗ: Не указан
Категория: Не указан
Дисциплина: Не указана
Добавлен: 19.11.2019
Просмотров: 8764
Скачиваний: 12
91
восприятия:
мы
начинаем
видеть
все
сквозь
призму
заранее
сформулированных целей. Тем самым специалист по оценке становится в
меньшей степени объективным в условиях, зависящих от целей. По
собственному выражению Скривена, «оценка целей не является не только
необходимым, но даже вредным шагом. Я начинаю работу с
альтернативного подхода – просто оцениваю действительные эффекты в
противоположность контуру демонстрируемых потребностей. Я назвал это
оценкой эффективности, свободной от целей… Чем меньше специалист по
оценке эффективности слышит о цели проекта, тем больше внимания он
будет уделять поиску действительных эффектов (в большей степени, чем
поиску мнимых эффектов)» (цит. по: Patton, 1980. P. 49-58).
Свободная от целей оценка эффективности с ее поиском «реальных,
действительных
эффектов»
представляет
собой
индуктивную
и
холистскую
стратегию,
направленную
на
преодоление
логико-
дедуктивных ограничений, воспроизводимых в количественном подходе к
оценке, основывающемся на четко сформулированных целях. Между тем
многие социальные программы не имеют артикулированных, измеряемых
конкретными количественными показателями целей и потому не могут
быть подвержены количественной оценке.
Традиционная формулировка вопроса по эффективности гласит: «В
какой степени программа достигла своих целей?». Как видим, цель должна
быть ясной для того, чтобы специалист по оценке эффективности знал, что
искать. Так начинается длительный, подчас болезненный, процесс, в ходе
которого люди должны установить цели в понятиях, которые ясны,
определенны и доступны измерению. Программные цели, очерченные в
точных и недвусмысленных выражениях, являются необходимой
информацией для эвалюаторного исследования. В частности, когда
планируется оценка, программные цели особенно важны. Определенная в
четких и конкретных индикаторах цель фигурирует в количественной
оценке результатов. Это распространенный подход оценки достижения
целей, который за рубежом давно используется в эвалюаторных
исследованиях
программ
образования,
социальной
защиты
и
здравоохранения.
По контрасту с оценкой, опирающейся на логически заданные
измеряемые цели, подход, свободный от целей, означает сбор данных,
напрямую связанных с результатами программы, где понимание
эффективности не ограничено узким фокусом на установленные заранее
цели. Свободная от целей оценка опирается на качественные методы,
поскольку широко доверяет описаниям и прямому опыту, почерпнутым из
программы. Более того, свободная от целей оценка в особенности требует
от специалиста, проводящего такую работу, придержать суждения
относительно того, что программа пытается делать, и сфокусироваться на
поисках того, что действительно происходит в программе, что
92
рассматривается как ее результат. Специалист по оценке эффективности,
таким образом, может стать открытым к любым данным, возникающим из
феномена программы как такового.
Иногда оценку планируют и структурируют в соответствии с
необходимостью принять решение. Специалист по оценке эффективности
нужен для того, чтобы обеспечить информацию, необходимую для
принятия этого решения или решений, поэтому задачи оценки
формулируются, исходя из того, какая именно нужна информация, чтобы
помочь выработать соответствующую стратегию.
Формы оценки программ
Чаще всего проводится оценка отдельно взятого проекта, ряда
проектов или целой программы, действующей на региональном или
национальном уровне. В этом случае никаких сравнений с людьми или
сообществами, не участвовавшими в программе, не проводится. Подобная
оценка бывает двух видов: а) изучающая программу только
после
того, как
ее долгое время осуществляли или даже завершили; б) изучающая ее как
до
, так и
после
программы. Собранные данные могут быть качественными
или количественными.
«Только после» программа оценивается в том случае, когда
специалиста приглашают во время осуществления программы, и у него
нет данных, существовавших до ее начала. Исследования «до и после»
предполагают присутствие специалиста по оценке с самого начала
программы. Если специалисту довелось оценивать программу «только
после» ее осуществления, то он или она делает предположение об
изначальной ситуации, во-первых, изучая всевозможную документацию,
записи, беседуя с участниками, во-вторых, основываясь на своем
собственном опыте предыдущих исследований, изучении подобных
целевых групп или организаций. Конечно, здесь возможны разнообразные
искажения (Ваисс, 2003).
Если оценка проводится «до и после», эта схема кажется довольно
чистой, пригодной для эксперимента: участников программы изучают до
и после ее осуществления; разница представляет собой эффект
программы. Однако участники имели дело не только с программой: они
смотрели телевизор, болели, спорили с родственниками, заводили новых
друзей, переезжали, занимались на курсах, женились и выходили замуж.
Возможно, что ряд изменений вызван не программой, а внешними
факторами. В этом случае лучше всего собрать как можно больше
деталей, тщательно отобрав информацию о программе и участниках.
Дополнив информацию «до и после» данными «во время», можно будет
судить о ходе программы. Для формативных целей (для изменения и
улучшения программы) такой подход будет достаточным, тогда как для
суммативных (вынесение суждения об эффективности программы) нет.
93
При оценке одной группы невозможно провести сравнение с
людьми, не участвующими в программе. Иногда подобное сравнение в
принципе невозможно, так как услуги предоставляются всем людям,
имеющим возможность их получения (например, социальное обеспечение,
государственные школы, палаты реанимации в больницах, обязательное
медицинское страхование и другие программы). В таких случаях уместно
провести
внутреннее
сравнение. Прием оценки в этом случае – так
называемая «форма ответной реакции на дозу», обязанная своим
названием оценочным исследованиям программ, когда единственной
переменой было количество полученных наркотиков. В социальных
программах можно, например, сравнивать участников, получающих
услуги в группе или индивидуально, с теми, кому представлены лишь
услуги по трудоустройству, с теми, кто получил и эмоциональную
поддержку. При подобной оценке сравниваются альтернативные виды
услуг, и ограничений по предоставлению исчерпывающих услуг не
существует. Можно сравнить участников, получивших больший объем
услуг («большую дозу»), с теми, кто получил ее в меньшем объеме
(«меньшую дозу»), и их достижения. Можно попытаться найти ответ на
вопрос: «Достигнут ли услуги, предоставленные в ограниченном объеме и
с меньшими затратами, хороших результатов?». Используя этот подход,
необходимо следить, чтобы объем услуг был единственным различием
(исключить разницу в посещаемости, мотивации, потребностях в услугах).
В таком случае будут получены ценные данные (Ваисс, 2003).
Еще один вид оценки одной группы – оценка во времени. Основные
результаты измеряются с определенными интервалами до начала
программы и по ее завершении. Подобная оценка позволяет лучше понять
условия, которые должна изменить программа, например, безработица или
отчисления из школы. В этом случае исследователь задается вопросами:
какими были условия до начала программы, улучшались они или
ухудшались без вмешательства программы; каковы стали условия после
проведения программы; в чем их улучшение; появились ли они по
завершении программы; достигнуты ли запланированные результаты.
Понятие социальной экспертизы
Социальная
экспертиза
устанавливает
степень
соответствия
социальной программы или деятельности организации интересам и
ожиданиям тех людей, которые являются благополучателями этой
программы или клиентами (пользователями услуг) организации.
Целью социальной экспертизы
является установление соответствия
деятельности органов государственной власти и других социальных
институтов интересам граждан и задачам социальной политики, а также
формирование предложений по достижению этого соответствия (Луков,
2003. С. 174).
94
Как указывает В.А. Луков, в качестве предмета социальной
экспертизы
выступает,
как
правило,
какое-либо
из
следующих
направлений (Луков, 2003. С.175):
социальные последствия, которые могут иметь для людей принятые и
подготовленные к принятию социальные проекты (в том числе
законодательные);
соответствие реализованного проекта его первоначальному замыслу и
принятому в отношении проекта управленческому решению (это
направление подробно обсуждалось как предмет оценки результата
программы);
адекватность восприятия в общественном сознании принятого или
подготовленного проекта.
Экспертиза может проводиться в форме рецензии на текст проекта,
мониторинга (исследования одного и того же объекта по одинаковой
методике с целью выявления динамики изменений), а также в форме
социального проектирования. Для проведения экспертизы приглашаются
специально подобранные эксперты – специалисты в конкретной области,
компетентные в исследуемом вопросе. При проведении экспертизы
используются и метод экспертных оценок, и метод фокус-групп, и
ситуационный анализ, и дельфийская техника, и контент-анализ.
Методы
экспертных оценок
– это методы организации работы со
специалистами-экспертами и методы обработки мнений экспертов,
выраженных в количественной и/или качественной форме с целью
подготовки информации для лиц, принимающих решения. Для проведения
работы по методу экспертных оценок создают рабочую группу, которая и
организует по поручению лиц, принимающих решения, деятельность
экспертов, объединенных (формально или по существу) в экспертную
комиссию. Есть ряд вариантов работы с экспертами. В одних случаях с
каждым экспертом работают отдельно, он даже не знает, кто еще является
экспертом, а потому высказывает свое мнение независимо от авторитетов.
В других случаях экспертов собирают вместе для подготовки материалов,
при этом эксперты обсуждают проблему друг с другом, учатся друг у
друга, и неверные мнения отбрасываются. В одних методах число
экспертов фиксировано и таково, чтобы статистические методы проверки
согласованности мнений и затем их усреднения позволяли принимать
обоснованные решения. В других число экспертов растет в процессе
проведения
экспертизы,
например,
при
использовании
метода
«снежного кома».
От того, что именно должна представить экспертная комиссия в
результате своей работы – информацию для принятия решения или проект
самого решения – зависит организация работы экспертной комиссии. Если
цель – сбор информации для лиц, принимающих решения, рабочая группа
должна собрать возможно больше относящейся к делу информации,
95
аргументов «за» и «против» определенных вариантов решений. В данном
случае эксперты только поставляют информацию, аргументы «за» и
«против», но не вырабатывают согласованного проекта решения.
Приветствуются
оригинальные
мнения,
отличающиеся
от
распространенных штампов.
Если цель – подготовка проекта решения, то считается, что оно
может быть принято лишь на основе согласованных мнений экспертов.
Поэтому из экспертной группы исключают тех, чье мнение отличается от
мнения большинства. При этом отсеиваются как неквалифицированные
лица, попавшие в состав экспертной комиссии по недоразумению или по
соображениям, не имеющим отношения к их профессиональному уровню,
так и наиболее оригинальные мыслители, глубже проникшие в проблему,
чем большинство. Бывает и так, что эксперты делятся на две или более
групп, имеющих единые групповые точки зрения.
Основные стадии экспертного опроса
1) формулировка цели экспертного опроса;
2) подбор основного состава рабочей группы;
3) разработка рабочей группы и утверждение технического задания на
проведение экспертного опроса;
4) разработка рабочей группой подробного сценария проведения сбора и
анализа экспертных мнений (оценок), включая как конкретный вид
экспертной информации (слова, условные градации, числа, ранжировки,
разбиения или иные виды объектов нечисловой природы), так и конкретные
методы анализа этой информации (статистика объектов нечисловой
природы и другие разделы прикладной статистики);
5) подбор экспертов в соответствии с их компетентностью;
6) формирование экспертной комиссии (целесообразно заключение
договоров с экспертами об условиях их работы и ее оплаты, утверждение
состава экспертной комиссии);
7) проведение сбора экспертной информации;
8) анализ экспертной информации;
9) при наличии нескольких туров – повторение двух предыдущих этапов;
10) интерпретация полученных результатов и подготовка заключения для
лиц, принимающих решения;
11) официальное окончание деятельности рабочей группы.
Гендерная экспертиза в социальной работе
Профессиональная социальная работа, придерживающаяся принципа
нондискриминации и уважения прав человека, предполагает, что
специалисты владеют подходами критического анализа. Это означает, что
социальные
работники
становятся
рефлексивными
практиками,
способными критически оценивать собственную деятельность, а также
пересматривать те установки, которые обусловлены субкультурой
конкретной организации или вызваны стереотипами, распространенными в
обществе относительно женщин и мужчин, пожилых, подростков,