ВУЗ: Не указан
Категория: Не указан
Дисциплина: Не указана
Добавлен: 19.11.2019
Просмотров: 8765
Скачиваний: 12
86
Как правило, на одной или нескольких указанных ступенях в
последовательности результатов и фокусируется оценка в зависимости от
поставленных задач и возможностей проекта. Параметры оценки
выбираются с таким расчетом, чтобы их можно было измерить с помощью
доступных
количественных
показателей,
которые
называются
индикаторами
. Выбор индикаторов оценки – задача увлекательная и,
вместе с тем, сложная. Индикатор должен обладать определенными
свойствами: однозначностью, доступностью, измеримостью.
Сравнение значений индикаторов с целевыми показателями,
заложенными в программе, дает ответы на вопросы оценки в
количественном выражении и позволяет экспертам судить об успешности
программы.
Возвращаясь к нашему примеру с программой развития малого
бизнеса инвалидов, определим возможные индикаторы, с помощью
которых можно измерить каждый из результативных уровней данной
программы (рис. 3).
Ресурсы («вход»)
Индикаторы:
Средства,
затраченные
на
обучение
(руб.);
средства,
предоставленные в
качестве
кредитов
(руб.)
Выполнение
мероприятий
(«выход»)
Индикаторы:
число
обучавшихся,
число
проведенных
обучающих
семинаров;
число
выданных
кредитов
Непосредственные
результаты
Индикаторы:
Процент обучившихся и
способных к
дальнейшей
организации бизнеса
инвалидов от общего
числа участвовавших в
программе, (%)
Долгосрочные
результаты
Индикаторы:
Число
организованных в
городе
малых
предприятий
инвалидов
Эффект программы
Индикаторы: прирост числа инвалидов,
занятых в малом бизнесе (%); повышение
благосостояния
занятых
инвалидов,
снижение
расходов
на
социальное
обеспечение, рост доходов городского
бюджета от малого бизнеса (%)
Рис. 3. Индикаторы результатов программы
Однако оценка не обязательно фокусируется на анализе тех или
иных результатов программы. В ее задачи может входить оценка процесса
87
создания
программы
или
эффективность
механизма
реализации
программы. Для каждой из этих и других задач подбираются собственные
параметры и индикаторы оценки.
Итак, у нас сформировалась логика оценки:
задача оценки
вопросы оценки
параметры
индикаторы
Каждый из этапов работы играет особую роль и по-своему важен.
Технически последовательность действий по оценке выглядит так.
Последовательность действий по оценке
Определение целей проведения оценки
Формулировка и согласование вопросов оценки
Планирование оценки
Определение параметров и индикаторов оценки
Определение методов и инструментов для сбора информации
Составление графика работ
Составление бюджета проекта
Согласование структуры оценки с заказчиком
Сбор данных
Анализ данных
Выводы и рекомендации
Подготовка отчета
Информирование о результатах оценки
Важно, чтобы выводы, сделанные в результате анализа данных, были
доказанными. Доказанность результатов – непременное свойство
профессиональной оценки. Если программу независимо друг от друга
оценят две команды оценщиков с применением разных методов, но придут
к одинаковым выводам, их работу можно назвать выполненной
качественно.
Оценка всегда должна быть нацелена на результат. Ведь оценка – это
не научное исследование, а управленческий инструмент, такой же, как
бюджетное планирование. И предназначен он не для «освоения»
бюджетных или грантовых средств, а для принятия качественных и
своевременных управленческих решений. Проводя оценку, всегда следует
иметь в виду, кто и как будет использовать ее результаты.
Вряд ли следует преувеличивать роль оценки в принятии решений
относительно программ: на подобные решения влияет ряд факторов, и
оценка – лишь один из них. Необходимо осознавать, что полученные
результаты применяют не сразу. Вначале их изучают, а затем постепенно
применяют полученные знания при принятии решений о программе. Тем
не менее, для ответа на важные вопросы отчет об оценивании должен быть
88
правильно сформулирован. Тогда, ознакомившись с полученными
результатами, как ключевые фигуры, так и широкая аудитория смогут
повлиять на улучшение политики и программ.
Процедуру использования результатов оценки можно (и нужно)
формализовать в рамках управления социальной сферой. Более того,
желательно сделать это еще на этапе создания программы. Тогда
разработчики программы, зная о том, что продукт их деятельности будет
регулярно оцениваться, сделают программу максимально удобной для ее
последующего мониторинга и оценки.
Логика оценки может сделать измеряемыми и такие отвлеченные и
сложные понятия, как развитие социальной сферы района, качество жизни
инвалидов, межсекторное взаимодействие. Ее можно использовать как
мощный инструмент анализа в социальном управлении вообще, например,
при оценке управленческих решений, оценке деятельности социальных
служб и организаций, экспертизе местных нормативных актов.
Мониторинг и оценка программ и проектов – это важный логический
шаг в социальной работе и реализации социальной политики в целом,
который неизбежен в случае перехода социальных служб на принципы
финансирования услуг, а следовательно, к программному методу
управления. Более того, это эффективный и широко применяемый в
развитых странах инструмент управления и важная часть проектной
культуры, осваивать которую стоит российским социальным службам.
Дизайн оценочных исследований
В оценке эффективности социальных проектов, которая может
включать оценку деятельности социальных сервисов или действий их
отдельных специалистов, как и в анализе социальной политики в целом,
особое значение имеет применение количественных и качественных
методов сбора и анализа информации. Выбор той или иной методологии
основывается на целом ряде условий.
Количественные
и
качественные
методы сильно различаются между собой, определенные модели оценки,
или эвалюаторного исследования более совместимы с качественными
методами, чем другие (Patton, 1980).
Например,
проводя
исследования
эффективности
в
форме
системного анализа или оценивая степень достижения целей, чаще всего
применяют количественные методы. Переменные для оценивания
определяются заранее, их расписывают на измеряемые (операциональные)
индикаторы и, если возможно, рассматривают в качестве объекта
эксперимента. Системный анализ требует, во-первых, определения
наиболее важных переменных на входе и выходе программы, во-вторых,
статистического анализа связей между тем, что имеет программа на входе,
и ее результатами.
Переменными на входе
являются, например, такие
показатели, как количество персонала, отношение между количеством
89
персонала и количеством участников программы, характеристики
участников программы, базовый уровень обслуживания участников
программы (претестовые оценки).
Результаты программ
включают,
например,
уровень
обслуживания
участников
программы
после
реализации программы (посттестовые оценки), уровень трудоустройства,
денежное выражение новых навыков у клиентов, новый уровень дохода
клиентов или его эквивалент. Для правительства системный анализ
является популярным подходом к оценке. Это подход, который зависит от
компонентного анализа (разделения системы программы на отдельные
части). Переменные определяются дедуктивным путем, логически, перед
тем, как начнется сбор данных, в отличие от индуктивной аналитической
стратегии качественного исследования, где параметры формулируют в
процессе полевой исследовательской работы. Взгляд на мир системного
аналитика несовместим с феноменологическим подходом.
Анализ достигнутых целей
некоторое время был доминирующим
подходом к оценке. В этом подходе результаты, фиксируемые в процессе
реализации программы, определяются в терминах успехов клиентов или
участников, которые измеряются при помощи стандартизованных тестов.
Данные этих тестов можно анализировать статистически, чтобы сравнить
индивидов и группы участников. Однако успехи участников могут быть
оценены только в определенном контексте или в связи с определенными
смыслами, которые отдельный человек придает результатам его или ее
личного опыта участия в программе и личных переживаний по поводу
испытываемых проблем.
Качественные методы оценивания применяются в так называемой
транзакционной модели
, которая рассматривает каждый случай как
уникальный и делает акцент на восприятии людьми происходящих
событий. Транзакционная модель базируется на тех же допущениях,
которые содержатся в качественном исследовании: важно понимать людей
и программы в контексте; участие в исследовании должно складываться
как естественная ситуация без специально организованного внешнего
контроля и особых манипуляций; наиболее полное понимание возникает
из индуктивного анализа детального и неформализованного сбора данных
посредством прямого контакта с программой и ее участниками. В этой
модели считается, что узнать о восприятии можно, только изучив
определенные транзакции, в рамках которых восприятие может быть
зафиксировано. Все участники ситуации взаимодействуют между собой,
причем человек, проводящий оценку, тоже оказывает влияние и находится
под влиянием ситуации, так как является частью транзакции. Значит,
следует проводить рефлексию восприятия в наиболее естественных
условиях функционирования программы. Для этого организуют различных
людей для наблюдения за программой и с их помощью готовят короткие
нарративы, т.е. повествования, словесные описания результатов, строят
90
диаграммы. При этом используются методы социальной антропологии
организаций: этнографические наблюдения и интервью – с целью
выявления ценности участников программы, проявляющихся, в частности,
в повседневном общении, выражениях, организационном фольклоре. Так
выясняются общие для группы установки, а также конфликтующие
интересы и предпочтения. Исследователь проверяет качество своих
записей, приглашая персонал программы и представителей целевой
группы реагировать на точность полученных зарисовок и выводов. По
большей
части
данные
собираются
неформально,
в
процессе
взаимодействий. В итоге не все данные могут входить в отчет, исходя из
этических соображений и соглашений, достигнутых с участниками
исследования.
Еще одна модель оценки – так называемая «
иллюминативная
»,
ставящая своей задачей осветить как можно более широкий контекст, в
котором функционирует программа. Такая модель в первую очередь
направлена на описание и интерпретацию, чем на измерение и
прогнозирование, и тоже принадлежит к антропологической перспективе.
Здесь исследователя занимает влияние программ на различные социальные
ситуации, к которым они применяются, как это напрямую относится к их
достоинствам и недостаткам, и как они влияют на жизненный опыт и
жизненный
путь
участников.
Осуществляется
это
посредством
постоянного поискового изучения и документирования всего, что является
составными частями этой программы, в том числе в действиях, ситуациях
и разговорах участников.
Американскому философу и специалисту в области эвалюаторных
исследований
Майклу
Скривену
принадлежит
идея
оценки
эффективности, свободной от целей
. Этот подход означает сбор данных
по широкому кругу действительных результатов деятельности и оценку
того,
насколько
эти
результаты
важны
для
удовлетворения
демонстрируемых потребностей. Специалист по оценке в этом случае
избегает формулировать свои задачи и выводы в связи с целями
программы. Никаких обсуждений целей с сотрудниками не проводится,
проектные буклеты или заявки не читаются, изучаются только результаты
программы и эффекты, доступные измерению.
Дело в том, что при изучении узко обозначенных целей программы
есть риск упустить важные незапланированные результаты, которые в этом
случае
будут
называться
«побочными»,
«непредвиденными»
или
«вторичными». Сами названия эти таковы, что какое-либо достижение,
оказавшееся, возможно, наиважнейшим, будет недооцениваться, а ведь
признание такого результата в качестве прямого и важного могло бы
позволить, например, переформулировать приоритеты дальнейшей работы
программы!
Кроме
того,
именно
из-за
жесткой
и
конкретной
формулировки ожидаемых результатов возникает риск ошибочного