Файл: Решение 36р от 09. 06. 2007 Москва 2008 ббк 60. 5 Р 74 Учебное пособие подготовлено при поддержке Рособразования по аналитической ведомственной целевой программе Разви.pdf

136
Часть 4 ектов и программ, финансируемых из госбюджета и по грантам, сравни- тельное исследование процессов профессионализации социальной ра- боты и получение эмпирических данных о практике социальных служб.
Региональный срез проблемы особенно важен в контексте децентрали- зации социального управления, а также в аспекте привлечения внима- ния научной общественности к анализу местного опыта. С одной сторо- ны, существуют общие тенденции и проблемы социального развития регионов России, с другой – вариативность и уникальность региональ- ного опыта, опосредованные рядом социокультурных факторов: локаль- ными социально-экономическими условиями, эффективностью соци- альной политики, практическими инициативами субъектов управления социальных служб, характером связи практики с системой социального образования и науки, возможностями международного сотрудничества.
Сферы применения оценочных исследований многочисленны.
Оценка может проводиться в организации: в этом случае полезно при- менять подходы, сложившиеся в организационной антропологии и со- циологии. Здесь важно учитывать особенности организационного кон- текста, в частности, те властные отношения, которые влияют на пози- цию респондентов. В организационных исследованиях активно приме- няются методы включенного наблюдения, анализа документов, интер- вью. Исследования организаций могут быть представлены следующими примерами: анализ проблем взаимодействия специалистов и клиентов в
Центре планирования семьи, Центре помощи женщинам, семье и детям; изучение трудовых отношений и управления в частном бизнесе; социаль- но-психологическое самочувствие пациентов в медицинском учреждении.
Выясняя явные и скрытые установки сотрудников, ценности организаци- онной культуры, механизмы власти и контроля, степень удовлетворенно- сти клиентов, исследователи могут проводить оценку эффективности, вы- рабатывать рекомендации по повышению качества обслуживания.
В практике социальной работы и реализации социальной политики в силу сложности и многоплановости задач нет единой и общепризнан- ной методики оценки программ социально-экономического развития. В мировом сообществе оценщиков, принадлежащих к разным управлен- ческим и аналитическим школам, пока не сложилось единого термино- логического поля даже в тематике мониторинга и оценки проектов. По- этому говорить в настоящее время о создании универсальной для всех городов и для программ любого типа методики оценки программ вряд ли возможно. Можно говорить лишь о методических подходах к прове- дению оценки, определяющих общие принципы и логику оценочной деятельности. Но планировать оценку, выбирать ее параметры и спосо- бы их измерения необходимо в каждом конкретном случае отдельно.
Мы ведем речь о систематической оценке процесса и/или резуль- татов программы или политики, сравниваемых с рядом явно выражен- ных или подразумеваемых стандартов. Такая оценка применяется в качестве средства, способствующего улучшению программы или поли- тики. Прежде всего, оценка является систематической – это значит, что она представляет собой исследование, выполненное в количественной или качественной методологии или же использующее сочетание разных методологий. При проведении оценки используется исследовательская терминология, например: качественные методы, количественные мето-
ды, эмпирическое исследование, показатели, переменные, выборка, экс-
периментальный дизайн, контрольная группа, случайная выборка, дос-
товерность, надежность, измерение, отчет.
Между оценкой и классическими академическими исследования- ми существуют сходные черты, поскольку и те, и другие направлены на

Оценочные исследования
137
описание и анализ, понимание отношений между переменными и вы- явление причинных связей между ними. Кроме того, существуют про- межуточные формы – например, прикладные исследования, которые не являются оценочными, но их результаты так же востребованы на практике. Во всех случаях используются научные методы сбора данных: интервью, анкетирование, тестирование знаний и умений, описание отношений, наблюдение, анализ содержания документов, записей, изу- чение физических доказательств. Наиболее распространенная форма оценки – эксперимент с применением случайной выборки, включаю- щий измерение релевантных переменных, по меньшей мере, в двух аналогичных группах, одна из которых участвует в программе, а другая
– так называемая контрольная группа – нет. Используется также изу- чение отдельно взятого случая (кейс стади), постпрограммные исследо- вания. За последние годы появилось множество изданий, публикую- щих статьи по оценке, методам оценки, ее этическим принципам и идеологии, возможностям применения результатов. В ряде случаев при планировании оценки следует иметь в виду более широкую аудиторию.
Универсальной формулы проведения оценки не существует, по- скольку программы и организации весьма разнообразны. Многое зави- сит от того, как будет использоваться исследование: скажем, от того, необходимо ли для принятия решения или прояснения положения для лучшего понимания того, как работает программа. Многое, к сожале- нию, зависит от ограничений во времени, месте, доступности информа- ции, квалификации исследователей, отношений в исследуемой органи- зации. Играет роль и финансирование, которое существенно влияет на объем деятельности по оценке, а также продолжительность исследова- ния. Зачастую возможность оценивать негативные стороны или резуль- таты ограничивается заказчиком или руководством организации.
При проведении оценки необходимо правильно поставить вопро- сы, выбрать форму исследования, суметь собрать и проанализировать информацию, проинтерпретировать полученные данные, кроме того, нужно уметь достигать компромисс с организацией или сотрудниками программы, но в то же время быть готовым защищать до конца те мо- менты, по отношению к которым компромисс невозможен. К тому же, необходимо иметь навыки распространения полученных результатов с целью улучшения политики и программ – готовить отчеты и оформ- лять их в публикации различных жанров.
В зависимости от задач выделяют оценки результативности и
эффективности.
Оценка результативности — это экспертиза органи- зационного процесса выполнения программы, анализ при- чин отклонений в реализации программы от намеченных изначально целей. Оценка эффективности — сопос- тавление результатов программы с затраченными в ходе ее реализации ресурсами.
Таким образом, в фокусе оценки могут оказаться процесс и/или ре-
зультаты программы. Если оценка концентрируется на изучении про- цесса реализации программы, то внимание уделяется соответствию про-

138
Часть 4 граммы предписанному плану (замыслу) или тому, что происходит. Если же цель оценки – результат и эффект программы для ее бенефициариев, или благополучателей (т.е. тех людей или целевых групп, на улучшение жизни которых направлена программа). В этом случае пытаются найти ответ на вопрос: «Получают участники все то, что планировалось?» или
«Как влияет на них программа?» Очень часто оценивают и процесс осу- ществления программы, и результаты
1
. Причем, результаты, или эф- фекты программы могут быть как прямыми, так и побочными, ожидае- мыми и неожидаемыми.
Откуда же берутся стандарты для сравнения? Получив информацию о процессе и результатах, проводят оценку достоинств программы по сравнению с определенными ожиданиями. Независимо от того оценива- ется процесс или результаты, выражается мнение. К примеру, если про- водилась программа, направленная на уменьшение количества беременно- стей среди девушек подросткового возраста, эксплицитным стандартом бу- дет уменьшение количества беременностей среди участниц программы. Но оцениваться могут не только официальные цели программы, которые могли измениться во время осуществления программы. На данном этапе целью может быть обучение гигиене беременных. В таком случае критериями ста- новятся здоровье беременной и ребенка. Другие стандарты определяются ожиданиями других участников программы. Цели спонсоров, менеджеров, сотрудников и участников программы могут стать критериями оценки.
Иногда оценка представляет определенную информацию о программе, оставляя за читателем право судить о ее достоинствах.
Цель оценки, ее вклад в улучшение программы или политики опре- деляет критерии и методы оценивания. Оценка способствует улучшению программ и выделению средств на лучшие программы. Опираясь на ре- зультаты оценки, уполномоченные лица должны принимать мудрые ре- шения, а те, кто проводит оценку, получают удовлетворение от вклада в совершенствование программы. На оценочные исследования уходит больше времени и сил, по сравнению с интуитивной оценкой, которой нередко довольствуются руководители и сотрудники социальных служб, но они точнее, что особенно важно, если а) оцениваемый результат сло- жен, его трудно проследить, он состоит из множества разнообразных элементов; б) будущие решения важны и требуют больших материаль- ных затрат; в) данные необходимы для того, чтобы убедить людей в со- стоятельности выводов.
В России осуществляется множество социальных программ и посто- янно появляется необходимость в новых. Это и программы помощи без- домным, ВИЧ-инфицированным и больным СПИДом, профилактики наркотизации среди молодежи. Некоторые новые программы являются логическим продолжением уже реализованных программ, а в другие внесены радикальные изменения. Осуществляя оценку, мы задаем сле- дующие вопросы: Как осуществляется программа? С какой целью ее про- водят? Осуществляется ли она в соответствии с намеченным планом?
Каковы результаты, цели программы? Стоит ли она вложенных средств?
Необходимо ли ее продолжать, расширять, урезать, менять, не доводить
1
Ваисс К. Оценка. Методы изучения программ и политики / Пер. с англ.: Про- грамма Тасис, 2003.

Оценочные исследования
139
до конца? Каким образом определяются участники программы? Нужна ли она всем или только определенным людям?
Если программу осуществляет частная компания, то многое может решать рынок: спрос на услугу среди населения и конкуренция между разными организациями, а качество услуг может влиять на уровень удов- летворенности пользователей и следовательно, на их выбор в пользу дан- ного или другого сервиса. Существует представление о том, что «рынок все расставит по своим местам», т.е. со временем плохие программы исчезнут с рынка, останутся только хорошие. Однако, если программу осуществляет государственная или некоммерческая организация, то удовлетворенность пользователей обычно не имеет большого значения: ведь программа может быть единственной в городе или районе, нацеленной на определенную группу людей, предоставляющая данный вид услуг бесплатно. В этом случае она будет осуществляться независимо от спроса и мнения клиентов.
В свою очередь, частные фирмы могут организовывать подобные программы для своих сотрудников, при этом их качество тоже не зависит от того, насколько удовлетворен клиент. В то же время, многих организа- торов программ заботят вопросы, какой же эффект имеют государствен- ные или частные инвестиции. Соответствуют ли затраты тому качеству, которым характеризуются услуги? Получены ли ожидаемые результаты и соответствуют ли они поставленным целям? Насколько адекватны применяемые методы принципам программы? Можно ли уменьшить расходы, увеличить результативность? На эти вопросы трудно ответить, не проведя систематического оценивания.
Применительно к социальной политике и социальной работе, оцен- ка – это ответ на вопрос, насколько успешна оцениваемая социальная программа. Однако ответить на вопрос «что такое успех программы» не так просто. Критерии успешности программы могут быть самыми раз- ными. Это зависит от того, кто заинтересован в проведении оценки про- граммы, какие результаты он хочет получить и как будет их использо- вать. Если к тому же учесть, что социальные программы весьма разно- образны, то возникает вывод, что один из важнейших атрибутов оценки и ее исходная точка – это цель оценки.
Оценка социальной программы может быть вызвана самыми раз- ными потребностями, например: анализ хода выполнения программы; корректировка содержания программы (в том числе, уточнение целей и задач, переориентирование программы на реалистичные результаты); по- пытка активизировать работу по выполнению программы; повышение эф- фективности сбора данных; экспертиза дополнительных ресурсных по- требностей; анализ причин успехов и неудач выполнения программы; учет ошибок и недостатков программы при разработке других проектов; при- влечение внимания общественности; информирование лиц и организаций, принимающих решения; защита программы от критики; анализ разно- гласий среди исполнителей, возникших по ходу реализации программы.
Оценку можно проводить на разных этапах реализации программы.
Предварительную оценку – до начала запуска программы для анализа ее качества и соответствия потребностям города; промежуточную – во время реализации программы для оценки ее первичных результатов и корректировки в случае необходимости; обобщающую – после заверше-

140
Часть 4 ния программы для анализа ее результатов, учета ее недостатков и пре- имуществ при разработке следующих программ.
Этап подготовки и планирования оценки столь же важен, сколь и ее результаты. Ключевое место в нем занимает структура (или дизайн) оценки. Структура оценки определяет состав и план работ, а также, ка- кая информация необходима для проведения оценки, как она будет полу- чена и с помощью каких методов будет обработана; сколько времени уйдет на проведение оценки и какие ресурсы понадобятся для ее проведения.
Формативная оценка помогает менеджерам программ, практикам, специалистам, планирующим программу, улучшить программу в про- цессе ееразработки.Суммативная оценка проводится для предостав- ления информации по завершении программы или, по крайней мере, одного из ее циклов, касательно ее продолжения, прекращения, корен- ного изменения. Оценка процесса/результатов проводится в течение программы и по ее завершении. Эта информация может быть полезна для формативных целей
1