Файл: Решение 36р от 09. 06. 2007 Москва 2008 ббк 60. 5 Р 74 Учебное пособие подготовлено при поддержке Рособразования по аналитической ведомственной целевой программе Разви.pdf

Оценочные исследования
153
осуществляется и оценивается на уровне сообщества. Результат такой кампании будет измеряться общим количеством пожертвований. Еди-
ницей отбора выступают соседские общины, школьные классы, соци- альные службы, в которых реализуется программа. Например, при реа- лизации программы инклюзивного образования детей-инвалидов, обу- чающихся в обычных классах, отбор проводится в три этапа: школа, класс, конкретные дети-инвалиды, преподаватели, остальные дети, ро- дители – все участники специальных мероприятий по программе.
Формы оценки
Чаще всего проводится оценка отдельно взятого проекта, ряда проектов или целой программы, действующей на региональном или национальном уровне. В этом случае никаких сравнений с людьми или сообществами, не участвовавшими в программе, не проводится. Подобная оценка бывает двух видов: а) изучающая программу только после того, как ее долгое время осу- ществляли или даже завершили; б) изучающая ее как до, так и после про- граммы. Собранные данные могут быть качественными или количествен- ными. «Только после» программа оценивается в том случае, когда специа- листа приглашают во время осуществления программы, и у него нет данных, существовавших до ее начала. Исследования «до и после» предполагают присутствие специалиста по оценке с самого начала программы. Если спе- циалисту довелось оценивать программу «только после» ее осуществления, то он или она делает предположение об изначальной ситуации, во-первых, изучая всевозможную документацию, записи, беседуя с участниками, во- вторых, основываясь на своем собственном опыте предыдущих исследова- ний, изучении подобных целевых групп или организаций. Конечно, здесь возможны разнообразные искажения
1
Если оценка проводится «до и после», эта схема кажется довольно чистой, пригодной для эксперимента: участников программы изучают до и после ее осуществления; разница представляет собой эффект програм- мы. Однако, участники имели дело не только с программой: они смотрели телевизор, болели, спорили с родственниками, заводили новых друзей, переезжали, занимались на курсах, женились и выходили замуж. Возмож- но, что ряд изменений вызван не программой, а внешними факторами.
В этом случае лучше всего собрать как можно больше деталей, тщательно отобрав информацию о программе и участниках. Дополнив информацию «до и после» данными «во время», можно будет судить о ходе программы. Для формативных целей (для изменения и улучшение программы) такой подход будет достаточным, тогда как для сумматив- ных (вынесение суждения об эффективности программы) – нет.
При оценке одной группы невозможно провести сравнение с людь- ми, не участвующими в программе. Иногда подобное сравнение в прин- ципе невозможно, так как услуги предоставляются всем людям, имею- щим возможность их получения (например, социальное обеспечение, государственные школы, палаты реанимации в больницах, обязательное медицинское страхование и другие программы). В таких случаях уместно
1
Ваисс К. Оценка. Методы изучения программ и политики / Пер. с англ.: Про- грамма Тасис, 2003.

154
Часть 4 провести внутреннее сравнение. Прием оценки в этом случае – так на- зываемая «форма ответной реакции на дозу», обязанная своим названи- ем оценочным исследованиям программ, когда единственной переменой было количество полученных наркотиков. В социальных программах можно, например, сравнивать участников, получающих услуги в группе или индивидуально тем, кому представлены лишь услуги по трудоуст- ройству с теми, кто получил и эмоциональную поддержку. При подобной оценке сравниваются альтернативные виды услуг, и ограничений по предоставлению исчерпывающих услуг не существует. Можно сравнить участников, получивших больший объем услуг с теми, кто получил ее в меньшем объеме, и их достижения. Можно попытаться найти ответ на вопрос: «Достигнут ли услуги, предоставленные в ограниченном объеме и с меньшими затратами хороших результатов?» Используя этот подход, необходимо следить, чтобы объем услуг был единственным различием
(исключить разницу в посещаемости, мотивации, потребностях в услу- гах). В таком случае будут получены ценные данные
1
Еще один вид оценки одной группы – оценка во времени. Основ- ные результаты измеряются с определенными интервалами до начала программы и по ее завершении. Подобная оценка позволяет лучше по- нять условия, которые должна изменить программа, например, безра- ботица или отчисления из школы. В этом случае исследователь задает- ся вопросами: Какими были условия до начала программы, улучшались они или ухудшались без вмешательства программы? Каковы стали ус- ловия после проведения программы? В чем их улучшение? Появились ли они по завершении программы? Достигнуты ли запланированные результаты?

Оценочные исследования
155
системе социальной поддержки и обслуживания населения оценке под- вергается, в основном, процесс.
Организация работы по принципу проектов и программ позволяет оценить, насколько успешна деятельность, достигаются ли запланиро- ванные результаты и в чем причины неудач, если таковые случаются
1
Сегодня уже есть успешный опыт совместной работы местных и регио- нальных администраций с некоторыми зарубежными и отечественными неправительственными организациями – например, фондом «Институт экономики города» – по внедрению результативно ориентированных ус- луг в области адресной социальной помощи
2
, заказа на социальные услу- ги, целевых потребительских субсидий на определенные услуги, а также по разработке и применению технологий мониторинга результативности социальных услуг, включая надомное обслуживание одиноких престаре- лых и инвалидов. Это доказывает принципиальную решаемость задачи по переходу на управление по результату, на организацию социального об- служивания по принципу проектов и программ. Оценка результативности социального обслуживания позволяет выявить, какие именно факторы сыграли ключевую роль в достижении конкретного результата, а какие оказались несущественными
3
. По сути дела, речь идет о процессе стан- дартизации услуг, включая разработку параметров их содержания и пре- доставления. Стандартизация означает, что каждая процедура детально операционализирована и потому может быть отслежена и оценена.
Все исследования эффективности социальной работы в Европе и США с 1960-х по сей день, как и современные отечественные исследования, стре- мились получить ответ на вопросы о факторах качества, результативности и эффективности обслуживания. Однако, стоит задуматься и над тем, на- сколько успешен сам контроль качества, насколько эффективны инстру- менты и процедуры оценки
4
. Важно найти такие принципы, методы и про- цедуры, которые действительно были бы полезными как для работников, так и для их клиентов.
Эффективность социального обслуживания – это степень соответст- вия цели и результатов при наиболее оптимальном использовании мето- дов и технологий работы, а качество социального обслуживания пред- ставляет собой соответствие процесса и результата услуги с ее идеальным образом для всех акторов. Материалы кейс стади позволили сформулиро- вать следующие гипотезы: сотрудники социальных служб не имеют чет- ких определений целей деятельности, поэтому не могут определить, в чем
1
Бодунген А. Оценка деятельности НКО // Школа по оценке проектов. Новосибирск,
26—30 ноября 2001; Боровых А., Грешнова Е. Исследование эффективности проектов и программ благотворительных организаций // Благотворительность в России. Со- циальные и исторические исследования. СПб.: Лики России, 2001.
2
Ричман Б., ЧагинК.Г. «От пособия к зарплате»: разработка и реализация програм- мы. М.: Фонд «Институт экономики города», 2004; Чагин К.Г. Новые технологии управления в сфере социальной помощи и социального обслуживания населения //
Журнал исследований социальной политики. № 4. 2005. Т. 3.
3
Эффективность муниципальных социальных программ: возможность и необходи- мость оценки. М.: Институт экономики города, 2003.
4
Zirps F.A. Still Doing It Right the First Time. A Model of Quality Improvement for
Human Service Agencies. Revised and updated edition. Orlando, FL: The Florida Insti- tute of Quality Improvement Books, 2003.

156
Часть 4 выражается эффективность их работы; ожидаемые результаты формули- руются, исходя из количественных процессуальных критериев, что за- трудняет понимание целей, ожидаемых результатов; существует кон- фликт требований сверху и установок низовых исполнителей в отноше- нии содержания и критериев оценки работы; мотивация работников из- меняется в зависимости от типа управления (участвуют ли сотрудники в принятии решений и в оценке, есть ли проектная культура в организации) и вида усл7КТ уги (с детьми, пожилыми, бытовые, консультирование – попробуем типологизировать), стажа работы; участие клиентов в оценке, участие независимых оценщиков пока не реализуется либо его результаты не востребованы в силу отсутствия системы обеспечения качества.
В результате проведения исследования
1
выяснилось, что по мнению подавляющего большинства респондентов (88,5%), услуги их организа- ций доступны тем, кому они необходимы. Среди факторов, снижающих доступность социальных услуг, на первом месте «нежелание клиентов что-то делать самим» (56,4%) и «слабая обеспеченность транспортом»
(32,4%). Транспортный вопрос возникает, прежде всего, в районах облас- ти – ведь здесь расстояния гораздо более масштабные, а инфраструктура общественного транспорта развита весьма слабо. Между тем, по мнению работников, учреждения, расположенные в крупных областных центрах, доступны населению так же, как и учреждения в райцентрах.
Такой фактор низкой доступности социальных услуг, как недоста- ток квалифицированных кадров в социальных службах, признается лишь каждым пятым опрошенным (20,8%). Квалификация персонала, на взгляд 74,8% респондентов, соответствует возложенным на сотрудни- ков задачам, и хотя их деятельность регулярно оценивается и анализи- руется (74,3%), однако, не все, а лишь 58% опрошенных отметили, что в работе они используют современные принципы и технологии.
Несмотря на такую высокую оценку собственной квалификации, более половины заполнивших анкету (54,4%) высказали мнение о необ- ходимости регулярно повышать квалификацию сотрудников, для того, чтобы улучшить социальное обслуживание. Отметим, что квалифика- ция кадров до недавнего времени признавалась болевой точкой отрасли
«социальная защита». При этом такой атрибут корпоративной идентич- ности, как повышение квалификации, лишь недавно занял относитель- но устойчивое положение в дискурсе социальных служб. Правда, при- глашение для консультации исследователей и преподавателей социаль- ной работы лишь для каждого пятого (19,5%) из числа респондентов привело бы к улучшению социального обслуживания. И хотя нашей ис- следовательской группе хорошо известны факты проведения курсов, тренингов, семинаров для специалистов социальных служб, герметич- ность этой системы пока еще довольно велика.
Восприятие своей организации как действующей по современным принципам и технологиям коррелирует с образовательным и должност-
1
Исследование проводилось в рамках проекта «Новая идеология и практика со- циальных услуг: региональные модели оценки эффективности в условиях либе- рализации социальной политики (на материалах Саратова и Самары)» при под- держке Независимого института социальной политики, руководитель проекта
П.В. Романов, грант №SP-06-2-15.

Оценочные исследования
157
ным статусом опрошенных – среди тех, кто имеет среднее образование, использующих современные технологии оказалось 47,8%, а среди ра- ботников с высшим образованием – 66,1%. Это закономерно, учитывая тот факт, что среди лиц со средним образованием больше всего низовых социальных работников, у которые мало возможностей применить со- временные принципы и технологии. Примерно пятая часть опрошен- ных указала на заявительный принцип оказания услуг (19,6%) как на фактор их возможной низкой доступности. Между тем, именно ввиду заявительности как принципа оказания услуг оказывается невозмож- ным просчитать их результативность для общества в целом, ведь доля благополучателей в соотнесении к генеральной совокупности нуждаю- щихся остается неизвестной! Отчеты социальных служб и доклады о положении социально уязвимых групп населения наполнены информа- цией о численности обслуженных, количестве выданных наборов или объемах выплаченных пособий, – во-первых, без какого-либо соотнесе- ния с потребностями целевых групп, а во-вторых, без анализа эффектов от такого рода услуг. Приведем несколько выдержек из официального доклада о положении детей в регионе:
«За 2005 год в рамках этой программы было трудоустроено 208
безработных из числа одиноких и многодетных родителей. Участники
программы отработали в среднем по 2 месяца. Средний размер под-
держки доходов составил 1300 руб. в месяц на человека. После заверше-
ния участия в программе 81 человек был принят на постоянную ра-
боту», – остается непонятным, как классифицировать эти дан- ные в терминах, ведь сравнительные данные не приводятся.
«За 12 месяцев 2005 года в N-ской областной психиатрической
больнице пролечено 700 несовершеннолетних, 107 из них были отнесе-
ны к категории ‘безнадзорных’», – не указывается общее число без- надзорных детей в N-ской области.
«В ходе реализации программы повышения качества жизни де-
тей из семей малообеспеченных мигрантов было закуплено и переда-
но 30 ранцев со школьными принадлежностями по 500 руб. каждый»,
– не говорится, какую долю составляют счастливчики из числа нуждающихся в ранцах.
По мнению большинства информантов, социальное обслуживание может считаться эффективным, если оно достигает поставленных целей
(71,1%), при этом 88,5% опрошенных считают, что услуги, оказываемые их учреждением, в большинстве случаев соответствуют этому критерию. Оп- рошенные уверены в том, что социальное обслуживание клиентов в их ор- ганизации «имеет четко сформулированную цель и назначение» (84,1%) и
«ведется с учетом индивидуальных потребностей клиентов» (83,2%), в том числе, «организовано удобно по времени для клиентов» (73,9 %).
В соответствии с определением Института экономики города
1
, услу- га может считаться оказанной качественно, если она имеет четко сфор- мулированную цель/назначение; предоставляется в соответствии с со-
1
Критерии оценки качества бюджетных услуг, целесообразности и эффективно- сти производимых расходов; обоснование и методика выбора критериев. Мате- риалы исследования Фонда «Институт экономики города», 2006.