Электронный научно-педагогический журнал. Издается с 7 ноября 1995 года.

Зарегистрирован в депозитарии электронных изданий ФГУП НТЦ "Информрегистр" Министерства связи и информатизации Российской Федерации.
Регистрационное свидетельство # 901 от 23.03.2001. Регистрационный номер государственного  учета # 0320100088

Ахаян Андрей Андреевич
доктор педагогических наук, профессор кафедры педагогики Российского государственного педагогического университета им. А.И.Герцена, Санкт-Петербург
emissia@mail.ru
Заир-Бек Елена Сергеевна
доктор педагогических наук, профессор кафедры педагогики Российского государственного педагогического университета им. А.И.Герцена, Санкт-Петербург
prof_bek@mail.ru

Основные термины, используемые в ходе  мониторинга программ развития в сфере образования  

Аннотация
Обсуждается терминология, используемая в ходе мониторинга программ развития образования. Приводится последовательность действий при подготовке к оценки социальных программ. Обсуждаются  принципы и стандарты оценки, понятия результативности и эффективности программ, понятия социального эффекта от реализации программ развития образования и индекса человеческого развития.

Ключевые слова 
развитие образования, мониторинг,  принципы и стандарты оценки, эффективность программы развития образования, индекс человеческого развития

В литературе, посвященной проблемам мониторинга программ развития образования,  присутствует характерный для этой области исследований понятийный ряд. К числу наиболее часто употребляемых относится такие термины как: оценивание, оценка, асессмент, принципы оценки, стандарты оценки, результат, результативность, эффект, эффективность, индекс человеческого развития [1,2].  Ниже приводится расшифровка этих терминов, основанная на анализе литературы по данной проблематике.

1. Оценивание  

Под оцениванием регулирующих актов (regulatory impact assessment, RIA) понимается проведение эмпирических исследований, направленных на прогнозирование или оценку фактического воздействия предложенных регулирующих актов на целевую аудиторию, рынки, государственный сектор. Сюда входит, в том числе, определение объемов, продолжительности и вероятности позитивных и негативных воздействий, пересчет позитивных и негативных эффектов в денежную форму. Общепринятой формой институционализации оценивания регулирующих актов является закрепление норм по проведению оценивания законом и неукоснительное следование им органами исполнительной власти.

Оценивание программы (program evaluation) – этим термином обозначается  систематический сбор информации о деятельности в рамках программы, ее характеристиках и результатах, который проводится для того, чтобы вынести суждение о программе, повысить эффективность программы и/или разработать планы на будущее» (Patton, 1997).  Для  оценивания программы  преобразований требуется наличие в первую очередь реальной программы, а также политики, инструментом которой является оцениваемая программа. Программа должна быть выполнимой, иначе оценивание  теряет смысл. При наличии политики и программы можно говорить о сборе информации и данных о политике, либо каких-либо частных аспектах этой политики (программ и проектов). Programm evaluation может включать в себя различные сочетания  методов оценивания, среди которых особое значение имеют оценка эффективности бюджетных расходов, оценка результатов и т. п.

Внутреннее оценивание (Internal evaluation) – оценивание, проводимое  государственными органами - инициаторами реформ.

Внешнее оценивание (External evaluation) – оценивание, проводимое  сторонними наблюдателями, например, специально созданными комиссиями или научными сообществами.

Для достижения объективного итога необходимо сочетание обоих видов оценивания. Внешнее оценивание предполагает, помимо проведения мониторингов,  создание системы публичной отчетности и гражданского контроля над действиями государственных органов. Существует несколько уровней оценивания:

·                    оценивание образовательной политики,

·                    оценивание программы в целом,

·                    оценивание компонентов программы

2. Асессмент влияния и оценка влияния

Асессмент (assessment) -  процесс, включающий выявление и изучение проблемы, а также планирование действий, направленных на ее решение (полное или частичное). Асессмент может включать различные этапы, но его конечным результатом всегда является ясный и реалистичный план деятельности, направленной на достижение четко определенных целей (Gosling & Edwards, 1998).

Асессмент влияния (Impact Assessment) (АВ) –  процесс, направленный на поддержку разработки политик. Включает выявление и анализ проблемы,  оценку поставленных целей, выявление основных путей достижения целей и анализ их наиболее вероятных экономических и социальных последствий. В самом широком смысле АВ –  процесс выявления ожидаемых, либо реальных воздействий программы на те социальные и экономические факторы, ради изменения которых данная программа разрабатывалась. АВ может проводиться до утверждения программы, после окончания программы, либо на любой стадии реализации программы. Предварительный АВ прогнозирует потенциальное воздействие программы и является частью процесса разработки программы. Промежуточный и итоговый АВ выявляют реальное воздействие, оказанное программой для того, чтобы при необходимости внести коррективы и предоставить информацию для разработки будущих программ (Kirkpatrick & Hulme, 2001).

Асессмент социального влияния  - усилия, направленные на то, чтобы определить заранее или предусмотреть вероятные социальные последствия предлагаемых действий (The Interorganizational Committee on Principles and Guidelines for Social Impact Assessment, 2003). Асессмент социального влияния включает процессы анализа, мониторинга и управления преднамеренными и непреднамеренными социальными последствиями запланированных интервенций (политик, программ, планов, проектов) и любых социальных процессов, вызванных интервенциями (International Association for Impact Assessment, 2003).  

«Оценка влияния позволяет определить, какие изменения в жизни людей произошли в результате выполнения конкретного проекта, программы или реализации определенной политики. ОВ направлена на обеспечение «обратной связи», помогающей повысить эффективность программ и политик. Оценка влияния представляет собой инструмент для принятия политических решений, и повышает ответственность политических лидеров перед обществом. Другие виды оценки, например, мониторинг процессов, не предполагают эффекты и анализ причинно-следственных связей. Такой анализ исключительно важен для понимания того, какую роль играют те или иные компоненты программ в решении проблем» (The World Bank Group, 2004).

«Оценка воздействия (impact evaluation) выявляет, оказала ли программа ожидаемое воздействие на людей, домохозяйства или институты, и принесло ли это мероприятие необходимый эффект. Оценка воздействия позволяет также анализировать побочные последствия, положительные и отрицательные, для бенефициаров (выгодополучателей)» (Бейкер, 2000).

Как мы видим из данных определений, на этапе разработки программы говорят о предполагаемом влиянии (воздействии) программы. На этапе реализации программы - о реальном ее влиянии. Соответственно, деятельность по анализу влияния разделяется на прогнозирование влияния программы (ее называют асессментом влияния программы) и оценку фактического влияния программы (оценка влияние программы).

Принципиальное различие асессмента влияния (АВ) и оценки влияния (ОВ) заключается в том, что асессмент может проводиться лишь на основании прошлого опыта с использованием прогностических методик, тогда как оценка влияния проводится на основании данных, свидетельствующих о фактическом ходе и результатах программы.

Общим для асессмента и оценки является то, что они используются как средства, помогающие в принятии решений.

3. Подготовка к оцениванию

В стандартах оценки социальных программ, принятых  в международном сообществе экспертов, отмечается, что оценка должна иницировать общественный диалог, что позволяет улучшать ее качество и давать возможность принимать обоснованные управленческие решения. С этих позиций процесс оценки представляется следующей последовательностью: 

• потребность в информации для принятия решений >>>

• формулирование вопросов >>>

• планирование >>>

• сбор и анализ данных >>>

• ответы на вопросы >>>

• принятие решений

В соответствии со стандартами оценивания в качестве рекомендаций для ее проведения можно предложить перечень ключевых вопросов, на которые должны ответить управляющие субъекты и эксперты, проводящие оценивание. Эти вопросы инициируют дискуссии, общественную экспертизу. Они нуждаются в постоянной доработке, поскольку опыт управления модернизацией образования достаточно быстро накапливается. К числу ключевых вопросов относятся следующие:

• Что считать социальным эффектом программы ?
• Каковы индикаторы социальных эффектов программы?
• Каковы  методы оценки и мониторинга программы ?
• Какова  форма  представления информации  для принятия решений ?

Несмотря на то, что некоторые из предложенных  вопросов, могут показаться «очевидными», они часто остаются без ответа или вне рамок планируемых действий. К разряду ключевых вопросов можно отнести и содержание самого понятия «социальный эффект», возможность его количественного замера,  оценка эффекта в денежном выражении и т.д.  

4. Принципы оценки программ

Принципы оценки программ подробно описаны в литературе. Cм., например,  руководство, опубликованное Европейской Комиссией (European Commission, 2003), а также принципы асессмента социального влияния, разработанные Международной ассоциацией асессмента влияния (International Association for Impact Assessment, 2003) и американским межведомственным комитетом по принципам асессмента социального влияния (The Interorganizational Committee on Principles and Guidelines for Social Impact Assessment, 2003).

Ниже перечислены наиболее универсальные принципы оценки, разработанные Европейской Комиссией. Как показывает опыт оценки региональных программ развития образования, именно не соблюдение этих принципов  не позволяет дать четкую и ясную оценку той или иной программы.

Принцип соблюдения разумных пропорций - объем работы и глубина анализа возможного влияния программы должны быть пропорциональны значению и масштабам программы. В некоторых региональных и даже федеральных программах анализ и оценка занимают не меньше сил и средств, чем разработка и реализация самой программы, в других - наоборот, оценка программы или не проводится вовсе, либо не соответствует ее масштабу и социальной значимости.

Принцип выхода за привычные рамки означает, что не следует ограничиваться при анализе лишь одной (наиболее знакомой) областью, следует рассматривать возможное влияние программы в более широком контексте. В некоторых региональных и муниципальных программах развития образования оценка ее воздействия, как оценка социального эффекта не проводится, что, прежде всего, и не позволяет определить причинно-следственные связи.

Принцип «открытых дверей» заключается в том, чтобы привлекать к работе различные заинтересованные стороны и экспертов в соответствующих предметных областях. Часто региональные программы развития образования оцениваются самими же разработчиками программы или ответственными за ее реализацию, почти во всех программах даже не указывается, кто ответственный за проведение оценки и как она будет выполняться.

Принцип прозрачности - лицам, принимающим решения, должна быть ясна логика программы и причинно-следственные связи, приводящие к тем или иным последствиям. Отчет по оценке должен быть написан так, чтобы человек, не являющийся экспертом мог их понять. Несоблюдение данного принципа приводит к тому, что в некоторых региональных программах развития образования представление оценки дано таким образом, что те, для кого она предназначена, вряд ли сумеют в ней разобраться, так как для этого необходимо специальное образование в области статистики, экономики, социологии. Или оценка представлена в большом объеме табличной информации, что не позволяет выделить причинно-следственные связи и использовать данные оценки для корректировки программы или иных управленческих решений.

Принцип использования существующего опыта и знаний - заключается в том, что следует учитывать результаты мониторинга и оценки предыдущих программ. Уроки прошлого могут помочь спрогнозировать будущее влияние программ.

Принцип сравнения положительных и отрицательных воздействий - подразумевает, что любые программы могут иметь как положительные, так и отрицательные последствия. Задача лиц, принимающих решения, - убедиться в том, что положительное влияние превысит отрицательное. Данный принцип крайне редко реализуется при оценке региональных программ развития образования, чаще всего учитывается только позитивный результат, что не позволяет выстроить цепочку последовательных действий по совершенствованию образования с учетом предыдущего опыта реализации программ, минимизировать риски или принять необходимые ограничения.

Принцип самостоятельности суждений - единого алгоритма проведения асессмента влияния программ не существует, как не существует двух одинаковых программ. Зачастую, при оценке региональных и муниципальных программ развития образования  не учитывается разграничение полномочий и ответственности за те или иные действия и получаемые эффекты.

5. Стандарты оценки

Помимо принципов оценки, специалистами Европейского фонда было введено понятие «стандартов оценки». Стандарты оценки ориентируют на принятие определенных правил при оценивании программ и включают в себя:

• стандарты полезности – определяющие направленность оценки на обслуживание информационных потребностей соответствующих пользователей

• стандарты осуществимости – определяющие реалистичность, разумность, дипломатичность и экономичность оценки;

• стандарты правомерности – определяющие проведение оценки по закону, с соблюдением этических норм,  уважением достоинства тех, кто вовлечен в процесс оценки, а также тех, на кого оказывают влияние ее результаты;

• стандарты точности – направленные на то, чтобы оценка содержала адекватную информацию о характеристиках рассматриваемой программы

6. Результат, результативность, эффективность, эффект 

Ключевым понятием оценивания является «результат». В англоязычной литературе это понятие дифференцируется посредством различения смысла терминов «результат», «результативность» и «эффективность» (Posavec, Carey 1992).

Результат -  форма конкретного эффекта от выполненной программы, проводимой политики или бюджетного процесса. Как правило, под этой формой понимаются планируемые или не планируемые последствия публичного действия государственных органов – фактические результаты. Результат может выступать в форме  социального эффекта - конкретных товаров и услуг, которые получают граждане от государственных (муниципальных) организаций (output).

Результативность (performance) – совокупность параметров, в соответствии с которыми можно дать оценку результативности/продуктивности и/или эффективности деятельности государственных или муниципальных органов (Kuhlman 2004).

Эффективность экономическая (efficiency) - соотношение полезного результата (эффекта) и объема использованных или затраченных для этого ресурсов, выражающее степень целесообразности и рациональности произведенных расходов. Efficiency обычно выражается в показателях объема выпуска на единицу затрат.

Эффективность социальная  (effectiveness) – отражение того, насколько степень достижения цели соответствует степени обоснованности произведенных расходов.

Эффективность техническая  (efficacy) – «внутренняя» эффективность программы, отражающая способность ответственных за ее проведение и реализацию государственных органов мобилизовать свои ресурсы (например, выполнить программу в назначенный срок).

Социальный эффект — результат воздействия программы, направленный на благо общества в целом или отдельных групп населения.  Социальный эффект является своеобразным аналогом экономического эффекта в традиционных подходах к оценке инвестиций. Социальный эффект не всегда может рассчитываться по принципу «вложения – затраты – выгоды – прибыль». Однако, ввиду того, что социальный эффект всегда является главным результатом реформенных преобразований в социальной сфере (в том числе и в образовании), его расчет должен позволять получать четко выраженные результаты выгод программы. С этой целью индикаторы эффекта определяются через натуральные показатели воздействия программы на социальное благо граждан и общества в целом.

Социальный эффект от развития образования (долговременный, внешний). В общем виде это:

·        рост социального капитала (вычисляется по динамике  индекса развития человеческого потенциала - ИРЧП),

·        снижение бедности, диспропорций в обществе (вычисляется по динамике индекса человеческой бедности - ИЧБ).

Возможность расчета индикаторов подобных эффектов достаточно полно представлена в документах ООН, Международного Банка, ОЭСР, Европейского фонда.

7. Индекс человеческого развития (Human Development Index)

Индекс человеческого развития (Human Development Index - HDI) был  введен как интегральный показатель  для измерения развития человека  в 1996 году  (Доклад о развитии человека за 1996 год, Нью-Йорк, Оксфорд, 1996 г). 
Индекс  HDI складывается из четырех составляющих:

• прогнозируемая продолжительность жизни (life expectancy at birth),
• грамотность среди взрослого населения (adult literacy),
• доступность образования - сводный показатель того, насколько свободным является доступ в учебные заведения всех ступеней (combined primary, secondary and tertiary gross enrolment),
• валовый внутренний продукт на душу населения (GDP per capita).

На основании индекса HDI выстраивается рейтинг уровня жизни в различных странах. В индекс HDI в качестве одной из составляющих входит «Индекс достигнутого уровня образования». Этот последний в свою очередь определяется как композиция двух составляющих с различными весовыми множителями: процент грамотности среди взрослого населения (с весовым множителем в две трети) и процент обучающихся  в начальных, средних и высших учебных заведениях (с весовым множителем в одну треть).   

Литература

1. Концепция модернизации российского образования на период до 2010 года. Приложение к приказу Минобразования России от 11.02.2002 г. N 393
2. Федеральная программа развития образования.  Приложение к Федеральному закону  "Об утверждении Федеральной программы развития образования"  от 10.04.2000 г. N 51-ФЗ