Электронный научно-педагогический журнал. Издается с 7 ноября 1995 года.

Электронное научное издание. Зарегистрировано в Федеральном депозитарии электронных изданий ФГУП НТЦ "Информрегистр" Министерства связи и информатизации РФ.
Государственная регистрация  # 0420700031 от 27.11.2006

Козьмина Мария Анатольевна
соискатель по кафедре профессиональной педагогики  Ижевского государственного технического университета, г. Ижевск
kozminamasha@mail.ru

Формирование государственной аттестационной комиссии по оцениванию выпускных квалификационных работ на основе квалиметрического подхода

В существующей практике работы вузов оценка выпускных квалификационных работ (ВКР) производится членами государственной аттестационной комиссии (ГАК), которая должна формироваться из наиболее квалифицированных педагогов и специалистов. По существу ГАК является экспертной группой, поэтому логично предположить, что  её формирование целесообразно проводить на  основе квалиметрического подхода [1].

В рамках настоящей работы методика [2] формирования экспертной группы, основанная на квалиметрическом подходе, уточнялась применительно к задаче  формирования ГАК и включала следующие процедуры:

• создание банка кандидатов в члены ГАК (по предложению выпускающей кафедры);

• оценку компетентности кандидатов в члены ГАК методами взаимных рекомендаций и анкетных данных;

• обоснование численности ГАК;

• оценку согласованности членов ГАК.

Предлагаемая методика позволяет обоснованно:

• определить оптимальное число членов ГАК, необходимое для компетентной и согласованной работы, т.к. слишком малое или слишком большое  число членов ГАК увеличивает  погрешность в оценивании ВКР, т.е. снижается достоверность результатов;

• провести отбор членов для ГАК из числа кандидатов, заведомо превышающего предполагаемую численность ГАК;

• оценить компетентность и согласованность отобранной группы.

Экспериментальная работа проводилась на инженерно-педагогическом факультете ИжГТУ. По предложению выпускающей кафедры был составлен банк кандидатов в эксперты (в члены ГАК), включающий 20 человек.  Для отбора кандидатов использовался метод взаимных рекомендаций и метод анкетных данных.

Метод взаимных рекомендаций аналогичен методу голосования. Рабочая группа составляет список кандидатов в члены ГАК по предложениям выпускающих кафедр, с указанием основных данных о каждом  (место работы, должность, ученая степень и звание, педагогический стаж и т.п.).

В табл.1 приведена анкета КЭ-1, адресованная кандидатам в члены ГАК,  в которой предлагается отметить тех, кого кандидат рекомендует в экспертную группу.

Таблица 1

Анкета кандидата в члены ГАК (КЭ-1)

Полученные ответы позволяют определить коэффициент взаимных рекомендаций для каждого j-го кандидата по формуле

       ,                                                                 (1)           

где  m – общее число кандидатов в члены ГАК,   m_j  - количество поданных за  j-го КЭ предпочтений.  Если величина  m_j << m  (m_j/m < 0,1), то  j–го кандидата в члены ГАК следует исключить из списка.

Полученные коэффициенты взаимных рекомендаций должны удовлетворять условию нормировки, т.е. сумма всех коэффициентов равна единице.

Метод анкетных данных предполагает использование анкетных данных  кандидата в члены ГАК. Пример анкеты КЭ-2 приведен в табл. 2. 

Таблица 2

Анкетные данные кандидата в члены ГАК  (КЭ-2)

Обработка анкет КЭ-2 производилась по схеме:

• нормирование ответов кандидатов в члены ГАК;

• определение весовых коэффициентов анкетных вопросов;

• вычисление  коэффициента для каждого кандидата в члены ГАК.

Нормирование ответов кандидатов в члены ГАК производлось по формуле 

    ,                                                 (2)   

где  Д_j - данные   j - го КЭ на  i - й вопрос анкеты  КЭ-2;  - сумма ответов  m кандидатов в члены ГАК на i - й  вопрос (например, если речь идет о стаже работы в образовательномучреждении, то это частное от деления стажа j -го кандидата на «общий стаж» всей  выборки кандидатов в члены ГАК;  для вопроса о квалификации – это отношение ответа  j - го кандидата в члены ГАК к общему числу подобных ответов в выборке кандидатов в члены ГАК,  а при их отсутствии  β_i приравнивается единице;  для вопросов № 4 и № 5 – это отношение ответов j - го кандидата в члены ГАК к общим данным в выборке).

Весовые коэффициенты (υ_i)  вопросов анкеты определялись по формуле

        ,                     (3)

где N-число экспертов, n – число вопросов анкеты, r_ij – ранг, выставленный j-м экспертом i-му вопросу. 

Значение  коэффициента анкетных данных  находится по формуле

          ,                                             (4)

После расчета коэффициентов анкетных данных необходимо произвести проверку на выполнение условия нормировки

Для подбора экспертов сопоставляются между собой значения коэффициентов компетентности различных кандидатов, которые определяются по формуле

,                          (5)

где, С₁ - коэффициент важности анкеты КЭ-1,       С₂ - коэффициент важности анкеты КЭ-2

Для их определения каждому из кандидатов в эксперты предлагается проранжировать сами анкеты, т.е. выяснить мнение всех кандидатов в эксперты о важности каждого из способов оценки компетентности. Расчет производится по формуле  (3). Если считать, что оба способа оценки компетентности (анкеты КЭ-1 и КЭ-2) имеют одинаковую важность  то справедливо выражение

С₁=С₂=1/n,                                                         (6)

где n – число способов оценки компетентности (n = 2).

При расчете перечисленные коэффициенты компетентности должны удовлетворять условиям нормировки, т.е сумма коэффициентов компетентности равна единице.

Значения  K_j  заносятся в банк данных о кандидатах в члены ГАК и являются достоянием организаторов экспертизы (кандидатам в члены ГАК эти данные не сообщались по этическим соображениям).

Одним из принципов квалиметрического подхода является то, что кандидаты в эксперты должны отбираться по нескольким методикам с последующей количественной комплексной оценкой их компетентности, их численность в экспертной группе должна быть обоснована с учетом заданной доверительной вероятности (γ) принятия коллективной (групповой) экспертной оценки оцениваемого объекта или процесса [2]. Это означает, что вероятность отклонения коллективной экспертной оценки от «истинной оценки» должна быть не меньше заданной величины γ.  От количества привлекаемых экспертов (членов ГАК), зависит при прочих равных условиях, точность и надежность выставляемых оценок.

Расчет численности экспертной группы (ГАК) проводился по формуле [2]

,                                              (7)

где d  - размах шкалы, которой пользуются эксперты (d = q_max – q_min,, где q_min  - минимальная оценка в массиве экспертных оценок, а  q_max  - максимальная; если, например, 5-балльная шкала, то q_min = 2 балла, q_max = 5 баллов и d = 3 единицам);

       ΔQ – погрешность групповой экспертной оценки (она может быть равна одному баллу или 0,1 балла при использовании так называемого «среднего балла»);     

       γ – доверительная вероятность 0,90; 0,95 или 0,99 (дополняющая до единицы величина называется «уровнем значимости» α: 0,10; 0,05; 0,01);

      φ – коэффициент, зависящий от значения γ:  φ ≈ (1-γ).

Пользуясь приведенной формулой, можно показать, что, например, если члены ГАК не ставят оценок «2» (d =5-3 = 2 ед., ∆Q =1 балл), то N_Э ≈ 4 (численность ГАК должна составлять четыре человека).  Если же ( как в реальной практике) члены ГАК используют оценку «2», то d =3 и численность группы ГАК должна составлять девять человек.

Из общего числа кандидатов в эксперты были отобраны те, кто по  результатам обработки анкет КЭ-1 и КЭ-2 получил более высокие оценки коэффициентов компетентности, см. таблицу 3.

Таблица 3

Коэффициенты компетентности членов экспертной группы (членов ГАК)

Для оценки согласованности членов ГАК  использовалась статистика «хи-квадрат». Смысл ее состоит в сопоставлении  расчетного и табличного значений параметра «хи-квадрат».  Расчетное значение  определяется как:

,                               (8)

где m – количество экспертов (членов ГАК);

       n – число показателей;        - ранг i-го показателя, присвоенный ему j-м экспертом (членом ГАК).

Если расчетное значение оказывается больше или равно табличному (верхнее процентное значение распределения «хи-квадрат»  при уровне значимости α), это рассматривается как свидетельство согласованности внутри группы экспертов. Для отобранной группы членов ГАК были получены результаты, согласно которым расчетное значение «хи-квадрат» (20,7) превышает табличное (18,03)  при уровне значимости α=0,05. Это позволяет  обоснованно говорить о согласованности мнений внутри образованной группы членов ГАК.

Таким образом, в рамках проведенной работы методика В.С.Черепанова [2] была уточнена и конкретизирована для целей формирование состава ГАК, как экспертной группы по оценке ВКР и процесса её защиты. Методика включала оценку компетентности кандидатов в члены ГАК методом взаимных рекомендаций и методом анкетных данных,  обоснование численности ГАК и отбор членов ГАК по критерию компетентности кандидатов.

В результате исследования была обнаружена высокая степень согласованности мнений сформированной группы экспертов, что свидетельствует в пользу достоверности выставляемых ими оценок.

Литература

1. Черепанов В.С. Экспертные методы в педагогике: учебное пособие. Пермь.: ПГПИ, 1988г. – 84с.

2. Черепанов В.С. Основы педагогической экспертизы: учеб.пособие. – Ижевск: Изд-во ИжГТУ, 2006. – 124с.

.

Рекомендовано к публикации:
Ю.Н.Семин, доктор педагогических наук, научный руководитель работы
А.А.Ахаян , доктор педагогических наук, член Редакционного совета