Электронный научно-педагогический журнал. Издается с 7 ноября 1995 года.

Электронное научное издание. Зарегистрировано в Федеральном депозитарии электронных изданий ФГУП НТЦ "Информрегистр" Министерства связи и информатизации РФ.
Государственная регистрация  # 0420700031 от 27.11.2006

Саенко Николай Михайлович
соискатель кафедры общей педагогики Таганрогского государственного педагогического института, г.Таганрог
litfak_tgpi@rambler.ru
 

Терминология, связанная с разработкой тестовых заданий

В рамках настоящей статьи проводится попытка на основе анализа дифференциальных признаков отдельно взятого тестового задания  определить наиболее операциональные термины, которые могут быть использованы методологами-тестологами при создании тестовых заданий, отвечающих важнейшему признаку их качества – нормативности [1; с.79].

Начнем с относящихся к процедуре создания задания терминов «конструктирование тестового задания» и «композиция тестового задания». 

Термин «конструирование тестового задания» связан с учебной целью, поставленной учителем: хочет ли он определить уровень достижений учащихся, или выявить слабых (отстающих) учеников по определённым темам, или диагностировать общий уровень знаний в классе.

Термин «композиция тестового задания» обозначает формулировку тестового задания и дистракторы, дополнительный материал (если это тестовое задание с несвободно конструируемым ответом), либо формулировку тестового задания с предложенным к нему материалом или без него (если это задание со свободно конструируемым ответом, т.е. творческое).  Заметим, что термин «композиция тестового задания» логично применять по отношению лишь к определенному тестовому заданию.  В отношении  теста в целом (состоящем из ряда заданий) следует применять термин «композиция теста».

Отдельно взятое тестовое задание можно охарактеризовать рядом показателей:

• адекватность восприятия формулировки задания,

• практичность задания,

• сбалансированность задания  (дистракторы должны релевантно отражать формулировку задания),

• трудность задания (задание должно обладать определённой степенью трудности).  

Приведем в качестве примера тестовое задание по русскому языку: «В каком слове произносится звук [с]: 1) сбросить; 2) счёт; 3) извлечь; 4) близко». Это задание адекватно воспринимается учащимися, т.к. в школьном курсе «Фонетика» они знакомятся с понятиями «звук», «буква» и с тем, как они соотносятся в потоке речи. Задание обладает доступностью, так как учащиеся знают, что произношение и написание в русском языке – разные явления; задание и приведенные дистракторы сбалансированы, так как приведенные варианты слов содержат буквы «с», «з», и учащиеся должны подумать, всегда ли эти буквы соответствуют произнесению звука [с]. Задание обладает определенной степени трудности, потому что необходимо вспомнить о таких явлениях, как влияние звуков друг на друга в потоке речи.

Другой пример - тестовое задание по биологии: «Структуру двойной спирали имеет молекула: 1) белка; 2) ДНК; 3) тРНК; 4) рРНК».  Данное тестовое задание обладает признаком адекватности восприятия, так как формулировка тестового задания учащимся понятна. В тестовом задании максимально сбалансированы и внутренне согласованны формулировка задания с дистракторами. Задание обладает определенной степенью трудности, так как вторичная структура белка имеет форму одинарной спирали, а ДНК, тРНК и рРНК относятся к одному классу – нуклеиновые кислоты.

Заметим, что тестовое задание существует не само по себе, но как элемент системы теста.  В рамках этой системы задания должны отвечать ряду требований:

• селективности (т.е. взаимосвязи решения задания с решением других задач);

• надежности (ответы должны отличаться устойчивостью);

• внутренней согласованности, отражающей системность знаний и  демонстрирующей прочность внутрисистемных взаимосвязей заданий теста;

• экономичности (т. е. целесообразности наличия дублирующих заданий);

•  разнотипности формулировок и приведенных дистракторов.

Только в этом случае можно говорить о релевантности системы тестовых заданий. Вышеназванные требования  (дифференциальные признаки) отдельно взятого тестового задания должны характеризовать и систему тестовых заданий в целом.  

Дифференциальные признаки должны сопровождаться расшифровкой того, что должен отражать  и за счет чего работает данный признак.  Скажем, признак «трудность тестового задания» должен отражать степень трудности тестового задания (другими словами,  в его расшифровке должен содержаться ответ на вопрос: «Сколько тестируемых может ответить правильно?»), а работает этот признак за счет выявления процента правильных ответов. Все вышеназванное является важнейшей характеристикой качества теста благодаря качеству составляющих его элементов и их сбалансированности.

Конструирование тестовых заданий – достаточно трудоемкое занятие, оно должно осуществляться преимущественно концептуальным путем и обеспечивать валидность методики. Концептуальный путь предусматривает предварительную разработку программно-валидного конструкта – модели диагностируемого явления, обоснованной данными соответствующей концепции, оперирующей однозначно определяемыми терминами.

Наиболее распространенными терминами, отражающими качество  теста и процесс обработки результатов, являются термины «валидность» и «надежность». Вопрос о валидности тестов был поставлен впервые  в 1890 году. В послесловии к статье Дж. Кеттела  основоположник тестологии Ф. Гальтон «критиковал Кетелла за то, что тот не посчитал нужным упомянуть о важности сравнения результатов тестов с независимым измерением  тех же самых переменных» [2; с.18].  Позднее понятие «валидность» интенсивно разрабатывается психологами, когда ставится задача установить соответствие между степенью выраженности интересующего свойства личности и методом его измерения.   

«Краткий психологический словарь» даёт следующее определение валидности – один из важнейших критериев качества теста, означающий пригодность теста для измерения того, что он по замыслу должен измерять [3; 38].  Аналогичное определение валидности дается в «Словаре терминов валеологии»  - степень отражения тестом того, что он должен оценивать,  как корреляция результатов данного теста с другими критериями измеряемого свойства [6; с.14].   В отечественной литературе вместо термина валидность нередко используются  понятия «обоснованность», «достоверность», «информативность», «действенность», «адекватность», «согласованность». Мерой валидности служит коэффициент корреляции теста с каким-либо критерием. Е.А.Михайлычев [1; с.29] определяет валидность как соответствие того, что измеряется на самом деле, тому, что должно быть измерено по замыслу. По мнению одного из известных исследователей-психодиагностов Л.Ф.Бурлачука, «валидность  – комплексная характеристика методики (теста), включающая сведения об области исследуемых явлений и репрезентативности диагностической процедуры по отношению к ним» [4; с.34], «тест называется валидным, если он измеряет то, для чего он предназначен» [4; с.166].
 

А. Анастази замечает, что «в тестах достижений основной интерес сосредоточен на том, что индивид может делать к настоящему времени. Эти тесты, в отличие от тестов интеллекта и способностей, в основном оцениваются в терминах валидности по содержанию» [5; с.81].

А.Н.Майоров [2; с.212] отмечая условность классификации валидности, подчеркивает обязательность для тестов школьных достижений содержательной и желательность критериальной валидности. По Т.Н.Тягуновой [7; с.51] вероятность справедливой оценки степени обученности тестируемого равна вероятности валидности теста, умноженной  на вероятность верности оценки.  И.А.Караваева [8; с.7] представляет валидность как комплекс, состоящий из четырех основных характеристик (теоретической, содержательной, эмпирической и характеристики формы).

Таким образом, к числу терминов, однозначно определяемых сегодня педагогической диагностикой и важных с точки зрения тестологии, можно отнести:

• термины «валидность» и «надёжность» теста,

• термины, отражающие дифференциальные признаки тестовых заданий:   «адекватность»,  «практичность», «сбалансированность», «трудность», «селективность», «надежность», «согласованность»,  «экономичность», «разнотипность»,  

• термины, относящихся к процедуре создания задания: «конструктирование тестового задания» и «композиция тестового задания». 

Литература

1. Михайлычев Е.А. Дидактическая тестология. – М.: Народное образование, 2001. – 432 с.

2. Майоров А.Н. Теория и практика создания тестов для системы образования. – М., 2000. – 352 с.

3. Краткий психологический словарь/ Сост. Л. А. Карпенко; Под общ. Ред. А.В. Петровского, М.Г. Ярошевского. – М.: Политиздат, 1985.–431с.
4. Бурлачук Л.Ф. Психодиагностика. – Спб.: Питер, 2003. – 351 с.
5. Анастази А., Урбина С. Психологическое тестирование. – СПб.: Питер, 2002. – 668 с.
6. Кураев Г.А., Войнов В.Б. Валеология. Словарь терминов. Под ред. Чораяна О.Г. – Ростов н/Д: Изд. «ЦВВР», 2000. – 170 с.
7. Тягунова Т.Н. Философия и концепция компьютерного тестирования. – М.: МГУП, 2003. – 246 с.
8. Караваева И.А. Валидность педагогических тестов. – Ижевск: Издательский дом «Удмуртский университет», 2004. – 150 с.

Рекомендовано к публикации:
Е.А.Михайлычев, доктор педагогических наук, научный руководитель работы
А.А.Ахаян, доктор педагогических наук, член Редакционного совета