Abstract
The article reflects the results of a theoretical analysis of research on the development and implementation of adaptive testing systems at different levels of education, as well as adaptive testing systems implemented at the present stage. On the basis of the performed analysis and the results of experimental research, an interpretation of the allocation of test adaptation levels and an approach to determining the types of test items are proposed.

Key words
adaptive test, testing, educational testing, typology of test items, level of test adaptation.

________

Одной из тенденций современного этапа развития системы образования, как общего, так и профессионального, является реализация принципа индивидуализации обучения.

Среди методологических оснований индивидуализации обучения выделяют гуманизацию образования, а именно – создание гибкой обучающей среды, которая делает возможным личностный выбор обучающегося, в том числе в направлении выстраивания собственных образовательных моделей (Л.В. Байбородова) [1]. Среди условий, способствующих созданию гибкой обучающей среды целесообразно выделить необходимость реализации такой системы диагностики, которая будет не только максимально тонко определять текущий уровень состояния диагностируемого элемента содержания, но и способствовать более полному и качественному его усвоению. Одним из инструментов построения такой системы диагностики является система компьютерного адаптивного тестирования, сконструированная на основе учета индивидуальных особенностей обучающихся.

Для выявления современного состояния проблемы был выполнен теоретический анализ исследований, посвященных разработке и особенностям систем адаптивного тестирования, реализуемым в настоящее время на разных уровнях образования.

Компьютерный адаптивный тест (КAT) понимается как компьютерный тест, который создан и адаптирован специально для каждого испытуемого на основе оценивания способностей тестируемого и исходя из ответов на предыдущих шагах ([2]). Традиционно при разработке систем адаптированного тестирования в качестве основы для адаптации заданий рассматривается их уровень сложности, а также количество заданий, которое предлагается выполнить каждому обучающемуся.

Разработке адаптивных тестов с различными целями посвящены исследования отечественных и зарубежных исследователей. В ([4]) подчеркивается, что CAT изначально была разработана как индивидуальная система тестирования, которая фокусируется на эффективной оценке способностей студента ([5], [6], [7]), однако, как уже было отмечено выше, в основном предъявление заданий обучающимся зависит от успешности выполнения ими предыдущих и определяется только уровнем их сложности. В работе G. Gage Kingsbury, Steven L. Wise ([8]) вводятся три новые меры адаптации теста. Эти меры основаны на объеме информации, которую тест предоставляет отдельным испытуемым.

Анализ систем компьютерного тестирования (СКТ), систем дистанционного обучения (СДО), имеющих как функцию тестирования, так и отдельный модуль «Тестирование» (может использоваться автономно), а также ведущих платформ массовых онлайн курсов (MOOC) показал, что наиболее распространенными и часто реализуемыми являются два подхода – адаптация по количеству предъявляемых тестовых заданий и адаптация по времени выполнения теста. Исторически сложившиеся в конце прошлого века на первых этапах информатизации, эти подходы активно используются в СКТ, СДО, MOOC и в настоящее время.

Адаптация по количеству предъявляемых тестовых заданий или вопросов: доступ к следующему тестовому заданию или блоку тестовых заданий осуществляется только в случае выполнения предыдущего тестового задания или блока тестовых заданий. В случае предъявления блока заданий подсчитывается и фиксируется количество выполненных заданий и коэффициент обученности по каждому блоку. При таком подходе тестовые задания могут быть дополнены подсказками или ссылками на учебный материал, который должен быть дополнительно освоен обучающимся.

Адаптация по времени выполнения теста: ограничение времени выполнения как всего теста, так и отдельных тестовых заданий или блоков тестовых заданий, для которых может быть установлено разное время выполнения.

Примерами реализации первых двух подходов являются следующие СКТ: Let's test (https://letstest.ru/features), MуTestX Рro (http://mytest.klyaksa.net), Indigo (https://indigotech.ru/), Expert-CMS (http://www.expert-cms.ru/), линейное тестирование в TESTOR.RU (http://testor.ru), линейное тестирование в СКТ SunRav WEB Class, SunRav и TestOfficePro (http://sunrav.ru), в СКТ Ball (https://evercodelab.com/ru/blog/arna-test/), АСТ-Тест, (https://www.ast-centre.ru/ и т.д.). Эти же подходы реализованы в большинстве СДО (Teachbase, https://teachbase.ru/ ; модуль «Тестирование»WebTutor, http://eng.websoft.ru/db/wb/root_id/webtutor_testing/doc.html ; eLearning Server 4G, https://hypermethod.ru/ru ; Mirapolis LMS, https://www.mirapolis.ru/ ; iSpring, https://www.ispring.ru/ ; Stepik, https://stepik.org/catalog ; Moodle, https://moodle.org/ и т.д.) и на платформах МООС (https://www.classcentral.com/report/mooc-providers-list/).

В контексте проводимого исследования наибольший интерес представляет третий подход – это адаптация по уровню сложности тестовых заданий или вопросов. Этот подход реализуется как в системах компьютерного адаптивного тестирования (КАТ), так и в некоторых СДО. Сущность этого подхода заключается в следующем:

• на первом (начальном) этапе оценивается стартовый уровень подготовки обучающегося;
   
• на втором этапе из банка тестовых заданий выбираются задания, уровень сложности которых адекватен уровню подготовки обучающегося;
   
• на третьем этапе обучающемуся предлагается тестовое задание более низкого (если обучающийся не выполнил тестовые задания второго этапа) или более высокого уровня сложности (если обучающийся выполнил тестовые задания второго этапа);
   
• на следующих этапах процедура повторяется и продолжается до тех пор, пока не будет достигнут критерий завершения (остановки) теста, т.е. не будет достигнута необходимая точность оценки результатов тестирования.

Таким образом, при адаптивном тестировании учитываются выполненные тестовые задания или ответы обучающихся на предыдущие тестовые вопросы для определения уровня сложности последующих вопросов т.е. изменение последовательности выдачи тестовых заданий или вопросов происходит в процессе самого выполнения теста. Очевидно, что процесс КАТ может быть реализован только на базе откалиброванного банка тестовых заданий в соответствии с моделями IRT (Item Response Theory) . Формирование откалиброванного банка тестовых заданий является неотъемлемым условием реализации КАТ.

Приведем примеры инструментария для реализации адаптивного тестирования ([2]):

o коммерческого

• Adaptest® (https://vpgcentral.com/software/computerized_adaptive_testing/),
   
• CATSim (https://assess.com/product/catsim/),
   
• Assessment Center (https://www.assessmentcenter.net/),
   
• WINS TEPS (https://www.winsteps.com/winsteps.htm);

o открытого

• CatR (https://cran.r-project.org/web/packages/catR/index.html),
   
• проект R (https://www.r-project.org/),
   
• cran (https://cran.r-project.org),
   
• mirtCAT (https://cran.r-project.org/web/packages/mirtCAT/mirtCAT.pdf)
   
• и т.д.

Анализ функционирующих систем СКТ (Studyx, http://studyx.co/ru/adaptive_testing/ ; TESTOR.RU, http://testor.ru , SunRav WEB Class, SunRav и TestOfficePro, http://sunrav.ru) и СДО (модуль «Тестирование» WebTutor, http://eng.websoft.ru/db/wb/root_id/webtutor_testing/doc.html ; eLearning Server 4G, https://hypermethod.ru/ru ; Mirapolis LMS, https://www.mirapolis.ru/ ; iSpring, https://www.ispring.ru/ ; Stepik, https://stepik.org/catalog) показал, что в этих СКТ и СДО реализована не только адаптация по количеству предъявляемых тестовых заданий или вопросов и по времени выполнения теста, но и по уровню сложности тестовых заданий или вопросов. Качество и достоверность таких тестов, как уже отмечалось выше, во многом определяется не только заложенной моделью, но и сформированным и откалиброванным банком тестовых заданий. При этом формат предъявления тестового задания или вопроса, как и выбор вариантов ответов может быть различным – текст, аудио, видео, графика. Однако возможности выбора формата представления информации в тестовом задании или вопросе, как и индивидуальной настройки времени тестирования эти системы не предоставляют.

Анализ литературы и актуальных систем компьютерного адаптивного тестирования определили понимание уровня адаптации теста и позволили выделить четыре уровня адаптации.

Под первым уровнем адаптации понимается адаптивный тест, сконструированный на базе одного основания – уровня сложности. Количество заданий, предъявляемое каждому пользователю, одинаковое. Уровень сложности первого задания определяется на основе результатов предварительного тестирования или по выбору пользователя. Уровень сложности каждого следующего задания зависит от успешности выполнения предыдущего задания.

Под вторым уровнем адаптации будем понимать адаптивный тест, сконструированный на базе одного основания – уровня сложности – в комбинации с индивидуальным количеством предъявляемых пользователю заданий. Уровень сложности первого задания определяется на основе результатов предварительного тестирования или по выбору пользователя. Задание на диагностируемый элемент содержания предъявляется до тех пор, пока пользователь не выполнит успешно данное задание 3 раза подряд (возможно другое количество).

Под третьим уровнем адаптации будем понимать адаптивный тест, сконструированный на базе двух оснований: уровня сложности заданий + стиль учения через способы представления информации, в комбинации с индивидуальным количеством предъявляемых пользователю заданий.

При этом, если в процессе выполнения задания, представленного тем или иным способом, не требуется перевод из одного способа представления информации в другой, будем считать это уровнем 3 А.

Если в процессе выполнения задания, представленного тем или иным способом, требуется перевод из одного способа представления информации в другой, будем считать это уровнем 3 Б.

Таким образом, выделено 4 уровня адаптации в зависимости от того: сколько оснований учитывается при конструировании теста; предполагается ли возможность повторения одинаковых заданий до успешного выполнения; предполагается ли осуществление перевода из одной формы представления информации в другую.

Для достижения цели проводимого исследования, а именно – конструирование эффективной системы адаптивного тестирования на основе учета индивидуальных особенностей обучающихся, - целесообразно ориентироваться на третий уровень адаптации теста.

Литература

1. Байбородова Л.В. Индивидуализация образовательного процесса в школе: монография. – Ярославль: Изд-во ЯГПУ, 2011. – 281 с.

2. Мазорчук М.С., Добряк В.С., Кочура А.Р. Технология адаптивного тестирования в среде R // Открытые информационные и компьютерные интегрированные технологии. № 75. 2017. С.215-230.

3. Almond R. G., Mislevy R. J. (1999). Graphical models and computerized adaptive testing. Appl. Psychol. Meas. 23 223–237. 10.1177/0146621615590401

4. Eggen Theo J.H.M. Multi-Segment Computerized Adaptive Testing for Educational Testing Purposes. Front. Educ., 11 December 2018, 3: 111. doi: 10.3389 / feduc.2018.00111

5. Lord, F. M. (1970). “Some test theory for tailored testing,” in Computer-Assisted Instruction, Testing, and Guidance, ed W.H. Holtzma (New York, NY: Harper and Row), 139–183.

6. Van der Linden, W. J., and Glas, C. A. W. (eds.). (2010). Elements of Adaptive Testing. NewYork, NY: Springer. doi: 10.1007/978-0-387-85461-8

7. Wainer, H. (Ed.). (2000). Computerized adaptive testing. A primer, 2nd Edn. Hilsdale, NJ: Lawrence Erlbaum Associates. doi: 10.4324/9781410605931

8. G. Gage Kingsbury, Steven L. Wise. Three Measures of Test Adaptation Based on Optimal Test Information. Journal of Computerized Adaptive Testing. Vol 8, No 1 (2020).

Рекомендовано к публикации:
А.А.Ахаян, доктор педагогических наук, член Редакционной Коллегии

Literature

1. Bayborodova L.V. Individualizatsiya obrazovatel'nogo protsessa v shkole: monografiya. – Yaroslavl': Izd-vo YAGPU, 2011. – 281 s.

2. Mazorchuk M.S., Dobryak V.S., Kochura A.R. Tekhnologiya adaptivnogo testirovaniya v srede R // Otkrytyye informatsionnyye i komp'yuternyye integrirovannyye tekhnologii. № 75. 2017. S.215-230.

3. Almond R. G., Mislevy R. J. (1999). Graphical models and computerized adaptive testing. Appl. Psychol. Meas. 23 223–237. 10.1177/0146621615590401

4. Eggen Theo J.H.M. Multi-Segment Computerized Adaptive Testing for Educational Testing Purposes. Front. Educ., 11 December 2018, 3: 111. doi: 10.3389 / feduc.2018.00111

5. Lord, F. M. (1970). “Some test theory for tailored testing,” in Computer-Assisted Instruction, Testing, and Guidance, ed W.H. Holtzma (New York, NY: Harper and Row), 139–183.

6. Van der Linden, W. J., and Glas, C. A. W. (eds.). (2010). Elements of Adaptive Testing. NewYork, NY: Springer. doi: 10.1007/978-0-387-85461-8

7. Wainer, H. (Ed.). (2000). Computerized adaptive testing. A primer, 2nd Edn. Hilsdale, NJ: Lawrence Erlbaum Associates. doi: 10.4324/9781410605931

8. G. Gage Kingsbury, Steven L. Wise. Three Measures of Test Adaptation Based on Optimal Test Information. Journal of Computerized Adaptive Testing. Vol 8, No 1 (2020).