Абрамян Геннадий Владимирович
доктор педагогических наук, профессор кафедры «Прикладные информационные технологии», Санкт-Петербургский государственный университет сервиса и экономики, Санкт-Петербург
AbrGV@rambler.ru

Фокин Роман Романович
доктор педагогических наук, профессор кафедры «Прикладные информационные технологии», Санкт-Петербургский государственный университет сервиса и экономики, Санкт-Петербург
RRFokin@rambler.ru

Абиссова Марина Алексеевна
кандидат педагогических наук, доцент кафедры «Прикладные информационные технологии», Санкт-Петербургский государственный университет сервиса и экономики, Санкт-Петербург
MarAbyss@rambler.ru

Инновационные подходы в области обработки данных экспериментов по автоматизации систем управления вузом и обучения информационным технологиям в высшей школе

Аннотация
обсуждается ряд новых методик обработки данных экспериментов по автоматизации систем управления вузом и обучением информационным технологиям в высшей школе, приводятся конкретные примеры использования этих методик авторами статьи для обоснования целесообразности практического применения инноваций в области обработки данных образовательных экспериментов при обучении студентов информационным технологиям.

Ключевые слова
сервисы обучения, информационные технологии, автоматизация систем управления вузом, обучение информационным технологиям в высшей школе, обработка данных экспериментов по автоматизации вузов, экспериментальная группа, контрольная группа, статистическая гипотеза, непараметрические критерии.

С точки зрения педагогической науки обоснование целесообразности применения предлагаемой новации – это обоснование соответствующим образом сформулированной гипотезы [1].

Гипотеза – это утверждение, истинность которого следует обосновать. Гипотеза исследования обычно имеет следующую структуру: если применять то, что предложено в данной концепции или подходе, то при определенных условиях улучшится качество процессов управления и обучения в сфере образования, например в области автоматизации системы управления вузом или системе обучения информационным технологиям в высшей школе. Считается, что такую гипотезу можно обосновать теоретически, т.е. правдоподобными рассуждениями и (или) экспериментально, т.е. путем проведения эксперимента. Известный математик и педагог Д.Пойа [2] подразделяет рассуждения на точные (полностью логически обоснованные) и правдоподобные. В процессе поиска решения задачи для математика характерны правдоподобные рассуждения, и только после нахождения решения – точные. Педагогические системы управления вузом и профессиональным образованием в высшей школе – открытые и гуманитарные области знаний. Оставаясь в их рамках порой трудно а зачастую и невозможно что-либо доказать математически, поэтому для исследований в области образования обычно используется метод правдоподобных рассуждений. В силу ограниченности технологий и инструментальной базы этого метода без педагогического эксперимента обоснование гипотезы, как правило, не представляется убедительным. В наших работах [3, 4] для обоснования внедрения сервисов обучения (СО) информационным технологиям (ИТ) студентов мы сформулировали гипотезу следующим образом: в результате внедрения предлагаемых СО может повыситься качество обучения студентов ИТ в результате: повышения доли усвоенных и освоенных ими знаний и навыков; повышения доли полезных в их будущей профессиональной деятельности знаний и навыков; повышения доли полезных им в учебе знаний и навыков; повышения доли полезных им в быту знаний и навыков; повышения доли интересных для них познавательно знаний и навыков. Имеются в виду доли знаний и навыков, относящихся к дисциплинам, связанным с ИТ.

Корректная и математически обоснованная обработка данных эксперимента в области автоматизации систем управления вузом и обучением информационным технологиям в высшей школе в свою очередь качественно и количественно обосновывает гипотезу исследования [1]. Качественно обосновывается возможность практического применения предложенного в данном исследовании, приводятся рабочие программы курсов, учебные планы и т.п. На основе полученных в ходе эксперимента численных данных количественно обосновывается то, что практически что-то улучшилось. Для этого, как правило, рассматриваемых в ходе эксперимента обучаемых делят на экспериментальную (к которым применялось предложенное в данном исследовании) и контрольную (к которым это не применялось) группы. Для исключения субъективного фактора обычно в этих группах работают несколько преподавателей, а для выяснения мнения обучаемых или преподавателей по какому-либо вопросу, как правило, проводят анонимное анкетирование. Вопросы при этом должны быть легко понимаемыми, четкими, но не двусмысленными. Рекомендуется не использовать вопросы с открытой, т.е. с не регламентированной формой ответа, например: "Что Вам понравилось и не понравилось в прослушанном учебном курсе и почему?" Обработку ответов на такие вопросы трудно формализовать, а при отсутствии формализации мы целиком полагаемся на субъективность человека, обрабатывающего соответствующую информацию. Для исключения субъективности обычно рекомендуется использовать вопросы с закрытой, т.е. с регламентированной формой ответа, например: "Понравился ли Вам прослушанный курс? Выберите ответ из вариантов: 1 - да; 2 - нет; 3 - не могу решить" или "На какую оценку 1, 2, 3, 4 или 5 Вы сами оценили бы свои знания по прослушанному курсу?" или для обоснования приведенной выше нашей гипотезы "Сколько приблизительно процентов (0-100) времени, потраченного Вами для изучения материалов курса заняла у Вас не интересная рутинная работа?" В первых двух случаях ответы - это целые числа из небольшого множества {1...3} или {1...5}, т.е. мы имеем дискретные случайные величины. В третьем случае ответ - это действительное число из отрезка [0,100], большинство будет писать целые числа кратные 5, например, 45, несколько испытуемых выберут целые числа не кратные 5, например, 37, в принципе отдельные оригиналы могут написать, например, 41.738, т.е. мы имеем непрерывную ограниченную случайную величину, распределение которой не является равномерным, не является нормальным и больше о нем сказать нечего.

Для обоснования приведенной выше нашей гипотезы о целесообразности внедрения СО студентов ИТ мы анкетировали каждого студента из контрольных и экспериментальных групп. Анкеты в данном случае будут содержать вопросы третьего типа. Конкретный студент оценит для себя в %%, например, долю знаний и навыков, которые ему интересны познавательно. Попросим его оценить эту долю, например, по времени, которое он затратил на получение этих знаний и навыков, по отношению ко всему времени, которое он затратил на работу по дисциплинам, связанным с ИТ. Далее в нашей работе [3] мы получили 4 средних значения для доли интересных познавательно знаний и навыков по информационной безопасности (ИБ): по контрольным учебным группам (КУГ) 2003-2004 учебного года; по экспериментальным учебным группам (ЭУГ) 2003-2004; по КУГ 2005-2006; по ЭУГ 2005-2006. В 2003-2004 уч. г. мы только начали применять СО, в 2005-2006 – достигли в этом определенного совершенства. Наиболее интенсивно мы внедряли СО именно в обучение студентов ИБ. ИБ – это частный случай ИТ. Эти средние мы округлили до целых, и у нас получилось соответственно 40%, 68%, 42%, 72%. Уже в 2003-2004 уч. г. мы получили рост в ЭУГ по сравнению с КУГ (68%-40%). В 2005-2006 уч. г. разрыв между ними увеличился (72%-42%). Правдоподобное объяснение – это результат внедрения наших СО для студентов по дисциплинам ИБ. Но так ли это? Может быть, это просто случайность? По нашему мнению делать выводы только на основе статистических данных следует очень осторожно. В книге ученого-статистика В.Боровикова [5] на стр. 120 приводится следующий шуточный пример. Собранные за много лет данные говорят о том, что чем больше пожарных участвует в тушении пожара, тем больше, как правило, оказывается ущерб от пожара. Следовательно, только на основе этих статистических данных можно сделать вывод: для минимизации ущерба целесообразнее пожарных вообще не вызывать. Для обоснования нашей гипотезы мы должны показать, что рост соответствующих долей произошел именно вследствие внедрения СО, т.е. закономерно, а не случайно. Математическая статистика предлагает для этого использовать различные методы проверки гипотез. Но это надо делать математически корректно, что на практике соблюдается не всегда.

В учебных пособиях, разработанных профессиональными педагогами и психологами (но не математиками) стало "классическим", например, применение к баллам от 1 до 5, т.е. к дискретным случайным величинам t-критерия Стьюдента [6], вычисление доверительных интервалов и т.п. А все это требует нормального распределения! Почему? В ответ можно услышать, что "они стремятся к нормальным". На законные вопросы "Что стремится?" и "Как стремится?" ответ дает центральная предельная теорема: Пусть {x₁, x₂, ..., x_n, ...} - последовательность взаимно независимых одинаково распределенных случайных величин, имеющих математическое ожидание p и дисперсию q², тогда случайная величина a_n = (x₁ + x₂ + ... + x_n)/n ассимптотически нормальна с математическим ожиданием p_n = p и дисперсией q_n² = q²/n. Согласно определению ассимптотической нормальности, величина b_n = (a_n - p_n)/q_n слабо (по вероятности) сходится к стандартному нормальному распределению N(0, 1). При больших n "близка" к нормальной величина b_n, но это одно число и мы получили выборку объемом 1, а изначально у нас была выборка {x₁, x₂, ..., x_n} объемом n.

Можно было бы привлечь другие статистические методы, но при малом объеме выборки в результате мы получим почти нормальность, и из-за этого самые даже мощные статистические методы нам не принесут никакой пользы. Значит "они стремятся к нормальным" - не аргумент! Выход в применении так называемых непараметрических (свободных от распределения) статистических методов, среди которых наиболее известны работающие с независимыми одинаково распределенными случайными величинами семейства критериев [7] хи-квадрат, Колмогорова-Смирнова (Z-тест), Манна-Уитни (U-тест), Мозеса, Уальда-Вольфовица и другие. Критерии хи-квадрат работают лишь с дискретными случайными величинами и требуют небольшого объема вычислений. Критерии Колмогорова-Смирнова, Манна-Уитни, Мозеса, Уальда-Вольфовица работают со случайными величинами произвольного распределения, но их применение требует вычислительной работы значительно большего объема. Особо чувствительным являются методы Колмогорова-Смирнова, но они требует достаточно большого объема вычислений, которые без компьютера провести практически не возможно. В классических учебниках по высшей математике и статистике полувековой давности, считалось, что методы Колмогорова-Смирнова имеют чисто теоретическое значение, но для нашего времени это уже не так.

Применение свободных от распределения методов и инновационных подходов в области обработки данных экспериментов по автоматизации систем управления вузом и обучением информационным технологиям в высшей школе предполагает следующую логику обработки данных экспериментов. В качестве примера рассмотрим однопараметрическую концепцию обработки данных по одному из экспериментальных показателей. Пусть, например, мы провели в экспериментальной и в контрольной группах один и тот же тест, по результатам которого была выставлена оценка каждому обучаемому. Таким образом, мы имеем выборку баллов {x₁, x₂, ..., x_n} для экспериментальной группы и {y₁, y₂, ..., y_m} - для контрольной. И пусть, например, у нас получились выборочные средние баллы x*_n = 4.6 и y*_m = 4.2 соответственно. Есть основания говорить, что экспериментальная методика лучше классической или дело просто в случайности? Если n=2, m=3, то такая случайность вполне допустима, а если n=2000, m=3000, то дело, скорее всего не в случайности. То же самое можно сказать и про доли, выраженные в %%, необходимые для проверки представленной выше гипотезы о целесообразности применения СО студентов ИТ. Предположим, что указанные выше выборочные средние баллы получились при n=20, m=30. Для доказательства неслучайности наших результатов по среднему баллу за тест мы должны отвергнуть гипотезу о том, что выборки {x₁, x₂, ..., x_n} и {y₁, y₂, ..., y_m} имеют одинаковое распределение. Именно для этого служат особые разновидности критериев проверки гипотез. В данном случае рациональнее использовать хи-квадрат, поскольку баллы - это дискретные случайные величины. Эти критерии в качестве исходных данных используют непосредственно сами выборки целиком, а в результате расчетов выдают лишь одно число - уровень значимости u, например u=0.043. Уровень значимости - это вероятность того, что мы допустили ошибку, отвергнув гипотезу, которая на самом деле была верна. В данном случае, отвергнув, что выборки разные, мы могли допустить ошибку, но вероятность этого не превосходит 0.043. Если бы объемы выборок n, m были больше, то уровень значимости u скорее всего получился бы меньше, а значит было бы весомей предположение о том, что экспериментальная методика хороша. Обычно для исследований в области образования считается приемлемым u£0.05.

В случае приведенной выше нашей гипотезы, доли, выраженные в %% - это непрерывные случайные величины. Поэтому для подсчета уровня значимости u мы используем разновидность критерия Колмогорова-Смирнова (для двух независимых выборок). Его часто называют критерием Смирнова [7]. Он состоит в следующем. Имеются две непрерывных случайных величины x и y. В ходе проверки мы хотим отвергнуть гипотезу о том, что их вероятностные распределения одинаковы. Пусть у нас имеются соответствующие выборки x₁ ... x_n и y₁ ... y_m. Пусть F_n(z) и G_m(z)  - их выборочные функции распределения. Вычисляется статистика Z_nm=sup|F_n(z)-G_m(z)|. Вероятностное распределение Z_nm хорошо изучено. Зная Z_nm, n, m, можно найти и искомый уровень значимости u, при котором отвергается гипотеза.

Данные методики и инновационные подходы обработки данных экспериментов в области образования по автоматизации систем управления вузом и обучением информационным технологиям в высшей школе, на наш взгляд, более корректно и адекватно удовлетворяют требованиям научного подхода. В нашем случае студенты КУГ и ЭУГ – это разные люди. Студенты, изучающие ту же самую дисциплину в 2003-2004 уч. г. и в 2005-2006 уч. г. – это тоже разные люди. Поэтому мы говорим о независимых выборках. Однако, если мы сравниваем, например, количество опозданий на занятия той же самой группы студентов до воспитательной беседы и после нее, то это уже сравнение двух зависимых выборок. Тогда используются разновидности тех же самых критериев для зависимых выборок. В некоторых случаях возможно применение параметрических критериев, к которым относится и t-критерий Стьюдента. Суть параметрических методов состоит в том, что мы знаем вид вероятностного распределения случайных величин из нашего эксперимента. И если мы определим еще 2-3 числа, то мы о распределении будем знать практически вообще все. Эти числа - параметры распределения этого вида. Например, t-критерий Стьюдента изначально предполагает, что две сравниваемые величины имеют нормальное распределение с равными дисперсиями, поэтому достаточно отвергнуть гипотезу о том, что их математические ожидания равны. По приведенным выше основаниям – это в системах управления вузом и обучением информационным технологиям в высшей школе, по крайней мере, очень редкий случай, если не невозможный вообще. Хотя в принципе современный компетентностный подход в частности предполагает возможность выбора адекватных показателей самим исследователем для обоснования целесообразности внедрения предлагаемой им новации. От него при этом требуется хорошо разбираться в математической статистике.

Теперь несколько слов о компьютерной реализации упомянутых выше критериев и инновационных подходов в области обработки данных экспериментов по автоматизации систем управления вузом и обучением информационным технологиям в высшей школе. Хи-квадрат и t-критерий Стьюдента могут быть достаточно просто реализованы в среде электронных таблиц, например, в MS Excel, без применения программирования. Для критериев Манна-Уитни, Мозеса, Уальда-Вольфовица без простейших приемов программирования уже не обойтись. Все эти методы достаточно широко распространены в медицине, технике, биологии, психологии, системе образования уже несколько десятилетий. Методы Колмогорова-Смирнова и другие современные статистические методы могут быть реализованы с помощью достаточно сложных методов программирования, например, с помощью VBA в MS Excel или без программирования с помощью профессиональных статистических пакетов прикладных программ, содержащих почти все известные статистические методы. Среди подобных пакетов для MS Windows наиболее известны SPSS, Statgraphics и Statistica. Поскольку российские вузы в настоящее время используют, как правило, лицензионное программное обеспечение, то следует заметить, что эти статистические пакеты значительно дороже MS Windows и MS Office. При этом если Microsoft предоставляет значительные скидки для учебных заведений на свое программное обеспечение, то производители статистических пакетов это часто фирмы, не дающие льготных цен вузам за исключением фирмы IBM, которая в настоящее время владеет пакетом SPSS и предоставляет значительные скидки учебным заведениям.

Литература

1. Матвеев Н.М., Фокин Р.Р. Особенности статистической обработки результатов педагогических экспериментов. // Телекоммуникации, математика и информатика – исследования и инновации. Выпуск 6. Межвузовский сборник научных трудов. – СПб: ЛГОУ им. А.С. Пушкина, 2002. - С.11-13

2. Пойа Д. Математика и  правдоподобные рассуждения.- М.: Наука, 1975.

3. Абиссова М.А., Фокин Р.Р. Сервисы обучения информатике и информационным технологиям в высшей школе: Монография. / М.А. Абиссова, Р.Р. Фокин - СПб: изд-во СПбГУСЭ, 2010

4. Абрамян Г.В., Фокин Р.Р. Метамодель обучения информационным технологиям в высшей школе: Монография. / Г.В. Абрамян, Р.Р. Фокин - СПб: изд-во СПбГУСЭ, 2011

5. Боровиков В. STATISTICA. Искусство анализа данных на компьютере: Для профессионалов. 2-е изд. - СПб: ПИТЕР, 2003.

6. Леонов В.П., Ижевский П.В. Применение статистики в статьях и диссертациях по медицине и биологии. 1.Описание методов статистического анализа в статьях и диссертациях. // Международный журнал медицинской практики. 1998. Вып. 4. С.7-12

7. Справочник по прикладной статистике: В 2 т. - Т.2. / под ред. Ллойда Э., Ледермана У., Тюрина Ю.Н. - М.: Финансы и статистика, 1990.

Рекомендовано к публикации
А.А.Ахаян, доктор педагогических наук, член Редакционной Коллегии

_____

Gennady V. Abrahamian
Doctor of pedagogical sciences, Professor of the department "Applied information technology", St. Petersburg State University of Service and Economics, St.Petersburg
AbrGV@rambler.ru

Roman R. Fokin
Doctor of pedagogical sciences, Professor of the department of "Applied information technology", St. Petersburg State University of Service and Economics, St.Petersburg
RRFokin@rambler.ru

Marina A. Abyssova
Candidate of pedagogical sciences, Associate Professor of the department "Applied information technology", St. Petersburg State University of Service and Economics, St.Petersburg
MarAbyss@rambler.ru

Innovative approaches in the field of processing experimental data on the automation of the systems of University management and of training of information technologies in the higher school

Discusses a number of new methods of processing experimental data on the automation of the systems of University management and training of information technologies in the higher school, are concrete examples of the use of these methods the authors of the article for a substantiation of expediency of practical application of innovations in the field of data processing of educational experiments in teaching students of information technology.

Key words:
service-learning, information technologies, automation of control systems of the University, the teaching of information technology in higher education, processing of experimental data on the automation of universities, the experimental group and the control group, the statistical hypothesis, nonparametric the criteria.