Сильченкова Светлана Владимировна 
аспирант кафедры методики обучения математики, физики и информатики, Смоленский государственный университет, г. Смоленск
sil-sv@mail.ru 

Проверка статистической гипотезы в педагогическом исследовании с использованием информационных технологий 

Аннотация
В статье раскрывается алгоритм проверки гипотез с применением информационных технологий в педагогическом исследовании, рассматривается пример использования данного алгоритма при проверке гипотезы о различии уровня мотивации учеников к изучению предмета до и после применения какого-либо педагогического воздействия.  

Ключевые слова
анализ данных, проверка гипотезы, информационное сопровождение, статистические критерии, корреляционный анализ

В большинстве современных педагогических исследований присутствуют количественные данные, которые отражают абсолютные или ранжированные значения педагогических показателей (количество оценок, уровень обученности, количество пропущенных уроков и др.). Целью исследования количественно измеренного педагогического явления (например, успеваемости, мотивации, игровой культуры, воспитанности и др.) является проверка гипотезы о динамике данного явления в группе испытуемых или сравнении его уровня в разных группах. 

В связи с повышенным вниманием к анализу количественных данных, необходимо отметить, что в решении этой задачи педагоги-исследователи сталкиваются с объективными трудностями, связанными, с одной стороны, с недостатком специальной литературы, раскрывающей вопросы применения статистических методов в области педагогики, а с другой, с недоступностью изложения материала в имеющихся изданиях. Возможно, эти трудности связаны с тем, что методология отбора соответствующих  данных, выбора методов их анализа и интерпретации в области педагогики недостаточно разработана.  

Подтверждением этого предположения является зафиксированный Д. А. Новиковым факт недостаточного использования статистических методов в педагогических исследованиях. По данным ученого, из 118-ти диссертаций по педагогическим наукам, успешно защищенных в различных советах в 65-ти  вообще нет никаких упоминаний об обработке экспериментальных данных [1]. На ошибки в использовании педагогами статистических методов указывается в работах Гуртовой Н. Г. [2], Киселевой О. М. [3], и др. 

Целью нашего исследования является разработка методики анализа количественных данных в педагогическом исследовании с использованием статистических методов. Данная методика разработана на основе работ, описывающих использование статистических методов в педагогике и психологии [4-7]. Под методикой будем понимать совокупность методов, технических средств и условий их применения, а также способов обобщения полученных данных [8]. Особенностью предлагаемой методики является ее адаптивность для неподготовленного в области математической статистики пользователя. Данная методика состоит из нескольких алгоритмов, одним из которых является алгоритм проверки гипотез. 

Одним из видов гипотез, выдвигаемых в современных педагогических исследованиях, является статистическая гипотеза, т.е. предположение о наличии педагогического явления измеряемого количественно (например, успеваемости, посещаемости, мотивации к обучению) в группе испытуемых (воспитанников, педагогов).  

Приведем алгоритм проверки статистической гипотезы с применением информационных технологий и раскроем суть каждого этапа. 

Первый этап - формулировка статистической гипотезы. В педагогическом исследовании распространенными гипотезами являются следующие: конкретная методика преподавания дисциплины повысит успеваемость учащихся, или использование новой разработанной программы по дисциплине повысит уровень мотивации учащихся. Таким образом, педагогическая гипотеза в общем виде: какое-либо педагогическое воздействие на выборку испытуемых показало положительные (или отрицательные) результаты. 

Второй этап – выбор критериев проверки гипотезы. Критерий проверки гипотезы – это известная, обоснованная в математической литературе формула, по которой рассчитывается числовое значение явления. Для выбора критерия следует руководствоваться шкалой, в которой измерены данные педагогического исследования.  

Если данные измерены в шкале отношений (которая имеет абсолютный ноль), то согласно исследованиям в области математической статистики и работам [4-7] должен использоваться любой критерий из следующего списка: Стьюдента, Крамера-Уэлча, Вилкоксона-Манна-Уитни, χ², Колмогорова-Смирнова, Розембаума, биноминальный, знаков, Вилкокосона, Фишера. Выбор данных критериев обуславливается, прежде всего, правилами их вычисления: в формуле используется расчет средних арифметических значений или показателей вариации измеряемых величин. Как известно, рассчитать среднее значение можно только для количественных данных, имеющих определенные единицы измерения (минуты, штуки и др.), нельзя вычислить среднюю национальность или уровень воспитанности. В шкале отношений измерены возраст испытуемых, время выполнения заданий, стоимость (цена) учебных материалов, количество ошибок, объем заучиваемого материала в печатных листах, а также результаты  тестирования, когда коротко и точно сформулированы вопросы, задания, на которые учащийся должен дать краткие и однозначные ответы, в правильности (или неправильности) которых нельзя сомневаться.  

Если данные педагогического исследования измерены в порядковой шкале, должен использоваться один статистический критерий из следующего списка: χ², Розембаума, Колмогорова-Смирнова, биноминальный, знаков. Эти критерии используются, если измеряемая величина разбита на 3 и боле уровня (ранга), например, уровень мотивации учеников принимает 3 значения: высокий средний и низкий. Количество уровней измеряемой величины рекомендуется ограничить десятью. В порядковой шкале измеряются также школьные оценки в баллах. Частным случаем порядковой шкалы является дихотомическая шкала, в которой имеются всего две упорядоченные градации – например, «сдал экзамен», «не сдал». В этом случае согласно разработок в области математической и прикладной статистики нужно пользоваться статистическими критериями: χ², Фишера (φ), так как формулы для вычисления данных критериев содержат только две переменные (количество «положительных» наблюдений и количество «отрицательных» наблюдений). 

Третий этап - вычисляется фактическое (экспериментальное) значение выбранного статистического критерия по измеренным данным педагогического явления. Так как статистический критерий в узком смысле представляет собой формулу, часто довольно сложную,  для его расчета предлагаем воспользоваться информационным сопровождением. В электронных таблицах Excel 2007 существует возможность расчета параметрических критериев: двухвыборочный F-тест (Фишера), t-тест (Стьюдента) для сравнения средних двух выборок, z-тест для сравнения средних двух выборок. Более удобно осуществить проверку гипотез с помощью статистических пакетов Statistica, SPSS. Для обработки результатов психолого-педагогических исследований в настоящее время специализированных пакетов практически не разработано, исключение составляет программа «Педагогическая статистика», которая распространяется бесплатно через Интернет [9]. Она позволяет вычислить показатели описательной статистики и 4 наиболее популярных статистических критерия, сравнивающие две выборки: Крамера-Уэлча, Вилкоксона-Мана-Уитни, Фишера и Хи-квадрат (χ²) Пирсона. Программа снабжена подробным описанием, теоретической частью и позволяет освоить ее достаточно быстро. 

Четвертый этап – сравнение рассчитанного экспериментального критерия с теоретическим значением и формулировка вывода о подтверждении или опровержении гипотезы. Описанные выше программы выполняют данную операцию автоматически и дают конкретный результат: гипотеза подтвердилась либо нет. 

Например, имеются данные педагогического исследования об уровне мотивации учеников к изучению предмета истории до применения компьютерных презентаций для объяснения нового материала и после их применения на уроке (таблица 1). 

Таблица 1.  Уровень мотивации учеников к изучению истории

Уровень мотивации	Количество учеников
	До применения презентаций	После применений презентаций
высокий	12	14
средний	26	27
низкий	18	15
Всего:	56	56

 

Как видно из данной таблицы после педагогического воздействия уровень мотивации несколько повысился, но можно ли данное повышение считать статистически значимым и говорить об эффективности применения компьютерных презентаций учителем. Воспользуемся алгоритмом проверки гипотезы.

 

Сформулируем гипотезу: использование на уроке компьютерных презентаций действительно повышает мотивацию учеников к изучению предмета.  Для выбора критерия проверки гипотезы будем руководствоваться шкалой, в которой измерены данные педагогического исследования и наличием информационного сопровождения к данному критерию. Количественные данные ранжированы, следовательно, измерены в порядковой шкале (данную шкалу иногда называют шкалой рангов), выберем критерий Хи-квадрат (χ²), так как его можно вычислить в программах Statistica, SPSS, Педагогическая статистика.

 

Выберем программу «Педагогическая статистика» для расчета критерия и подтверждения или опровержения гипотезы (рис. 1).

Рис.1 Интерфейс программы Педагогическая статистика.

 

На рисунке видно, что выбрана порядковая шкала и критерий Хи-квадрат для проверки гипотезы, метод ввода данных – суммарные данные, в столбце «Значение» введены значения уровня мотивации учеников к изучению истории: высокий - 2, средний – 1, низкий – 0 (для каждого уровня можно выбрать и другое значение ранга, например, 1,2,3 или 0,10,100). Осталось осуществить анализ данных (вкладка анализ), в результате которого появилось сообщение: характеристики сравниваемых выборок совпадают на уровнен значимости 0,05. Это значит, что гипотеза не подтвердилась: уровень мотивации учеников до применения презентаций и после их применения одинаков. Небольшое повышение показателей не является статистически значимым, и говорить об эффективности презентаций в данном случае нельзя. Уровень значимости 0,05 является общепризнанным в педагогических исследованиях и говорит, что в расчетах допустима ошибка 5%.

 

 В программах Statistica, SPSS проверка гипотез проводится аналогично: индивидуальные эмпирические данные вводятся в столбик, из пункта меню «Анализ» выбирается критерий проверки гипотезы. Программы позволяют сделать вывод о сходстве или различии педагогических выборок по какому-либо признаку.  

Использование четкого алгоритма проверки гипотез и информационного сопровождения при анализе количественных данных педагогического исследования позволит педагогу выполнить анализ быстро, эффективно, исключить ошибки вычисления, повысить компетентность педагогов в данном вопросе.  

Литература

1. Новиков А. М. Количество и качество педагогических диссертаций в России, 2007  (электронный ресурс) / Научная он-лайн библиотека "Порталус". – URL: http://portalus.ru  . - [дата обращения: 18.05.2010]

2. Гуртовая Н.Г. Роль и место математической статистики в педагогических исследованиях: дисс. канд. пед. наук – Н.Новгород, 2004, 200с.

3. Киселева О.М. Применение методов математического моделирования в обучении: дисс. канд. пед наук  - Смоленск, 2007, 180с.

4. Глас Дж. Статистические методы в педагогике и психологии / Дж. Глас, Дж. Стенли. – М.: Прогресс, 1976. - 495 с.

5. Грабарь М. И., Краснянская К. А. Применение математической статистики в педагогических исследованиях: Непараметрические методы. М.: Педагогика, 1977. – 136 с.

6. Математические методы в педагогической теории и практике (измерения, вычисления, методы математического моделирования и статистики): Учебное пособие для вузов / Под ред. д.п.н., проф. Губы В. П., д.п.н., проф. Сенькиной Г. Е. – М.: «Принт-Экспресс», 2011. – 270 с.

7. Сидоренко Е. В. Методы математической обработки в психологии. – СПб.: ООО «Речь», 2003. – 350 с.

8. Педагогика: Учебное пособие для студентов педагогических учебных заведений. / В.А.Сластенин, И.Ф. Исаев И. и др. – М.: Школа-Пресс, 2002. – 576 с., С 118.

9. Институт проблем управления им. В. А. Трапезникова РАН, (электронный ресурс) /  Портал "Теория управления организационными системами". – URL: http://www.mtas.ru/practice/statist_metod.php  . - [дата обращения 24.08.2011]

Рекомендовано к публикации
Г.Е.Сенькина, доктор педагогических наук, научный руководитель работы
С.А.Писарева, доктор педагогических наук, член Редакционной Коллегии

Svetlana V. Silchenkova  
Postgraduate student, Department of teaching methods in mathematics, physics and computer science, Smolensk State University, Smolensk
sil-sv@mail.ru 

Testing of Hypothesis in Pedagogical Research using Information Technology

In this article we describe an algorithm for testing of hypotheses using information technologies in pedagogical research. We consider an example of using this algorithm for testing of hypothesis that students are differently motivated before and after a pedagogical action. 

Keywords: data analysis, statistical methods, information support, statistical criteria, correlation analysis.