Письма в

 Эмиссия.Оффлайн

2024

 The Emissia.Offline Letters           Электронное научное издание (педагогические и психологические науки)  

Издается с 7 ноября 1995 г.  Учредитель:  Российский государственный педагогический университет им. А.И.Герцена, Санкт-Петербург

ART  3392

 2024 г., выпуск  № 7 (июль)


Ссылаться на эту работу следует следующим образом:
С.Н.Викжанович, Н.А.Коновалов. Использование технологии компьютерного зрения при реализации образовательной платформы "Дактильная речь" в дистанционном обучении студентов дефектологического профиля // Письма в Эмиссия.Оффлайн (The Emissia.Offline Letters): электронный научный журнал. 2024. №7 (июль). ART 3392. URL: http://emissia.org/offline/2024/3392.htm

_________ Шифр научной специальности 5.8.3

Викжанович Светлана Николаевна
кандидат педагогических наук, доцент, Омский государственный педагогический университет, г. Омск
vikzhanovich@omgpu.ru

Коновалов Николай Александрович
магистрант программы "Управление цифровым продуктом", Национальный исследовательский университет "Высшая школа экономики", г. Москва
nikoli-na99@mail.ru


Использование технологии компьютерного зрения при реализации образовательной платформы "Дактильная речь" в дистанционном обучении студентов дефектологического профиля

Аннотация
В статье раскрыты результаты апробации образовательной платформы «Дактильная речь», а так же освещены преимущества и перспективы использования платформы для педагогов и студентов дефектологических профилей. Высказывается предположение о том, что образовательная платформа дополняет и оптимизирует дистанционное обучение по дисциплине «Дактилология. Жестовая речь».

Ключевые слова: виртуальные тренажеры, нейросети, дистанционное обучение, дактильная речь.

----------------

Svetlana N. Vikzhanovich
Candidate of Pedagogical Sciences, Docent, Omsk State Pedagogical University, Omsk
vikzhanovich@omgpu.ru

Nikolay A. Konovalov
Master's Student of the Program "Digital Product Management", HSE, Moscow
nikoli-na99@mail.ru


The use of computer vision technology in the implementation of the educational platform "dactylic speech" in distance learning of students of defectological profile

Abstract
The article reveals the results of the testing of the educational platform "Dactylic speech", as well as highlights the advantages and prospects of using the platform for teachers and students of defectological profiles. It is suggested that the educational platform complements and optimizes distance learning in the discipline "Dactylology. Sign language".

Key words: virtual simulators, neural networks, distance learning, dactylic speech.

----------------

С точки зрения фундаментальных и прикладных теорий, на современном этапе подготовки обучающихся в высших учебных заведениях, активно развиваются технологии компьютерного зрения, как научного направления в области искусственного интеллекта [1]. Использование нейросетей, облачных вычислений при создании образовательных платформ, рассматривается в качестве одной из приоритетных задач в обучении студентов дефектологических профилей [2].

Наряду с другими предметами практической направленности, заявленных в учебных планах направления "Специальное дефектологическое образование", дисциплина "Дактилология. Жестовая речь" в условиях дистанционного обучения, без наличия специальных качественных образовательных продуктов становится весьма проблематичной для восприятия обучающимися. Основными показателями данного тренда становится реализация следующих профессиональных компетенций в условиях дистанта:

  • усовершенствование процесса преподавания дисциплины «Дактилология. Жестовая речь»;
     
  • повышение у обучающихся уровня их критического анализа и синтеза при получении информации о технике дактилирования с помощью виртуального тренажера;
     
  • становление у обучающихся качественных знаний при овладении прикладными программными средствами, применяемыми в сфере профессиональной деятельности будущего дефектолога.

Ведущие отечественные сурдопедагоги (Л.П. Носкова, Н.Д. Соколова, О.П. Гаврилушкина и др.) отмечали эффективность процесса обучения дактилированию, которая обеспечивается визуальным контролем обучающегося за движениями рук преподавателя и точным калькированием его пальцевых манипуляций. Дактилология является наукой об обучении ручной азбуке, или дактильному алфавиту. Русский дактильный алфавит воспроизводится пальцами либо левой, либо правой руки, т.е. является одноручным в отличие от английского варианта [3]. Л.С. Димскис отмечает, что при самостоятельном восприятии рисунка дактилемы студент, как правило, ошибочно распознает движения кисти и пальцев ведущей руки, в этом случае кинетически дактилема воспроизводится неверно. В качестве популярного типа ошибочного дактилирования можно определить нарушение статичности движения кисти. Так, в процессе тренировочных упражнений отрабатывается четкость движения пальцев ведущей руки при дактилировании [4].

В условиях очного формата обучения будущий дефектолог имеет возможность наблюдать за созданием дактилемы педагогом, но при выполнении тренировочных упражнений в дистанционном формате испытывает трудности в слиянии дактилем в слоги, дактилировании слов, предложений и текстов.

Вышеперечисленные проблемы способна решить специализированная образовательная программа "Дактильная речь", созданная в формате виртуального тренажера для освоения навыков овладения дактилированием.

В основе данной образовательной программы используется нейронная сеть MediaPipe Hands, разработанная компанией Google. Отметим, что нейронная сеть способна воспринимать форму и движение рук, а также адаптирована для работы на мобильных устройствах, что дает ряд преимуществ: отсутствие потребности в применении вычислительных ресурсов, а также обеспечение конфиденциальности при использовании учебной платформы. Следует отметить, что изображение, полученное с веб-камеры пользователя, обрабатывается локально в браузере и не передается на сторонние сервера.

MediaPipe использует несколько MLмоделей, работающих вместе. Первая модель направлена на обнаружение ладони. Обозначенная модель работает с полным изображением и позволяет распознать местонахождение руки в кадре и выделяет условную область кисти. Вторая модель работает с выделенной областью и позволяет распознать в пространстве двадцать одну точку координат суставов руки.

Полученные координаты сопоставляются с координатами суставов руки при демонстрации определенной дактилемы, что позволяет получить коэффициент соответствия. Чем выше коэффициент, тем точнее сходство с конфигурацией пальцев при дактилировании. При достаточной корреляции координат, с заранее записанными координатами жестов, дактилема считается успешно воспроизведенной, так происходит переход к валидации следующей дактилемы. После успешного воспроизведения студентом всех дактилем, блок заданий считается завершенным, далее происходит переход к следующему блоку заданий.

В рамках этапа оформления образовательной платформы "Дактильная речь" были разработаны различные интерфейсы с элементами графического дизайна: страница регистрации и авторизации, страница личного кабинета студента и преподавателя, страницы отдельных упражнений, а также ряд страниц для администрирования. Для сохранения прогресса, достигнутого во время выполнения упражнений, обучающемуся необходимо провести авторизацию в веб-приложении, студент должен предварительно самостоятельно зарегистрироваться на сайте или воспользоваться специальной ссылкой, подготовленной преподавателем заранее. Для преподавателей предусмотрен интерфейс с административной панелью, в которой имеются возможности: создание группы студентов, получения ссылки для регистрации, контроль прогресса обучающихся, возможность предоставления доступа к финальному экзамену. После выполнения всех заданий данная функциональность призвана минимизировать возможность обхода правильного выполнения упражнения со стороны студентов и позволяет преподавателю произвести контроль во время сдачи экзамена.

Регистрация является общедоступной как для студентов так и для преподавателей. Для возможности демонстративного доступа или индивидуального (самостоятельного) изучения создана группа «Изучаю самостоятельно». Разграничение прав доступа осуществляется на этапе регистрации. Преподаватель имеет возможность администрировать только ту группу, которую он создал. Если была создана учетная запись преподавателя, то после регистрации происходит переадресация на административную панель, где в дальнейшем создается новая учебная группа.

В случае если пользователь зарегистрировался в роли студента или в роли «Изучаю самостоятельно» открывается экран со списком заданий. После регистрации в роли студента, происходит переход на экран выбора упражнений, на экране можно выбрать нужное упражнение и выполнить его. Следует отметить, что на экране присутствует информация о студенте и его прогрессе. Сразу после выбора упражнения открывается окно с учебной задачей. Для корректной работы программы необходимо предоставить доступ к веб-камере устройства. На экране большую часть пространства занимает изображение, транслируемое с веб-камеры, на изображение кисти руки накладывается сетка суставов и костей. В верхней части экрана располагается шкала прогресса прохождения данного задания, в правой части экрана находится поле со словами и предложениями, которые необходимо продактилировать. После успешного воспроизведения дактилемы, соответствующая ей буква подсвечивается зеленым цветом, далее происходит переход к главному экрану, прогресс засчитывается. При авторизации в роли преподавателя, главный экран отображает список созданных учебных групп. На экране можно перейти к детальному просмотру группы, архивировать её или добавить новую. В представленном окне присутствует информация о студентах – номер группы, id, ссылка для быстрой регистрации, которая может быть предоставлена студентам. Информация о студентах включает: ФИО, адрес электронной почты, количество пройденных уроков и упражнений (прогресс), наличие доступа к зачету/экзамену, автоматически выставляется итоговая оценка за экзамен. У преподавателя есть возможность «открыть доступ к экзамену для всех студентов». При использовании режима архивирования группы, учетная запись перестает быть активной, студенты больше не могут проходить задания и набирать баллы. Архивирование и последующее блокирование учетных записей студентов позволяет остановить доступ после наступления дедлайна.

Описанная обучающая платформа, базируется на классической системе дактилирования и построена в соответствии с рабочей программой дисциплины «Дактилология. Жестовая речь», раздела «Дактильная речь».

Обучающая технология включает в себя два раздела: теоретический и практический. Теоретический раздел включает три этапа: лекционный, видеотренинговый, терминологический.

Лекционный этап направлен на ознакомление студентов с основной теоретической информацией по дисциплине «Дактилология. Жестовая речь» (раздел «Дактильная речь»). В процессе работы студентам предлагается познакомиться с особенностями образовательной платформы (пройти регистрацию, научиться настраивать Web камеру, рассмотреть личный кабинет и разобраться в его устройстве), а так же изучить дактилологию в информационном, культурно - историческом контексте (история дактилологии, классификации дактильных систем, дактильная речь как средство коммуникации).

После выполнения теоретического тестирования по лекционным материалам, студенты в личном кабинете переходят на следующий,  видеотренинговый  этап данного раздела. Целью этого  этапа является знакомство с различными видами дактилем, их конфигурациями и выполнение теоретических заданий по просмотренным видеоматериалам. В соответствии с инструкцией, предлагаемой в заданиях, студенты изучают русский дактильный алфавит, проводят его анализ, а затем просматривают видеоролики. В рамках выполнения заданий данного этапа студенты совершенствуют умение воспроизводить дактилемы.

Терминологический этап необходим для повторения ранее усвоенных терминов, а так же для подготовки к терминологическому диктанту. Структура представляет собой тезаурус основных терминов. Студентам предлагаются понятия, которые нужно запомнить и воспроизвести в формате диктанта. Результаты тестирования фиксируются программой, если баллы, полученные за терминологический диктант, будут меньше установленного порога, студенту нужно вернуться на предыдущий уровень. Задача преподавателя заключается в проверке предоставленных студентами ответов на задания.

Практическое обучение, которое базируется на научных трудах Г.Л.Зайцевой и Ю.Д. Крылатова в рамках образовательной платформы содержит четыре этапа работы и реализуется на семинарских занятиях и в самостоятельной работе студентов [5, 6].

Резюмируя вышесказанное отметим, что в процессе практического обучения студентов с помощью платформы "Дактильная речь" проходит групповая и индивидуальная работа, в процессе которой обучающиеся имеют возможность познакомиться с техникой дактилирования, автоматизировать данный навык и в конечном итоге не испытывать сложностей в организации учебного процесса с лицами, имеющими грубые нарушения слуховой функции.


Литература

  1. Намаканов Б.А. Дистантное обучение как современная концепция образования // Наука и школа. 2014. № 1. С. 127–131.

  2. Норкина Е.Н. Подготовка будущих педагогов-дефектологов к использованию компьютерных технологий обучения в профессиональной деятельности. Йошкар-Ола. 2013. – 235 с.

  3. Носкова Л.П., Соколова Н.Д., Гаврилушкина О.П. Символизация как компонент языковой способности // Дошкольное воспитание аномальных детей, под редакцией Л.П. Носковой. Москва. Просвещение, 1993. С 39-42.

  4. Димскис Л.С. Система обучения жестовой речи студентов – дефектологов. Минск. 2000. 131 с.

  5. Зайцева, Г.Л. Жестовая речь в системе обучения и воспитания взрослых глухих. Москва. 1988. 159 с.

  6. Крылатов, Ю.Д. Азбука чутких рук. Москва.ИНФРА-М, 2019. 66 с.

Рекомендовано к публикации:
Е.И.Осташева, кандидат психологических наук, приглашенный эксперт

Literature

  1. Namakanov B.A. Distantnoe obuchenie kak sovremennaya koncepciya obrazovaniya // Nauka i shkola. 2014. № 1. S. 127–131.

  2. Norkina E.N. Podgotovka budushchih pedagogov-defektologov k ispol'zovaniyu komp'yuternyh tekhnologij obucheniya v professional'noj deyatel'nosti. Joshkar-Ola. 2013. – 235 s.

  3. Noskova L.P., Sokolova N.D., Gavrilushkina O.P. Simvolizaciya kak komponent yazykovoj sposobnosti // Doshkol'noe vospitanie anomal'nyh detej, pod redakciej L.P. Noskovoj. Moskva. Prosveshchenie, 1993. S 39-42.

  4. Dimskis L.S. Sistema obucheniya zhestovoj rechi studentov – defektologov. Minsk. 2000. 131 s.

  5. Zajceva, G.L. ZHestovaya rech' v sisteme obucheniya i vospitaniya vzroslyh gluhih. Moskva. 1988. 159 s.

  6. Krylatov, YU.D. Azbuka chutkih ruk. Moskva.INFRA-M, 2019. 66 s.
     


Copyright (C) 2024, Письма в Эмиссия.Оффлайн (The Emissia.Offline Letters): электронный научный журнал
ISSN 1997-8588 (
online). ISSN 2412-5520 (print-smart), ISSN 2500-2244 (CD-R)
Свидетельство о регистрации СМИ Эл № ФС77-33379 (000863) от 02.10.2008 от Федеральной службы по надзору в сфере связи и массовых коммуникаций
При перепечатке и цитировании просим ссылаться на " Письма в Эмиссия.Оффлайн
".
Эл.почтаemissia@mail.ru  Internet: http://www.emissia.org/  Тел.: +7-812-9817711, +7-904-3301873
Адрес редакции: 191186, Санкт-Петербург, наб. р. Мойки, 48, РГПУ им. А.И.Герцена, корп.11, к.24а
Издатель: Консультационное бюро доктора Ахаяна [ИП Ахаян А.А.], гос. рег. 306784721900012 от 07,08,2006.

Рейтинг@Mail.ru

    Rambler's Top100