Крымский студент обучил нейросеть распознавать язык жестов

Система с помощью камеры распознает жесты и выводит буквы на экран. На данный момент она способна распознавать более 30 знаков. На каждую букву приходится от 100 до 200 примеров жестов от разных людей, снятых с разных камер и ракурсов.

Студент Таврического колледжа, лаборант «ФабЛаб» Крымского федерального университета (КФУ) имени В.И. Вернадского Денис Щербаков разработал систему для распознавания жестового языка. Как сообщила пресс-служба вуза, проект Дениса Щербакова включает в себя три системы распознавания жестов, одна из них построена на основе нейросети.

Программа распознает жесты посредством камеры и выводит буквы на экран. На данный момент она обучена распознавать более 30 знаков. Денис Щербаков использовал датасет – базу данных, на основе которой обучается нейросеть. С ее помощью он научил нейросеть распознавать дактильную азбуку – это побуквенный языка жестов.

«Я обучал нейросеть на протяжении недели, экспериментировал с разными архитектурами. Зная дело, я смог подобрать нужную архитектуру, сделать датасет для нейросети и обучить ее всему тому, что нужно», – пояснил студент.

Как рассказали в КФУ имени Вернадского, для обучения нейросети использовалась система, состоящая в сравнении координат – костяшек руки. Еще использовались специальные функции, дескрипторы многоугольника, который составляла рука. Щербаков путем математики и алгоритмов создал датасет, с помощью которого можно идентифицировать жест. По словам Дениса, одним из самых сложных в работе было именно создание датасета.

Студент пояснил, что чем больше датасет, тем лучше можно обучить нейросеть. В датасете, на основе которого разрабатывалась система, на каждую букву приходится от 100 до 200 примеров жестов от разных людей, снятых с разных камер и ракурсов. «Я просил окружающих делать жесты дактильной азбуки на камеру, чтобы увеличить датасеты и научить нейросеть», – отметил разработчик.

Стоит добавить, что студент помимо разработки системы распознавания жестов, увлекается программированием, моделированием и кинематографом, работает с 3D-печатью.