Управление жестами: студент НГУ создал программу для бесконтактной работы с гаджетом

Студент 4 курса Механико-математического факультета НГУ создал программу Gesys, которая позволяет обойтись без мыши, трекпада и другие способов контактного взаимодействия с техникой. Управлять ноутбуком и компьютером можно, жестикулируя перед камерой.

Изобретение Артема Летягина распознает и преобразует в команды для компьютера жесты пользователя. Оно актуально в разных областях – в частности, как тренажер для обучения жестовому языку. Автор разработки победил в федеральном конкурсе «Студенческий стартап», выиграв 1 млн рублей на развитие своего проекта. По его словам, программа открывает много новых возможностей. В настоящее время Артем работает над расширением Google Chrome, чтобы в будущем выйти за пределы этого браузера и дать возможность пользователю взаимодействовать непосредственно с интерфейсом компьютера.

Рынок уже предлагает решения для распознавания жестов, однако они все привязаны к определенному устройству, могут работать лишь с ограниченным числом программ либо выступают частью цифровой экосистемы. Студент НГУ предлагает программу для управления жестами, которую легко встроить в любое устройство с камерой и которую можно использовать на любой платформе. Как рассказал Артем, на проект его вдохновил фильм «Железный человек» – сценами, где главный герой работает в мастерской без мышки и клавиатуры. В жизни удобно работать с гаджетами с помощью жестов – когда, например, руки заняты приготовлением еды или просто мокрые. Кроме того, программа востребована в профессиях, в которых требуется управлять устройствами, а руки заняты. Это может быть медицина или строительство – в этих сферах многим приходится работать в перчатках.

Грантовые средства Артем рассчитывает направить на поддержку команды разработчиков. Ему предстоит тестировать программу на разных устройствах, так что часть денег потратит на комплектующие. Это позволит создать технологию, которую можно встроить в любое устройство с видеокамерой. На данном этапе Gesys довольно точно распознает 4 статических жеста. Она существует как программа на языке Python, как расширение в Chrome и как приложение на Windows. Со временем функционал будет расширен, а методы работы ИИ для распознавания динамических жестов станут лучше. Так что программа станет работать на других платформах и браузерах и взаимодействовать со всеми интерфейсами ПК на базе Windows, Linux и macOS. Как сообщает сайт Новосибирского госуниверситета, протестировать технологию может любой желающий. В качестве программы на языке Python и расширения в Chrome, она имеет около 50 скачиваний в неделю.