Управление взглядом

Еще не так давно понятие «управлять взглядом» было чем-то из области фантастики. Это относилось скорее к сказкам и мифам, чем к возможностям науки. Но сегодня такие технологии уже почти повседневная реальность. Так, специалисты Московского государственного психолого-педагогического университета (МГППУ) предложили способ управлять компьютерными системами с помощью магнитных полей, отслеживающих движения глаз.

Взять хотя бы ту же биометрию. Сканирование взгляда уже вовсю используется для управления смартфонами и охранными системами. Если верить СМИ, то в недалеком будущем мы сможем использовать взгляд вместо банковской карты, расплачиваясь за товары и услуги: его просто «привяжут» к нашему банковскому аккаунту.

Вообще-то функция «управление глазами» даже включена в стандартный набор специальных возможностей одной из самых распространенных сегодня операционных систем – Windows 10. Это подходит, к примеру, людям с инвалидностью, которым сложно пользоваться стандартными манипуляторами, такими как клавиатура, мышь или тачскрин. Для этого необходимо подключить к компьютеру, ноутбуку или планшету специальное устройство под названием «айтрекер», которое «вычисляет» положение зрачков пользователя и таким образом определяет, куда именно тот смотрит на экране.

Задержки взгляда на иконках, клавишах или ссылках, таким образом, приравниваются к стандартным «кликам» или касаниям пальцем. Однако это не всегда удобно, так как иногда пользователю требуется просто что-то рассмотреть, а не щелкнуть по иконке. Понятно, что такие непреднамеренные «клики» делают работу с гаджетом не слишком продуктивной.

Еще в 2014 году сотрудники МГППУ при поддержке Российского научного фонда и совместно с коллегами из Национального исследовательского центра «Курчатовский институт» начали работу над проектом, целью которого было улучшить распознавание взгляда при управлении электронными устройствами.

В рамках экспериментов участникам было предложено играть в специально разработанную модификацию компьютерной игры «Линии», где ходы делаются с помощью задержек взгляда. В ходе игры исследователи посредством магнитоэнцефалографии (МЭГ) регистрировали слабые магнитные поля, возникающие в процессе работы мозга. На основе анализа траекторий взгляда полученные данные разделили на две группы: соответствующие тем задержкам, с помощью которых делались ходы, и тем, которые предположительно совершались непроизвольно.

Благодаря применению искусственных нейросетей, разработанных выпускником Санкт-Петербургского государственного университета, а ныне аспирантом Университета Аальто (Финляндия) Иваном Зубаревым, компьютеры удалось научить различать разницу во взглядах.

«Мы пытаемся научиться на лету определять, является ли задержка взгляда намеренной или непроизвольной, – прокомментировал руководитель исследования, ведущий научный сотрудник МЭГ-центра Сергей Шишкин. – Для этого мы применяем технологию «интерфейс мозг-компьютер» (ИМК). В ее основе классификация сигналов мозгового происхождения, которые возникают, когда пользователь ИМК выполняет определенные мысленные действия.

Довольно многие исследователи пытались объединить ее с глазоуправлением – так мы для краткости называем управление с помощью взгляда. Но эта комбинация взгляда и ИМК оказывается крайне неудобной, ведь ИМК работает медленно, и пользователю приходится каждый раз надолго задерживать взгляд. К тому же мысленные действия, нужные для ИМК, довольно плохо сочетаются с намеренной задержкой взгляда.

Мы используем гораздо более естественный подход: пользователю достаточно лишь задерживать взгляд, и само это действие, как оказалось, уже изменяет рисунок мозговых сигналов так, что намерение «кликнуть» удается распознать».

По словам одного из авторов исследования – старшего научного сотрудника МЭГ-центра МГППУ Анастасии Овчинниковой, высокая точность при идентификации задержек взгляда пользователя пока еще не достигнута. «Это прежде всего связано, по-видимому, с тем, что во время эксперимента не удается записать достаточно много данных для обучения нейросетей, – считает Овчинникова. – Эта проблема часто возникает, когда для классификации мозговых сигналов используют глубокие искусственные нейронные сети, подобные тем, которые использовали мы. В настоящее время мы работаем над задачей расширения выборки МЭГ-данных, используемых в классификации».

Выяснилось, что точность распознавания повышается, если обучать нейросеть на большом объеме данных, взятых у одного и того же испытуемого во время нескольких сеансов игры. Но поскольку неоднократное участие добровольцев в эксперименте представляет собой определенную сложность, ученые занимаются поиском и альтернативных решений.

«Мы уже выяснили в наших предыдущих исследованиях, проводившихся на базе Курчатовского института, – говорит Сергей Шишкин, – что у намеренных задержек взгляда при глазоуправлении есть специфический портрет в электрических потенциалах, генерируемых мозгом, то есть в электроэнцефалограмме (ЭЭГ). Однако он не напрямую связан с намерением или с удержанием взгляда.

То, что мы при глазоуправлении видим в ЭЭГ во время намеренных задержек взгляда, – это так называемая волна ожидания. Она говорит о том, что человек чего-то ждет. Очевидно, в данном случае он ждет, когда компьютер сработает на «клик», например выделится шарик, на который смотрит участник эксперимента. Но в данных МЭГ мы видим совсем другой рисунок работы мозга. По-видимому, он связан с намеренным удержанием взгляда в одном месте.

Так или иначе напрашивается возможность объединить данные ЭЭГ и МЭГ и за счет этого дополнительно повысить точность классификации. В итоге мы можем получить очень эффективный гибридный интерфейс для взаимодействия с компьютером. Возможно, он когда-нибудь окажется полезным не только для инвалидов».

Лада КОВАЛЕНКО