Когда мы читаем про себя, то не произносим никаких звуков. Тем не менее наши голосовые мышцы все равно двигаются, хоть и не так заметно, как в случае чтения вслух. Недавно специалисты из Калифорнийского университета (Беркли) разработали алгоритм, который может считывать эти мышечные сокращения.
В самой идее считывания речи при отсутствии звука, собственно, нет ничего нового. Ведь способны же глухонемые читать по губам! Да, здесь задействованы несколько иные механизмы, но понять суть прочитанного все-таки можно.
Процесс сокращения мышц при чтении про себя носит название «субвокализация». И в принципе можно расшифровывать эти движения при помощи электромиографии – метода, позволяющего регистрировать электрическую активность мышц, прикрепив к лицу и шее чтеца электроды.
Но увы, пока такие системы довольно несовершенны. Так, интерфейсы для распознавания субвокализации, существующие на сегодняшний день, способны превращать беззвучную речь только в текстовые файлы.
Американские ученые решили пойти дальше и добиться аудиозвучания. Они обучали искусственный интеллект на трех типах данных: это аудиозаписи слышимой речи и активность мышц в двух случаях – когда человек говорит или же читает про себя.
На первом этапе алгоритм находит оптимальное соответствие между двумя исходными сигналами, один из которых связан со слышимой, а другой – с неслышимой речью. На втором этапе он преобразует слышимую речь в неслышимую. Это необходимо для обучения нейросети, которая в свою очередь получает на вход не три сигнала, а всего один – электромиограмму неслышимой речи.
Для этого используется рекуррентная нейросеть с долгой краткосрочной памятью. Данные, полученные на выходе из нее, передаются в другую нейросеть – WaveNet, которая наконец декодирует их в обычную аудиозапись человеческого голоса.
В процессе обучения инженеры собрали датасет из 20 часов записи как слышимой, так и беззвучной речи, представленной в виде трех упомянутых типов данных. После того как алгоритм прошел обучение, разработчики проверили, насколько понятен смысл сгенерированных записей.
Они учитывали вероятность погрешности – совокупность слов, которые могли быть искажены, отсутствовали или являлись лишними. Их количество было поделено на общий объем текста.
В итоге если нужно было распознать простые фразы, даты или числа, то для полноценной нейросети вероятность ошибки составила 3,6%, а для той, которой предлагалась лишь слышимая речь, – 88,8%. Для сложных фраз, например отрывков из книг, это соотношение равнялось 74,8 к 95,1 при проверке человеком и 68 к 91,2 при проверке системой распознавания речи Mozilla DeepSpeech.
Где бы такая методика могла найти применение? Ну, прежде всего в криминалистике. Например, вам нужно проследить за человеком, читающим записку или сообщение, которые вы не можете увидеть. С помощью специального приложения вы легко сможете узнать содержание текста.
Кстати, уже существуют технологии, позволяющие считывать даже не слова, а мысли! Так, в 2008 году корпорация NeuroSky выпустила устройство, работавшее с помощью функциональной магнитно-резонансной томографии.
Компьютер «обучили» с высокой точностью распознавать 60 мозговых шаблонов, связанных с существительными. Также он продемонстрировал способность распознавать слова, изображенные визуально на картинках.
В 2010 году «считыватель мозговых волн» был впервые внедрен в мобильный телефон. Он определял, кому именно хочет позвонить пользователь, и выводил на экран номер нужного абонента. Правда, при этом приходилось совершать небольшое физическое движение, скажем, подмигивать аппарату…
Еще одна разработка, появившаяся в 2013 году, позволяла считывать из мозга музыкальные композиции Бетховена и проигрывать их.
Несколько лет назад специалисты Медицинского центра Олбани (США) и лаборатории Cognitive Systems Lab Технологического института Карлсруэ (Германия) разработали технологию, позволяющую расшифровывать сигналы головного мозга и трансформировать их в текст.
Система Brain-to-Text была опробована на семи добровольцах, проходивших в клинике курс лечения от различных неврологических недугов, в том числе и эпилепсии. В ходе эксперимента участников просили читать вслух громким голосом текст, который представлял собой ограниченный набор определенных слов. В процессе чтения сигналы, поступающие от мозга, считывались компьютером с помощью ECoG-электродов, расположенных напротив лобных и боковых областей мозговой коры.
Затем компьютер анализировал их, используя специальные аналитические алгоритмы, и таким образом была получена наиболее вероятная последовательность сигналов, соответствующих тем или иным словам. Еще один алгоритм преобразовывал их в текстовой формат.
Правда, точность распознавания оставляла желать лучшего. Если пациент произносил слова достаточно четко, средняя погрешность составляла около 25%. Если же речь была нечеткой или неправильной, число ошибок увеличивалось до совершенно неприемлемого результата – 50%.
Между тем авторы разработки объясняют столь высокий процент ошибочного распознавания тем, что в исследовании использовалось обычное программное обеспечение, а не специализированные системы, «заточенные» именно под интерпретацию мозговых импульсов. Так что первоочередной целью сейчас является создание таких систем.
Если удастся разработать технологию, которая сможет распознавать «мысленную» или «беззвучную» речь с высокой точностью, это позволит наладить полноценное общение с людьми, которые не могут говорить или говорят плохо в силу различных причин, например с глухонемыми, заиками, косноязычными или теми, кто перенес инсульт…
Подобные системы могут найти применение и в других областях – той же криминалистике, например. Хотя не исключено, что придется решать проблему, насколько этично читать чужие мысли…
Лада КОВАЛЕНКО
Выбор читателей
Комментарии