Студенты НГУ создают прототип системы считывания сигналов с тела, позволяющую пользоваться протезами рук, как собственными руками

Прототип системы, которая будет собирать и объединять сигналы, полученные с тела человека методами электромиографии (ЭМГ) и электроэнцефалографии (ЭЭГ), и на их основе распознавать, какое движение он желает выполнить, разрабатывают студенты магистратуры Факультета информационных технологий Новосибирского государственного университета (ФИТ НГУ) Александр Сартаков и Павел Бортников под научным руководством ведущего аналитика Научно-технической проектной лаборатории «Инжевика», кандидата биологических наук Ивана Брака. Их разработка признана сделать управление протезом руки более естественным, быстрым, интуитивным и более приближенным к управлению собственной рукой по сравнению с ныне существующими современными высокотехнологичными бионическими устройствами.

— Большинство современных коммерческих протезов управляются довольно просто: человек напрягает одну или две мышцы предплечья, и протез реагирует на эти действия по заранее заданной схеме. По сути, это не полноценное «движение, как своей рукой», а переключение режимов через сокращение и расслабление мышц. Но тело человека генерирует гораздо больше информации о намерении движения, чем используется в таких системах. На сегодняшний день в реальных устройствах используется лишь малая часть того богатого сигнала, который дают мышцы, нервная активность и движения конечности. Они работают за счет считывания электрических импульсов (ЭМГ-сигналов), возникающих при напряжении мышц-антагонистов оставшейся части руки. Обычно это делается с задействованием двух каналов: один датчик считывает сгибание конечности, а другой — разгибание. Мы хотим увеличить количество каналов и выявить варианты возможности считывания других данных с человеческого тела с использованием ЭЭГ. Это представляется нам важным, поскольку сама мысль совершить то или иное движение рождается именно в головном мозге человека. В любом случае, чем больше каналов будет задействовано в передаче сигналов, тем больше поступит данных и появится больше возможностей их интерпретации, — рассказал Александр Сартаков.

Молодые ученые намерены задействовать от 6 до 18 каналов, передающих сигналы с руки пользователя протеза. При этом предполагается учитывать не только сам факт напряжения определенных мышц-антагонистов, но и его силу (интенсивность), что будет отражаться и на действиях устройства: например, станет возможным неполное сгибание или разгибание пальцев в той мере, которая требуется пользователю. Сейчас же вследствие ограниченного спектра данных, получаемых с небольшого количества датчиков, в большинстве возможны лишь полные действия — сгибание или разгибание, — но когда данных станет гораздо больше, у устройства появится возможность интерпретировать их разнообразнее и шире, и у протезов появятся новые возможности — они, «искусственные конечности», смогут принимать промежуточные состояния.

Усовершенствованию бионических протезов будет способствовать и задействование датчиков, считывающих сигналы головного мозга методом ЭЭГ.

— Мы ознакомились с уже существующими исследованиями корреляции сигналов, возникающими в головном мозге, с движением конечности, поскольку изначально интенция на него возникает именно в центральной нервной системе. Ученые выявили прямую корреляцию между импульсом и движением определенной части тела. Была получена полная картина интенции движения. Имея представление о ней, мы можем считать в головном мозге пользователя импульс, направленный, например, на движение одного пальца протеза руки. На основе этого мы и построили свое дальнейшее исследование, — пояснил Павел Бортников.

Снятие сигналов обоими методами и преобразование их в движение расширит возможности системы, создаваемой молодыми учеными. С применения метода ЭМГ будет считываться сигнал с мышц руки, который прошел через тело из головного мозга, а посредством ЭЭГ можно будет «считывать» сигнал непосредственно с головного мозга мгновенно — еще до того момента, как он приходит в конечность к мышце. В коммерческих бионических протезах рук метод ЭЭГ практически не используются. На протяжении последних десяти лет было проведено не так много исследований, направленных на интерпретацию данных, полученных посредством этого метода, но в этих случаях сигналы из мозга снимались с помощью чипов, установленных в голове пользователя. Человек мог мыслью управлять движением трехосевого бионического протеза, стоящего на столе.

— Если дополнить систему поверхностными датчиками, установленными на той же конечности, точность интерпретации сигналов кардинально повысится. Мы поставили перед собой задачу — создать такие протезы, которые не только действовали подобно живой руке, но и были удобны. Важно, чтобы вся конструкция из множества датчиков не была громоздкой и была удобной, чтобы не было проводов, которые опутывали бы тело пользователя, ведь сигналы движения будут считываться с головы пользователя. Задача непростая, поскольку предполагается, что набор датчиков будет объемным. Мы должны будем сделать его легким в ношении и простым в использовании. Поэтому мы изучили с инженерной точки зрения возможность беспроводного способа передачи сигнала от датчиков к протезу с минимальными допустимыми задержками и пришли к конечному решению, что мы можем сделать отдельные модули, которые будут по беспроводным каналам связи передавать данные на некий вычислительный модуль, — сказал Александр Сартаков.  

Устройство для снятия показаний ЭЭГ, по замыслу разработчиков, будет представлять собой шапочку, в которой установят сухие электроды. Другой набор датчиков для фиксации сигналов ЭМГ непосредственно с мышц конечности будет закреплен на плотно прилегающей эластичной ткани, которая, подобно широкому браслету, надевается на руку. Эти два компонента системы считывания сигналов станут собирать информацию и передавать на вычислительный модуль. Предполагается, что вычислительным модулем в текущей концепции может стать некоторое устройство, способное с достаточно высокой скоростью обрабатывать нейросети. Создателями устройства рассматривается возможность вынести этот вычислительный блок на смартфон. 

С него конечный управляющий сигнал будет поступать на сам протез. Как и в уже существующих системах, в новой разработке протез будет работать по заготовленным алгоритмам, только в теперь он должен стать точнее и функциональнее из-за большего объема собираемой датчиками информации.  

В настоящее время проект находится на стадии изучения возможности реализации. Молодые исследователи интерпретировали и проанализировали открытые данные из Интернета и теперь собираются снять максимальное количество сигналов с реального человека, чтобы потом объединить их определенным образом. Выбраны последовательности обработки сигнала и очистки его от шумов, для этого написана базовая нейросеть RL.

Перед создателями новой системы считывания сигналов стоит важная задача — адаптировать ее к работе в городской среде. Лабораторные условия идеальны для считывания сигналов, поскольку имеется возможность избежать шумов и помех. На открытой местности добавляются посторонние звуки и сигналы, в том числе прилегающие. Повлиять на интерпретацию сигнала могут даже шумы от одежды.

— Статично отделить сигнал от посторонних шумов и помех, чтобы интерпретировать его, не представляется возможным. Поэтому для устранения нежелательных элементов мы намерены использовать математическую экстракцию. Мы не берем чистый сигнал, а определенными способами преобразуем «загрязненный» в массив чисел, и дальше загружаем его в нейросеть. RL – это модель обучения с подкреплением, которая способна в процессе эксплуатации подстраивать веса, чтобы в конкретной окружающей среде лучше интерпретировать данные. Это сделано нами и для датчиков, считывающих сигнал с мышц верхней конечности, и для считывания сигналов, поступающих из головного мозга, — пояснил Александр Сартаков.

На создание прототипа системы потребуется 2-3 года, но изначально молодым исследователям необходимо выяснить, пригодна ли она для использования на открытой местности, а не в лабораторных условиях. Если результаты работы окажутся положительными, предполагается взаимодействие с Российской кибермедицинской компанией «Моторика», которая специализируется на создании протезов общего назначения. Именно это предприятие и инициировало данный проект.