Базовая модель автономного интеллектуального помощника для слабовидящих и незрячих пациентов была представлена Заместителю Председателя Правительства Российской Федерации — Руководителю Аппарата Правительства  Дмитрию Григоренко во время его визита в Новосибирский государственный университет. Разработка устройства осуществляется с использованием больших языковых моделей и технологий искусственного интеллекта.

Идея разработки принадлежит Новосибирскому филиалу ФГАУ «НМИЦ «МНТК «Микрохирургия глаза» имени академика С.Н. Федорова» Минздрава России, который совместно с учеными Исследовательского центра в сфере искусственного интеллекта НГУ (Центра ИИ НГУ) создает новое устройство, призванное облегчить слабовидящим и незрячим людям ориентацию в пространстве с помощью современных технологий.

Как отметил директор Новосибирского филиала МНТК «Микрохирургия глаза», профессор, д.м.н. Валерий Черных, на сегодняшний день существуют различные подходы, связанные с возможностью дать незрячему человеку шанс функциональной ориентации в окружающем пространстве, его адаптации и реабилитации с возможностью активно и самостоятельно жить полноценной жизнью.

Прежде всего, это социальные и реабилитационно-обучающие программы, требующие достаточно больших финансовых вложений. Кроме того, на протяжении последних 20 лет учеными различных стран осуществляются попытки вживления дорогостоящих и высокотехнологичных   чипов либо в сетчатку глаза, либо непосредственно в затылочную часть коры головного мозга, которая отвечает за функцию зрения. Это очень сложные и дорогостоящие операции с большим риском возникновения осложнений и, к сожалению, с достаточно низким процентом эффективности, поскольку полученные результаты сохраняются непродолжительное время. В нашей стране также было проведено несколько таких операций, результаты которых пока нельзя признать удовлетворительными.

— Учитывая активное развитие технологий, связанных с возможностями искусственного интеллекта, родилась идея использовать слуховой анализатор мозга для ориентации человека в пространстве. Когда человек читает книгу или слушает аудиозапись, в его мозгу формируются определенные образы о предметах и т.д. Если дать слабовидящему или слепому пациенту через слуховой анализатор возможность определять расстояние до объекта (дверного проема, окна, транспортного средства), его размеры и т. д., это, безусловно, поможет ему в реальной жизни и адаптации в социальной среде. Учитывая предыдущий успешный опыт совместной работы, мы решили объединить усилия с учеными Исследовательского центра в сфере искусственного интеллекта Новосибирского государственного университета с   целью создания такой технологии, которая должна быть автономной и не использовать интернет, — рассказал Валерий Черных.

На первом этапе разработчики создают прототип прибора и обучают модель в соответствии с поставленными задачами, чем активно занимается сформированная рабочая группа, в которую вошли ученые Центра ИИ НГУ и МНТК «Микрохирургия глаза».

— Мы используем большие языковые модели, чтобы помочь данной категории пациентов в анализе окружающего пространства — создать им проводника, который мог бы дать концентрированное словесное описание всех объектов, находящихся перед пользователем. Принцип работы данной системы прост: «видеть» вместо человека будет видеокамера, информация с которой поступит в портативный компьютер, преобразующий ее в текст. Затем текстовое описание преобразуется голосовым помощником и подается через наушники непосредственно пациенту. Данное сообщение предоставляет основную информацию, которую пользователю необходимо знать, чтобы ориентироваться в пространстве, — пояснил руководитель проекта в Центре ИИ НГУ Алексей Окунев.

При разработке устройства используется мультимодальная языковая модель, благодаря чему оно уже выдает достаточно качественное словесное описание окружающих помещений и предметов. В перспективе у пользователя появится возможность задавать уточняющие вопросы о наблюдаемой сцене и получать развернутые ответы на них. Также данная языковая модель прекрасно распознает тексты, считывает надписи, указатели, предупреждения о препятствиях и т.д.

В настоящее время создана базовая модель, прототип устройства будет готов к концу 2025 года. Это компактная носимая система, состоящая из одноплатного 16-ядерного компьютера, размещенного в наплечной сумке, видеокамеры (например, GoPro) и наушников. Устройство будет снабжено аккумулятором, а все элементы будут соединены беспроводными каналами коммуникации. Видеокамеру пользователь будет держать в руке и наводить в желаемом направлении. Общий вес устройства с аккумулятором составит около 1 кг.

По оценке специалистов ЦИИ НГУ, на разработку конечного продукта, готового для тиражирования, потребуется не один год, и сейчас они находятся на самом старте проекта. Это касается и технической части, и обучения искусственного интеллекта. После создания прототипа в этом году начнется длительная работа по настройке устройства, установлению режимов, сбору базы данных и обучению ИИ.

В планах разработчиков научить ИИ расставлять акценты в предоставлении информации, выделяя из всего видеоряда детали, которые наиболее важны для ориентации слабовидящего человека в пространстве и оценки окружающей обстановки в зависимости от ситуации. Предполагается, что устройство будет иметь несколько режимов работы: режим движения — для передвижения в пространстве, режим чтения — для работы с текстовыми документами, и т.п.

Также необходимо будет заниматься обучением незрячего или слабовидящего пациента работе с прибором в различных режимах и адаптацией его к новым возможностям. Как отметили в МНТК «Микрохирургия глаза», на этом этапе потребуется работа не только офтальмологов, но и специалистов в области нейрофизиологии. И третья задача, которую нужно будет решить, — необходимость создания специализированного офтальмологического реабилитационного центра для подготовки к работе с прибором непосредственно незрячих пациентов.

— Создание такого прибора вызывает интерес в офтальмологическом сообществе как крайне актуальное и необходимое направление, реализация которого даст возможность адаптации незрячих пациентов в окружающей среде, что является социально значимым проектом, — подытожил Валерий Черных.