Очки и браслеты под управлением ИИ-модели помогают слепым ориентироваться

Ученые из Шанхайского университета Цзяотун, разработали систему, которая помогает людям с нарушениями зрения ориентироваться в окружающей среде.

Работа опубликована в журнале Nature Machine Intelligence.

Исследователи привлекли 20 человек с нарушениями зрения для тестирования устройств. Расстояние, которое участники проходили, и время навигации улучшились на 25% по сравнению с использованием трости при прохождении 25-метрового лабиринта. Ученые считают, что при длительной адаптации к новой системе выигрыш станет еще более значительным, и человек будет чувствовать себя более уверенно.

"Эта система может частично заменить глаза", – говорит соавтор исследования Лейлей Гу.

Система включает очки, оснащенные камерой, которая снимает окружение пользователя в реальном времени. Компьютер, встроенный в очки, обрабатывает эти изображения с помощью алгоритмов машинного обучения. Алгоритмы обнаруживают присутствие других людей, двери, стены и мебель. Устройство дает пользователю звуковые подсказки об его окружении каждые 250 миллисекунд, издавая звуковой сигнал в правом или левом наушнике, чтобы направлять его движение.

Кроме очков исследователи создали гибкие браслеты и кольца из "искусственной кожи", которые пользователи носят на запястьях и пальцах. Эти браслеты оснащены собственной системой камер, они вибрируют, чтобы предупредить пользователя, когда препятствие находится совсем близко – от 40 до 5 сантиметров. Они вибрируют, когда пользователь тянется к предмету, чтобы предупредить его, когда пришло время захвата.

Сначала исследователи работали с 12 участниками с нарушениями зрения, чтобы оценить, насколько хорошо система помогает избегать препятствия при перемещении по комнатам. После обучения с системой все участники смогли перемещаться в помещении, а их скорость ходьбы была такой же, как при использовании трости.

В другом испытании технология продолжала хорошо работать, когда восемь участников протестировали устройство в реальных ситуациях, включая ходьбу по городской улице и через конференц-зал, загроможденный мебелью.

Ученые планируют доработать конструкцию устройства, чтобы сделать его легче и компактнее. Они надеются в будущем поместить камеру на контактную линзу и сделать ее практически незаметной.