Новый метод улучшает перевод языка жестов с помощью ИИ

Дополнительные сведения, полученные с помощью ИИ, могут способствовать распознаванию малозаметных жестов, расположения рук и выражений лица.

Исследовательской группа из Университета Осаки Метрополитен использовала технологию на основе искусственного интеллекта, которая позволила повысить точность автоматического перевода жестов в слова.

Ранние исследования в этой области фокусировались на сборе данных об общих движениях подписчика. Однако проблемы с точностью возникали из-за неоднозначностей, связанных с мелкими различиями в формах рук и взаимосвязью между положением рук и тела. Чтобы решить эти проблемы, ученые работали над повышением точности распознавания ИИ и расширили объем данных, добавив информацию о выражениях рук и лица, а также о скелетной структуре, учитывающей положение рук относительно тела, к сведениям о движениях верхней части тела.

По словам исследователей, им удалось увеличить точность распознавания языка жестов на уровне слов на 10-15% по сравнению с традиционными подходами. Также они предполагают, что разработанный метод сможет применяться к любому языку жестов, что значительно улучшит взаимодействие с людьми с нарушениями речи и слуха в разных странах.