Израильские ученые создали технологию мгновенного отделения объектов от фона при обработке видео

Специалисты из израильского Университета Бар-Илан разработали метод отделения объектов от фона на видео без длительного обучения нейросетей и больших вычислительных затрат.

Работа размещена на сервере препринтов arXiv.

Предложенная учеными технология решает сложную задачу извлечения объектов из видео с сохранением таких элементов, как мех, волосы, листва, тени, отражения, дым или рябь на воде. Существующие методы разделения видео на слои требуют обучения ИИ-моделей на миллионах размеченных примеров или применения ресурсоемких методов оптимизации. Новый подход израильских ученых позволяет достичь сопоставимых результатов с существенно меньшими затратами времени.

Метод позволяет, например, извлечь лебедя, плывущего по озеру, вместе с его отражением и поместить в другой водоем, а само озеро без лебедя использовать как фон для другой сцены с естественными отражениями, тенями и движением волн.

В отличие от существующих решений модель, получившая название OmnimatteZero, не требует дорогостоящего контролируемого обучения или самообучающейся оптимизации. Вместо этого технология использует методы дополнения изображений, применяемые к статичным кадрам, и модули для отслеживания изменений во времени и пространстве. Исследователи продемонстрировали, что объекты можно идентифицировать без обучения благодаря встроенному механизму самовнимания, связывающему области внутри кадров и между кадрами.

Разработка предназначена для редакторов видео, дизайнеров, рекламщиков и исследователей в области искусственного интеллекта. В будущем технология может стать доступной для повседневного использования, включая редактирование видео прямо на смартфоне.