Технология, получившая название IDV (Interactive Dynamic Video) анализирует незначительные колебания объекта в кадре при съемке видео, а затем на их основе создает реалистичные модели движений объекта, включая его реакцию на взаимодействие с добавленными в видео виртуальными предметами или персонажами. При этом для создания подобной модели алгоритму IDV требуется исходное видео длиной в несколько секунд, снятое обычной камерой.
Так, в результате обработки видео при помощи IDV пользователи могут взаимодействовать с объектами в кадре, заставляя их двигаться при помощи мыши.
"Эта технология позволяет нам фиксировать движения объектов в реальном мире, что дает возможность затем взаимодействовать с ними в виртуальной реальности", – отметил один из разработчиков IDV Абе Дэвис.
Получить более наглядное представление о сути и возможностях технологии IDV можно благодаря впечатляющему видеоролику, опубликованному на YouTube. Например, в этом видео ученые демонстрируют, как IDV может моделировать движение проволочной фигурки человека или колебания листьев куста.
По мнению ученых, их разработка может быть использована в самых разных сферах, включая создание недорогих, но реалистичных спецэффектов в кино или моделирование колебаний зданий и мостов при сильном ветре или в случае землетрясения. Технология IDV может найти применение и в сфере дополненной реальности. Так, использование IDV может сделать реальным взаимодействие покемонов с окружающими их объектами в мобильной игре Pokemon Go.