Технология, получившая название Fusion 4D, использует восемь RGB-D-камер (камеры глубины), которые отслеживают движения наблюдаемого объекта. После этого изображения обрабатываются специальным алгоритмом, который сначала анализирует движения предмета на нескольких кадрах, для того, чтобы понять его поведение. Затем алгоритм объединяет карты глубины и маски слоя и получает трехмерный объект, на который накладываются цветное изображение, выполняющее роль текстуры.
Одно из главных преимуществ технологии Microsoft состоит в том, что к движущемуся объекту не нужно прикреплять многочисленные датчики, используемые обычно для захвата движений. Кроме того, для захвата различного типа движений не требуется никаких специальных предварительных настроек и обучения.
Судя по опубликованному на YouTube демонстрационному видео, программа способна визуализировать как быстрые, так и медленные движения, а также различные взаимодействия между несколькими предметами. Так, она может показать, как человек играет с собакой, перебрасывается мячом с другом или снимает куртку.
В дальнейшем исследователи намерены усовершенствовать технологию. По их словам, с ее помощью в будущем может стать возможным полный трехмерный просмотр различных событий, например, концертов. Кроме того, разработку можно будет совмещать с устройствами виртуальной реальности для того, чтобы, в частности, создавать виртуального аватара.