В ВИДЕО японской компании можно увидеть, как пользователь с помощью пальца выделяет участки на бумажном проспекте, который лежит на столе. Компьютер сканирует и добавляет эти участки в память. Показана также возможность дополнения печатного изображения цифровой графикой, а также сканирования текстов.
Разработка подобных систем ведется не первый год, однако до сих пор для взаимодействия с предметами требовалось, чтобы они были оснащены какими-либо датчиками, например RFID-метками. Японские разработчики утверждают, что им удалось создать первую систему, которой для взаимодействия с предметами не нужны дополнительные приспособления.
Другая особенность системы - ее дешевизна. Интерфейс построен на базе простейших устройств - камеры и проектора. При этом система способна очень точно определять форму предметов и положение пальцев рук даже при низком разрешении камеры.
Система автоматически выявляет возникающие на столе предметы неровной формы, после чего подстраивает системы координат для камеры, проектора и физических объектов. Это нужно для того, чтобы сопоставлять перемещения пальцев и места их прикосновения к объектам с изображением, проецируемым на объекты.
Система узнает пальцы по их контуру и цвету, при этом используются данные о внешней освещенности, выполняется подстройка цвета и яркости. Отдельная технология отвечает за распознавание каждого пальца в отдельности.
После того как пальцы рук распознаны, программа обрабатывает их изображение для повышения точности определения мест прикосновения к предметам. Даже при использовании веб-камеры с низким разрешением обеспечивается точность, необходимая для качественной работы интерфейса. Система способна следить за пальцами, перемещающимися со скоростью 30 см в секунду, что соответствует обычной скорости перемещения пальцев во время работы на компьютере.