Система, задуманная ее разработчиками как элемент "умного дома" будущего, использует сеть камер игрового контроллера Kinect, расположенных в каждом помещении квартиры или дома и соединенных с компьютером.
По задумке авторов проекта, в один прекрасный день человек сможет спросить у компьютера: "Где я оставил свой бумажник?" - и получить правильный ответ.
Напомним, контроллер Kinect появился вместе с игровой приставкой Microsoft Xbox 360. С его помощью геймеры могут управлять игровым процессом движениями тела и голосовыми командами. Устройство представляет собой специальную панель, оснащенную камерой, датчиком расстояния, микрофоном и центральным процессором. Отслеживая положение тела игрока в трехмерном пространстве, система реагирует на движения рук, ног и голосовые команды, что позволяет управлять происходящим на экране без традиционного геймпада. После выпуска в конце прошлого года новой прошивки для Kinect, в четыре раза повысившей точность распознавания движений пользователя, контроллер научился реагировать даже на самые незначительные движения пользователя, например, на шевеление пальцами и вращение кисти руки.
Инновационность Kinect сразу привлекала энтузиастов, создававших еще до появления документации трехмерные браузеры в стиле фильма "Особое мнение" и симуляторы боев на лазерных мечах в стиле "Звездных войн". Инструментарий для разработчиков, выпущенный Microsoft в середине прошлого года, лишь подстегнул интерес к этому направлению. В конце 2011 года стало известно, что Kinect может также появиться в ноутбуках и телевизорах.
Создателями Kinsight сенсорный контроллер Microsoft Kinect выбран из-за имеющегося у него сенсора глубины. Этот датчик состоит из инфракрасного лазера, который умеет "ощупывать" комнату, и черно-белой CMOS-матрицы, способной получать видеоданные при любых условиях освещенности.
В итоге система отслеживает людей, то, как они перемещаются по комнатам, она видит предметы, с которыми соприкасаются люди и которые в итоге могут изменять свое местоположение. Эта информация анализируется и благодаря базе данных о размерах и формах объектов, находящихся в доме, Kinsight определяет, какие именно вещи и в какие места были перенесены.
Если пользователь не может что-либо отыскать, он набирает в поисковой строке название предмета, нажимает на иконку поиска и получает последнее известное место расположения предмета. Система способна отслеживать предметы размером минимум с кулак и определяет их место с точностью плюс-минус 13 см.
Хотя на данном этапе каждый из предметов должен быть помечен, ученые работают над тем, чтобы сделать систему Kinsight проще и интуитивнее.