Мы продолжаем обзор интересных новинок из мира АВ и интерактивных мультимедиатехнологий, которые будут представлены на приближающей конференции SIGGRAPH 2015.
SemanticPaint: интерактивная сегментация и визуализация реального мира в режиме реального времени в 3D-вид
Инсталляция SemanticPaint разработана специалистами Стэнфордского университета, университета Нанкай, Оксфордский университет и подразделением Microsoft Research корпорации Microsoft. Это интерактивная система реального времени для геометрической реконструкции и сегментации классов объектов 3D-миров. С ее помощью пользователь может войти в реальную комнату и, используя специальную видеокамеру и гарнитуру виртуальной реальности, реконструировать цифровое 3D-отображение этой комнаты, интерактивно сегментировать находящиеся там объекты в классы и изменять их свойства.
Для взаимодействия с 3D-отображением пользователь физически касается его элементов в реальном мире (используется хеширование на основе крупномасштабного синтеза) и, давая голосовые команды, налету определяет их как объекты различных классов, таких как «стул», «стол», «пол» и т.д., а также назначает и редактирует другие метки для этих объектов. Пользовательские метки становятся основными и переопределяют случайным образом проставленный набор, который используется системой для прогнозируемой разметки неосмотренного ранее 3D-отображения.
Чтобы избежать конфликтов, пользовательские и случайные системные метки обрабатываются в предварительной 3D-модели условного отображения, на основании которой и формируется окончательный вид 3D-отображения. Весь процесс обработки происходит в режиме реального времени, и пользователь остается «в цикле» всего процесса, получая мгновенное отображение всего процесса нанесения меток и имея возможность, если это необходимо, переназначить сегментирование.
Сенсорный дисплей MidAir для визуально-тактильного взаимодействия с объемными виртуальными предметами.
Сенсорный дисплей MidAir, представленный Университетом Кейо и Университетом Токио, интегрирует в себе технологии тактильной обратной связи, распространения акустической энергии, плоской фазированной антенной решетки, ультразвукового поля и объемных изображений, получаемых через устройство Aerial Imaging Plate для обеспечения визуально-тактильного взаимодействия с голыми руками. Данный проект позволяет пользователям увидеть и потрогать виртуально плавающий объект невооруженным взглядом и голыми руками, достигнув, таким образом, реального взаимодействия с виртуальным миром.
Ключевой технологией для генерации тактильной обратной связи является фазированная антенная решетка ультразвуковых преобразователей. Управляя фазовым сдвигом и выходной амплитудой каждого датчика, исследователи смогли разработать результирующее ультразвуковое поле. Распределенная акустическая энергия оказывает давление на поверхность человеческого тела, позволяя осуществлять дистанционную бесконтактную тактильную стимуляцию. Источник поля может быть образован из плоской фазированной антенной решетки, постоянной волны, формируемой парой фазированных антенных решеток, повернутых друг к другу, и даже свободным распространением энергии в 3D-форме. Правильно спроектированные ультразвуковые поля генерируют различные осязаемые текстуры. Вибротактильное пятно с полосой пропускания 1 КГц в диапазоне от 0 Гц может быть получено путем амплитудной модуляции ультразвукового поля, а постоянные волны позволяют добиться его статически упругой формы.
Воздушные изображения создаются с помощью оптического компонента называемого Aerial Imaging Plate (AIP), изобретенного корпорацией Asukanet. AIP состоит из массива устанновленных под углом крошечных зеркал, образующих плоскую решетку, которая создает в воздухе трехмерное изображение объектов, помещенных за AIP. Сгенерированное изображение видно из произвольных точек положения наблюдателя. В качестве ресурса для создания плоских воздушных изображений служит плоский ЖК-дисплей. Для создания пространственных объемных изображений используется, соответственно, объемный источник. Для определения местоположения пальца или руки используются коммерчески доступные датчики движения или инфракрасные датчики.
