Возможности использования технологии видео 360° для представления культурных событий

19:30  02 апреля  2016
19:30  02 апреля  2016 Источник:   HabraHabr
В рамках работы в Центре дизайна и мультимедиа Университета ИТМО мы написали интересную статью о применении технологий виртуальной реальности для сохранения культурного наследия. Описали множество собственных «кейсов» — музеи, концерты, культурно-массовые мероприятия, а также рассказали об уникальном проекте интерактивной экскурсии по крепости «Корела» (Ленинградская область), где впервые совместили 3D-реконструкцию и интерактивное «видео 360».

Смотрите также: Возможности камеры No.1 X2I показали на видео

Возможности <a target= камеры No.1 X2I показали на видео" onerror="imgError(this);" /> Смартфон X2I от компании No.1 был анонсирован в этом месяце, а его ключевой особенностью стал защищённый корпус. Было заявлено, что аппарат выдержит не только погружение в воду, но и падение, тряску, а также перепады давления и температур. Сегодня представители No.1 сообщили, что в X2I установлена такая же камера, что и в новом iPhone, несмотря на наличие у iPhone 6S 12-мегапиксельного, а у No.1 X2I - 13-мегапиксельного фотомодуля. Теперь No.1 решила продемонстрировать возможности своего нового смартфона в области фотосъёмки, заодно протестировав его на влагостойкость и устойчивость к механиче

image

В английском варианте материалы будут представлены в мае на международной конференции «ArtsIT, Interactivity & Game Creation» (Эсбьерг, Дания). Здесь же приводим русский, незначительно адаптированный оригинал.



Виртуальная реальность и ее применение

В настоящее время интенсивно развиваются технологии виртуальной реальности и их приложения. Большие возможности открывает использование таких технологий в культуре и искусстве, так как они обеспечивают эффект присутствия зрителя в центре культурных событий. Одним из перспективных и активно развиваемых в настоящее время подходов к созданию контента для систем виртуальной реальности является технология видео 360°, которая позволяет создавать панорамные видеоролики с различной степенью интерактивности, где зритель по своему желанию управляет ракурсом просмотра видео. Такое видео можно посмотреть как в шлеме виртуальной реальности (например, в Oculus Rift, Samsung Gear VR, HTC Vive и др.), так и с помощью специального приложения на смартфоне, при этом картинка изменяется в соответствии с поворотами головы пользователя. Возможен просмотр видео 360° на дисплее персонального компьютера. В последнем случае пользователь управляет ракурсом с помощью мыши или клавиатуры.

image
Просмотр видео в формате 360° в гарнитуре Samsung Gear VR

Многие крупные компании (Facebook, Nokia, Samsung, Google и др.) в настоящее время ведут разработки камер для съемки видео в формате 360°, гарнитур виртуальной реальности для различных смартфонов и стационарных компьютеров, а также различных звукозаписывающих устройств, обеспечивающих создание объемного (бинаурального) звука и позволяющих реализовать целый комплекс технологий «мультимедиа 360°».

Особенно актуально применение технологии видео 360° в сфере образования. В интерактивном видео 360° может быть обеспечено взаимодействие с конечным пользователем, поэтому данный метод можно широко применять для обучения специалистов в различных областях, где для освоения опыта практической работы требуется присутствие в центре события. Технология видео 360° позволяет анализировать командную работу персонала во время выполнения разнообразных задач, что приводит к повышению качества образовательного процесса.

Немалую роль играет панорамное видео 360° для сохранения и обеспечения доступа к культурному наследию. Эта технология предоставляет уникальную возможность увидеть с эффектом погружения не только закрытые для посещения архивы музеев, но также и реконструированные исторические памятники, которые были разрушены временем или обстоятельствами (трехмерная виртуальная реконструкция). Кроме того, виртуальная реальность — уникальная возможность для совершения путешествий и прогулок по разным уголкам планеты людям с ограниченными возможностями.

Говоря о сфере развлечений в аспекте технологий видео 360° — зрители могут побывать на крупнейших культурных фестивалях, очутиться на сцене рядом с любимыми музыкантами или посмотреть театральное представление из королевской ложи.
В Центре дизайна и мультимедиа Университета ИТМО реализуется проект развития и применения технологий видео 360° в культуре и искусстве Video360Production.com. В рамках этого проекта удалось добиться определенных результатов, необходимых для получения качественного контента, начиная с разработки оригинальных устройств записи видео 360° и звука и заканчивая разработкой программного обеспечения для решения ряда задач в данной области.

Технологии мультимедиа 360°

В настоящий момент разрабатываются специальные камеры, с помощью которых можно было бы снимать видео в формате видео 360°. Однако, с помощью специальных приспособлений и программного обеспечения, можно использовать существующие камеры для съемки видео 360°.
Ярким примером такого подхода является целый ряд проектов, предлагающих специальные риги для камер GoPro HERO 4. Количество камер в риге – от 6 до 14 (стерео-варианты), в зависимости от задач. После съемки видео потоки сшиваются в общую видеосферу с помощью отдельно поставляемых программ.

Кроме того, несколько крупных IT-компаний и производителей электроники анонсировали собственные полностью автоматизированные решения для съемки контента для виртуальной реальности – Google Jump + GoPro Odyssey, Samsung Beyond, Nokia Ozo.

image

GoPro Odyssey, Nokia OZO и Samsung Project Beyond

Наши личные впечатления от камеры Nokia OZO мы описали здесь.

Видео 360° – новое и прогрессивно развивающееся направление, которое пока не имеет стандартов режиссуры, что предоставляет широкий простор для творчества и развития новых идей и подходов. Эффект полного погружения достигается за счет камеры с несколькими объективами, которая позволяет снимать все, что происходит вокруг. Однако, это влечет за собой множество сложностей, ведь многие законы режиссуры не действуют при съемках в формате видео 360°. Основным кардинальным отличием просмотра видео 360° в гарнитурах виртуальной реальности является тот факт, что у зрителя появилась возможность смотреть контент вокруг себя, а это означает, что режиссер должен будет предоставить зрителю возможность динамического выбора ракурса просмотра, а не фокусировать взгляд на конкретной части экрана.

Решением такой проблемы является детальная продуманность сценария с точки зрения смены парадигмы – уход в 3D видео пространство. Каждая съемка требует как стандартной подготовки (настройка света, наиболее выгодные точки для камеры, сценарий и расположение сцены), так и нестандартных подходов (специальные и часто уникальные для каждого случая крепления камеры, режиссура с учетом особенностей записи видео 360°, правильная ориентация камеры, запись объемного звука). При записи концертов, для достижения большей реалистичности звук с камеры или со стерео микрофона часто совмещается со звуком с режиссерского пульта.

Представление культурных событий с помощью технологии мультимедиа 360°

Коллекция отснятых видеоматериалов проекта video360production.com для гарнитур виртуальной реальности насчитывает более пятидесяти различных роликов: концерты и музыкальные фестивали, экскурсии по историческим местам, экскурсии в музеях, театральные представления, разнообразные культурные мероприятия и технологические процессы.


Группа «Браво», «Любовь не горит» в формате панорамного видео


Группировка «Ленинград» в формате панорамного видео


Технология укладки асфальта «Экохитер», панорамный промо-ролик

При записи концертов необходимо передать в высоком качестве, как изображение, так и звук. Более того, необходимо продумать местоположение камеры, так как при записи на камеру 360° становятся неактуальными такие понятия как «передний» и «задний» план. К тому же иногда сцене одновременно находились до двадцати человек, что усложняло установку камеры. Отснятый материал позволил музыкантам посмотреть на себя со стороны, оценить расположение музыкантов во время концерта, а так же увидеть реакцию публики на выступление. Зрители, в свою очередь, с помощью данной съемки смогли детально рассмотреть игру каждого музыканта и погрузиться в атмосферу, создаваемую оркестром или группой.


Концерт группы «Пикник» в формате панорамного видео

Во время съемки известной российской группы «Пикник» возникли трудности следующего порядка – концерт проходил в темном помещении концертного зала при ярком свете софитов. Эти условия являются сложными и для обычных камер, так как даже при максимальном разрешении передача реалистичной глубины цвета является довольно сложной задачей.

Видеозаписи концертов в формате 360° имеют огромное преимущество над стандартными видео записями, так как зритель ощущает эффект присутствия в пространстве сцены и обладает полной автономией самостоятельно решать, куда смотреть в данный момент– наблюдать ли за игрой гитариста или смотреть на солиста, а может вовсе увидеть концерт «глазами» музыкантов, развернувшись спиной к сцене, и наблюдать за живой реакцией публики.
Для достижения эффекта полного погружения необходима не только качественная картинка, но и «живой» звук. Для музыкантов и частых посетителей концертов не является секретом тот факт, что «технический» звук на сцене далек от того, что слышно в зале. Звукорежиссеры проекта совместили звук со стерео-микрофона со студийной записью. В результате звук остался высокого качества, но сохранил «живость»: во время просмотра записи можно услышать, как реагирует и подпевает зал.

Помимо музыкальных коллективов, исполнители проекта video360production.com взаимодействует с крупнейшими санкт-петербургскими театрами, где был снят ряд спектаклей и музыкальных представлений. Уникальную возможность предоставляют съемки исторических достопримечательностей в городах и экскурсий в музеях. В Музее антропологии и этнографии им. Петра Великого (Кунсткамера) в формате видео 360°, перед началом реконструкции был снят большой академический (Готторпский) глобус — дипломатический подарок царю Петру I от Голштинского герцога Карла Фридриха в ходе Северной войны.

image
Съемка большого академического (Готторпского) глобуса в формате видео 360°

Начата реализация совместного проекта Университета ИТМО и Государственного Эрмитажа «Точки присутствия», в рамках которого планируется представить события в различных помещениях музея с помощью технологий панорамной видео съемки.

image
Съемка в Государственном Эрмитаже видеосюжета «Часы Павлин» в формате видео 360°

Повышенным интересом среди посетителей канала YouTube, созданного авторами проекта, пользуется также виртуальная прогулка по рекам и каналам Санкт-Петербурга.

Особое внимание было уделено съемкам в формате видео 360° различных событий в Соловецком монастыре. Соловецкий монастырь сыграл исключительную роль в истории и культуре России. Зародившись в XV в. как место пустынножительства духовных последователей «отца русского монашества» прп. Сергия Радонежского, за короткое время он превратился в духовную, культурную, политическую и экономическую столицу Севера России. Трудами соловецких иноков, давших Русской Церкви целую плеяду святых подвижников, христианская вера распространилась на бескрайних пространствах русского Приполярья.

Деятельность Соловецкого монастыря в решающей степени способствовала притоку русского населения в район Белого моря. Морской монастырь оказал решающее воздействие на развитие экономики и морской части Поморья. Это стало предпосылкой освоения русскими мореходами Северного Ледовитого океана и превращения России в великую арктическую державу.

Географическая удаленность Соловецкого монастыря затрудняет для многих возможность принять личное участие в происходящих там событиях. Съемка таких событий в технологии видео 360° и обеспечение доступа к ним через интернет позволяет, при использовании гаджетов виртуальной реальности, почувствовать себя участником таких событий.
В результате проведенных работ было снято на Соловецком Архипелаге более 10 сюжетов: Экскурсия в Храм Вознесения на Секирной горе, Служба в храме Соловецкого монастыря, Рождественская Литургия, Всенощная, Детский рождественский праздник в Соловецком монастыре, Монастырское колядование, различные виды монастыря и Большого Соловецкого острова.


Служба в храме Соловецкого монастыря в формате видео 360°

image
Экскурсия в Храм Вознесения на Секирной горе (Соловецкие острова) в формате видео 360°

Интерактивность в формате Видео 360°

Не смотря на то, что просмотр объемного видео 360° в различных гарнитурах виртуальной реальности обеспечивает качественное виртуальное погружение в видео контент, следующим шагом является возможность внедрения в видеоматериал формата видео 360° различных интерактивных элементов.

Такими элементами могут выступать:
• Активные метки внутри виртуального пространства для движения по различным траекториям, предварительно отснятым в технологии видео 360°;
• Внедрение в видео 360° различного дополнительного контента (изображения, видео, гиперссылки и т.д.) – функция «картинка в картинке»;
• Переход из видеоизображения в формате видео 360° в смоделированное 3D-пространство реконструированной реальности.

На базе системы Unity3D в Центре дизайна и мультимедиа Университета ИТМО была реализована интерактивная экскурсия в формате видео 360° по Музею-крепости «Корела». Эта панорамная видео-экскурсия с элементами интерактивного управления разработана для просмотра в гарнитурах виртуальной реальности Oculus Rift.

Интерактивное взаимодействие дает возможность выбора пути следования: пользователю, в определенных точках — развилках, даётся возможность выбрать желаемое продолжение экскурсии, либо вернуться назад. Наведение на элемент осуществляется поворотом головы, которое отслеживается с помощью Oculus Rift. При удержании прицела на выбранном элементе в течение нескольких секунд происходит активация элемента и запускается следующий сегмент видео 360°. Для повышения наглядности интерактивного взаимодействия при наведении прицела запускается анимация заполнения круговой полосы загрузки.

image
Карта интерактивных перемещений по музею-крепости Корела

На проходах «вперед» присутствует профессиональный экскурсовод, рассказывающий об объектах на проходимом участке пути, на проходах обратно экскурсовод уже не присутствует, чтобы не дублировать одну и ту же информацию. При желании, пользователь может пропустить просмотр отрезка видео нажатием клавиши на клавиатуре или с помощью интерактивного элемента.

Вторая форма интерактивного взаимодействия – возможность перейти из видео 360° в виртуальную трехмерную реконструкцию крепости. Реконструкция крепости Корела была выполнена в рамках проекта «Мультимедийная информационная система «Древние крепости Северо-Запада»». В определенных точках видео-экскурсии появляется элемент, активировав который пользователь перемещается в 3D-реконструкцию, с возможностью свободного перемещения в виртуальном пространстве реконструкции с использованием графического движка Unity3D. В местах виртуальной реконструкции, совпадающих с реальными записанными статическими точками-метками, в реконструкции расположены светящиеся порталы. Войдя в такой портал, пользователь возвращается на соответствующую точку видео-экскурсии.

Заключение

Технологии мультимедиа 360° — это новое перспективное технологическое направление, которое позволяет создавать качественный интерактивный контент для гарнитур виртуальной реальности во всех областях человеческой деятельности (культура, искусство, образование, наука, туризм, реклама, промышленное производство, государственное управление и т. д.).

С точки зрения индустрии развлечений и, особенно, создания художественных фильмов в формате 360°, ожидается разработка ряда новых подходов и методологий творческого и технологического процессов, которые позволят зрителю погрузиться на новый виртуальный и интерактивный уровни.
—   Поделится Новостью в Соц. Сетях

смотрите также:

Возможности камеры No.1 X2I показали на видео

Смартфон X2I от компании No.1 был анонсирован в этом месяце, а его ключевой особенностью стал защищённый корпус. Было заявлено, что аппарат выдержит не только погружение в воду, но и падение, тряску, а также перепады давления и температур. Сегодня представители No.1 сообщили, что в X2I установлена такая же камера, что и в новом iPhone, несмотря на наличие у iPhone 6S 12-мегапиксельного, а у No.1 X2I - 13-мегапиксельного фотомодуля. Теперь No.1 решила продемонстрировать возможности своего нового смартфона в области фотосъёмки, заодно протестировав его на влагостойкость и устойчивость к механиче

Технология ClearForce от Synaptics стала аналогом 3D Touch

Главным изменением новых iPhone 6S и iPhone 6S Plus стал дисплей с технологией 3D Touch, реагирующий на силу нажатий. Компания Synaptics, являющаяся одним из ведущих разработчиков интерфейсов, в том числе тачпадов для ноутбуков, представила собственный аналог под названием ClearForce. Именно эта технология используется в новом Mate S, которую сама компания Huawei скрыла под названием Force Touch. В небольшом видео от Synaptics демонстрируется работа этой технологии и варианты её использования на различных смартфонах и планшетах.

Intel представила шестое поколение процессоров Core в России

На презентации в московском клубе Арти Холл Intel официально представила процессоры с новой архитектурой Skylake. Основная часть нововведений призвана увеличить производительность и энергоэффективность в реализациях нацеленных на применение процессоров в мобильных устройствах. В качестве ключевых особенностей новой архитектуры выделяются переход на 14 нм техпроцесс и более высокая интеграция всех аппаратных функций (включая обработку видео) на одном кристалле. Это позволяет добиться очередного увеличения производительности при одновременном снижении энергопотребления.

Samsung представляет microSD-карту объёмом 256 ГБ

Компания Samsung представила новую карту памяти формата microSD EVO Plus 256GB. Как уверяет производитель, данная карта предлагает самую высокую ёмкость в своём классе, обеспечивая высокую скорость передачи данных. Она предназначена для использования в смартфонах и планшетах высокого класса, 360-градусных и экшен-камерах, дронах и прочих устройствах, которым нужен большой объём памяти. На EVO Plus 256GB можно записать до 12 часов видео в формате 4K Ultra HD или 33 часа Full HD-видео.

Возможности аккумулятора Ulefone Power показали на видео

В конце прошлого года компания Ulefone представила смартфон Power, ключевой особенностью которого стал аккумулятор ёмкостью 6 050 мАч. Как уверяет производитель, одного заряда батареи хватает на четыре дня работы устройства. Чтобы продемонстрировать возможности новинки, представители компании записали видео, на котором они всяческим образом пытаются разрядить батарею Ulefone Power. На протяжении долгих часов на Ulefone Power запускали "тяжёлые" игры, смотрели HD-видео, включали фонарик и многое другое.

Новый стандарт беспроводной связи IEEE 802.11ay станет доступен в 2017 году

Большинство современных мобильных устройств поддерживают стандарты беспроводной связи 802.11a/b/g/n/ac. Следующим поколением станут сети стандарта IEEE 802.11ay, которые, согласно отчёту IEEE, могут быть введены в эксплуатацию уже в 2017 году. Он предполагает работу в сетях 802.11 на частоте 60 ГГц и дополняет уже существующий стандарт 802.11ad. Главной задачей IEEE 802.11ay станет расширение доступа к сетям указанного диапазона частот для работы внутри помещения и на открытом пространстве с применением технологии транзитной передачи данных на коротких дистанциях.

Японские учёные разработали "экономный" 4K-дисплей для смартфонов

Пару месяцев назад компания Sony представила смартфон Xperia Z5 Premium с 4K-дисплеем, но позже выяснилось, что фактически устройство не позволяет постоянно поддерживать такое высокое разрешение. В большинстве случаев Xperia Z5 Premium отображает картинку в Full HD. Это касается интерфейса системы, приложений и игр. Возможности дисплея в полном объёме используются только при просмотре видео и фотографий (в соответствующем разрешении), а также при использовании экрана смартфона в качестве видоискателя. Однако в будущем ситуация может измениться.

Технология Intel 360 Replay позволит смотреть видео с разных ракурсов

Вчера на конференции Tech World 2016 компания Lenovo помимо новых смартфонов представила последние разработки и технологии, созданные совместно с партнёрами. В ходе мероприятия выступил генеральный директор Intel Брайан Кржанич, который продемонстрировал новый способ просмотра спортивных мероприятий. Обычно, когда мы смотрим какой-либо матч по телевизору, то мы видим картинку только так, как в данный момент её снимает оператор. Технология 360 Replay позволяет зрителю не только отматывать видео назад, но и увидеть его с разных ракурсов.

Бумажная камера толщиной 6 мм способна делать снимки и записывать видео

На рынке смарт-устройств появился новый необычный продукт - бумажная камера, толщина которой составляет всего 6 мм. Устройство способно снимать фото, записывать видео и аудио. Внешне новинка напоминает ретро-камеру, оснащена кнопкой включения и выключения, позволяющей активировать различные режимы использования, слотом для карты памяти microSD, LED-индикатором, который загорается во время работы, а также портом USB, предназначенным для переноса снимков на ПК. USB-порт одновременно используется и для подзарядки камеры.

Комментарии:

comments powered by HyperComments