Українці створюють бюджетну альтернативу волюметричному відео

Волюметричне відео — це техніка створення тривимірного зображення об’єкту, наприклад, актора у кіно. Зараз в Україні розробляють ALTstage, технологію використання доповненої реальності разом з живими подіями або відеоконтентом.

«Уявіть, що площина екрану та простір сцени більше не відділені одне від одного. Актор прямо на ваших очах стає то пласким, то об'ємним і може вільно пересуватися між екранною та сценічною реальностями», — пояснюють розробники. — «Цю фантазію ми перетворили на технологію, мобільний застосунок — і назвали ALTstage. Сфера використання — дуже широка, від вистав і лекцій до комерційних презентацій та модних показів. Оскільки авторами ініціаторами проєкту є митці, першими з новий інструмент випробують танцівники, створивши кілька коротких перформансів».

«ALTstage — це технологія, що дозволяє перетворити будь-який стіл з ноутбуком чи планшетом на ваш персональний театр», — говорить Макс Шумахер, автор ідеї, режисер та драматург Post Theater. 

Хореограф і експерт по мультимедійній роботі в театрі Марія Пяткова, уточнює: «Технологія працюватиме наживо і вдома. Наприклад, у театрі частину вистави можна буде подивитися у доповненій реальності прямо на сцені через смартфон». 

Застосунок повідомить глядача, коли до живих артистів доєднаються танцівники або актори на екрані мобільного пристрою. Вдома для перегляду постановки знадобиться будь-який пристрій з екраном, а додаткові елементи можна побачити через той же смартфон — все виглядатиме так, ніби актори виходять з екрану ноутбуку й стіл або клавіатура перетворюється на сцену. Сьогодні доповнена реальність вже використовується у мобільних іграх (як Pokemon Go) або освітніх додатках на кшталт Google Animals, але у сфері мистецтва це буде одним з перших експериментів.

На базі технології розробники створюють альтернативне мистецьке середовище «Платформа ALTstage»: мобільний застосунок та сайт, де можна буде дивитися відеоконтент з доповненою реальністю. Розробкою проєкту займаються митці — українська Платформа сучасного танцю та німецький Post Theater — спільно з IT-компанією WeAR Studio. Проєкт реалізується за підтримки Дому Європи (програма Європейського Союзу) та Українського культурного фонду (УКФ). Презентують технологію наприкінці травня у Києві, а згодом — у Харкові та Дніпрі. Глядачі зможуть побачити сучасний танець у форматі змішаної реальності.

«Сучасний танець постійно у пошуках нових засобів творчого вираження — від застосування законів фізики й людської анатомії до використання простору й технологій. Доповнена реальність, де глядач отримує ілюзію присутності об’єктів, яких тут немає, може надати новий вимір для танцю», — вважає креативний продюсер ALTstage, хореограф, співзасновник та президент «Платформи сучасного танцю» Антон Овчінніков. «Втім, для нас цей проєкт — не тільки розробка нового творчого інструменту, але й можливість розширити аудиторію, привернути до сучасного танцю увагу тих, хто захоплюється цифровими технологіями», — додає його колега, менеджер проекту Олександр Маншилін.

Один з найскладніших викликів у створенні ALTstage — зйомка об’ємного відео (volumetric video). Технологія для цього вже існує, її використовують великі медійні й кінокомпанії. Але вартість такого відео кілька тисяч євро за хвилину, оскільки зйомки проводяться у спеціальних студіях з десятками камер, а одержані дані обробляються надпотужними комп'ютерами. Тому зараз у всьому світі шукають можливості зробити ці технології простішими й дешевшими. Засновники проєкту ALTStage вважають, що вони знайшли таку можливість і готові ділитися своїм досвідом й інструментами з колегами.

«Головна проблема — у «важкості» такої технології для мобільних пристроїв. Це простіше з намальованими 3D-моделями, які є просто кодом у смартфоні — застосунок малює динозавра у вас у кімнаті, немовби накладає фільтр на фото. Ми ж хочемо, щоб на екрані було відео реальних людей та предметів. Уявіть, що під час відеопрезентації з екрану на стіл виходить актор, і виникає ілюзія, що він є прямо тут, у приміщенні. А це потребує дуже великих потужностей від смартфону. Схоже на завдання встановити двигун від океанського лайнера під капот «Ланосу». Наші програмісти знайшли можливість це зробити» — пояснює Ярослав Муха, маркетинг спеціаліст з компанії WeAR Studio.

Наприклад, у волюметричному відео для запису зображення з усіх боків потрібні десятки камер. В ALTstage використовується лише кілька камер, але вони обладнані датчиками глибини. Так визначається розташування об’єкту у просторі відносно заданих маркерів. Також у проєкті використовується технологія Depthkit для обробки відео — завдяки алгоритмам вдається значно зменшити розмір даних, які передаються на смартфон. Спеціально для ALTstage розробляється сайт, на якому можна буде все це поєднати та викладати й дивитися відео з доповненою реальністю. Спочатку, в якості експерименту, буде створено кілька невеликих вистав сучасного танцю.

«Ви просто завантажуєте застосунок перед початком перегляду в театрі, лекторії, або навіть вдома, зчитуєте QR-код і ваш смартфон буде синхронізований з подією. В потрібний момент він підкаже: «Подивись-но на сцену через екран, там буде щось цікаве», — пояснює Святослав Криворучко, менеджер проекту з компанії WeAR Studio.

Фінальною метою команда ALTstage бачить створення загальнодоступної платформи для всіх шанувальників перформативного мистецтва — театру, танцю тощо. Дивитися зможе будь-хто, якщо має достатньо потужний смартфон (iPhone 7 або новіший чи смартфон на Android 8.0 або новіший з підтримкою ARCore). А ось для створення відео доповненої реальності буде потрібна студія волюметричного відеозапису з камерами Azure Kinect. Сьогодні таких студій в Україні немає — її створюють спеціально для ALTstage.

Джерело: прес-реліз