Анимированный виртуальный персонаж исполняет кипрский танец Антикристос в особняке Хаджигеоргакиса Корнесиоса в средневековом городе Никосия, Кипр. Фото: Любезно предоставлено Андреасом Аристиду
Древние греки верили, что грация человека в танце равна его доблести в бою, поэтому, возможно, вполне уместно, что пионеры дивного нового виртуального мира танца обосновались в самом сердце старой Никосии на Кипре.
Работая в стильном современном офисе со стеклянным фасадом, расположенном в двух шагах от средневековой городской стены, команда профессоров и ученых-исследователей незаметно создает крупнейшую в мире базу данных 3D-танцоров.
Это не было сознательным решением, скорее счастливым совпадением, поскольку они стремились сделать себе имя на растущем конкурентном рынке иммерсивных технологий, но теперь их цель состоит в том, чтобы построить первый в мире виртуальный музей танца.
Йоргос Хрисанфу, директор по исследованиям Центра интерактивных медиа, интеллектуальных систем и новых технологий (CYENS), полный энтузиазма, сказал: “В течение многих лет мы работали над виртуальными людьми и над тем, как правильно анимировать тело и как имитировать виртуальных персонажей, которые выглядят реалистично.
“Многие люди занимались ходьбой, бегом, но мы подумали: “Что самое сложное, что вы можете сделать?” Ходьба – относительно простая вещь, но в танцах существует множество вариаций движений. Каждый танец несет в себе уникальный сюжет, передающий спектр эмоций посредством сложных движений и отвлечений.
“Итак, мы начали экспериментировать с современным танцем, который был самым сложным танцем, который мы могли придумать. Затем мы начали снимать местные танцы, что потребовало большого исследования того, как запечатлеть кого-то, а также добавить в анимацию эмоций, сохраняя при этом реалистичность.
“В настоящее время у нас самая большая база данных 3D-танцоров в мире”.
CYENS, частично финансируемый Европейским союзом, является исследовательским и инновационным центром передового опыта, который фокусируется на инновациях и новых технологиях для расширения возможностей передачи знаний и технологий в регионе.
Это также совместное предприятие трех государственных университетов острова – Кипрского университета, Кипрского технологического университета и Открытого университета Кипра – муниципалитета Никосии, Института информатики Макса Планка в Германии и Университетского колледжа Лондона.
Кипр стремится стать домом для первого в мире виртуального музея танца. Фото: Любезно предоставлено Андреасом Аристиду
Начиная со скромного начала в 2018 году, когда это было шоу в основном для одного человека с Йоргосом Хрисанфу в главной роли, в CYENS сейчас работают 145 самых проницательных умов Кипра, работающих в 17 различных областях исследований, связанных с интерактивными МЕДИА.
Один из таких умов принадлежит Андреасу Аристиду из Кипрского университета. Получив степень доктора философии в Кембридже, Аристиду возглавляет команду, которая в настоящее время вызывает ажиотаж в виртуальном зале дополненной реальности.
Он сказал: “Мы запечатлели около 400 танцевальных представлений с помощью motion capture, и наша коллекция постоянно расширяется.
“Она охватывает широкий спектр танцевальных стилей, включая народные танцы из разных стран, модерн и современный балет, латиноамериканские танцы и капоэйру, боевое искусство.
“Забегая вперед, мы намерены включить групповые танцы, поскольку наша система захвата движения позволяет одновременно снимать до трех человек, и парные танцы, такие как танго и сальса, также включены в нашу программу”.
Работая с местными и международными танцевальными школами – в ближайшие недели CYENS проведет вечеринку испанских танцоров фламенко – время, необходимое для обработки каждого танца, может варьироваться от нескольких часов до нескольких дней, в зависимости от качества данных захвата движения и реалистичности, которой стремится достичь команда.
Чтобы запечатлеть любой танец, команда CYENS сначала подготавливает сцену, калибруя студийные камеры, в то время как исполнитель надевает костюм для захвата движения. Фактическое время записи танца не должно превышать продолжительности самого танца. Именно обработка требует много времени.
Данные маркеров, имеющие свой собственный идентификатор, требуют очистки и восстановления заблокированных данных, что может занять от нескольких часов до нескольких дней. Исходя из этого, скелет реконструируется в виде файла движения – например, в форматах BVH или SMPL – и перенацеливается на модель аватара, создание которой, как правило, передается на аутсорсинг графическому дизайнеру.
“После перенацеливания движения на аватар может потребоваться некоторая доработка для решения таких проблем, как проникновение в собственное тело или проникновение в пол”, – сказал Аристиду. “Заключительным шагом является моделирование и рендеринг окружающей среды”.
Среди постоянно растущего каталога танцев CYENS – кипрские, греческие, сербские и турецкие народные танцы, африканский маскарад, балет – любезно предоставленный Венгерской академией балета – сальса, бачата и множество современных танцев от реггетона до хип-хопа.
Для Аристиду это было интригующее путешествие, которое преподнесло множество сюрпризов.
Он сказал: “Я неизменно нахожу нашу работу по сохранению, документированию и изучению нашего нематериального культурного наследия, особенно в области цифровой танцевальной этнографии, наиболее привлекательной.
“В этой работе мы внедрили и разработали метод контекстуального анализа движений, который семантически упорядочивает танцевальные данные, положив начало первой цифровой танцевальной этнографии. Этот метод умело использует контекстуальные корреляции между танцами, выявляя нюансы различий между семантически схожими движениями.
“В нем представлены разнообразные организационные древа, предлагающие цифровое представление хронологической и географической эволюции танцев.
“Примечательно, что наш метод позволил получить впечатляющие результаты, выявив интригующие корреляции, такие как связь между китайским Синцзяном и египетским танцем живота. В то время мы не знали об этой связи, но, как подтвердили наши партнеры-профессионалы в области танцев, оба танца имеют общие восточные корни и влияние”.
Хотя база данных 3D-танцев CYENS является первой в мире, директор по исследованиям Йоргос Хрисанфу понимает, что Кипру придется бороться за свое место на мировой арене виртуальной и дополненной реальности.
Но хотя CYENS работает с небольшим бюджетом по сравнению с другими центрами передового опыта ЕС, Хрисанфу уверен, что богатство талантов и опыта на острове в сочетании с низким налогообложением и благоприятным для инвестиций правительством превратят страну в центр исследований и инноваций, способный привлечь международный малый и средний бизнес.-малые предприятия (МСП) и стартапы.
“У нас здесь уникальная установка”, – сказал Хрисанфу. “Помимо более низких налогов, это очень приятное место для работы, с хорошим уровнем жизни, и у нас есть ряд областей знаний, которые помогут запустить проекты, будь то виртуальное производство или цифровые двойники, а также инфраструктура”.
Для Хрисанфу каждая история успеха, достигнутая CYENS, является еще одним краеугольным камнем, на котором строится мечта, а создание первого в мире виртуального музея танца – еще одна достижимая цель.
И это обещает стать захватывающим событием, если замысел воплотится в жизнь, когда посетители смогут исследовать богатую историю танца и взаимодействовать с ней.
“Пользователи получат возможность получать доступ к архивным данным и взаимодействовать с ними с помощью расширенной 3D-визуализации персонажей тремя способами: онлайн-3D-виртуальная среда; виртуальная реальность с гарнитурой; и дополненная реальность”, – пояснил Андреас Аристиду.
“В дополненной реальности 3D-персонажи легко интегрируются в реальный мир. Кроме того, мы стремимся разрабатывать разнообразные приложения для электронного обучения, в которых пользователи, захваченные доступным устройством для захвата движения – например, простой камерой или глубинной камерой – могут имитировать движения преподавателя, используя данные из архива, чтобы получать качественную и количественную обратную связь в режиме реального времени.
“Такой подход сделает обучение танцам одновременно увлекательным и образовательным. Другими словами, наша цель выходит за рамки простой демонстрации танцев в нашем виртуальном музее. Мы стремимся внедрить танцевальную платформу 3D для электронного обучения в игровую среду виртуальной реальности.
“Эта функция позволяет пользователям изучать танец, синхронизируясь с ритмом с помощью гарнитуры виртуальной реальности. В конечном счете, наша цель – создать платформу VR /AR с высоким уровнем погружения, на которой разместится интерактивный виртуальный музей танца. Эти приложения предназначены для привлечения и поддержания интереса посетителей, обеспечивая увлекательный и образовательный опыт”.
Автор Андреа Басфилд
Фото-традиционный кипрский танец “Антикристос”. исполняемый в Никосии.