Группа ученых из Германии, Франции и Великобритании предложила простой способ анимации языка для антропоморфных 3D-моделей. В перспективе, по утверждению авторов, метод поможет создавать более реалистичные «говорящие» модели. Работа была доложена на конференции AVSP, а подробное изложение результатов приводится в препринте на сайте arXiv.org.
В рамках работы ученые использовали данные электромагнитной артикулографии (EMA) — техники записи движения языка во время речи. Сначала к языку крепится некоторое количество маркеров, движение которых отслеживается в трехмерном пространстве. Несмотря на то, что метод практически идентичен существующим технологиям захвата движения, а сам метод активно используется учеными при изучении вопросов звукоизвлечения у людей, данные EMA невозможно (или очень трудно) было использовать в 3D-моделировании.
Теперь ученым удалось преодолеть это препятствие. В рамках работы они предложили простую схему использование данных EMA для трехмерной анимации в стандарте BVH (Biovision Hierarchy). В этом формате описывается условный «скелет» анимируемого объекта, представляемый как иерархия костей и суставов-сочленений, а также движение этого скелета. Изначально формат был создан специально для анимации фигур людей, однако, позже приобрел популярность и стал одним из стандартов индустрии 3D-анимации.
Три уровня моделирования языка. Воксельный (слева), простая ретопология (по центру) и меш-модель для деформации
Иллюстрация I. Steiner at el.
Авторы работы подчеркивают, что помимо артикулографии им потребовались данные МРТ о челюстях для создания анимации. Кроме того они говорят, что полученная их методом анимация далека от анатомически достоверной, поскольку главной целью работы была скорость и простота применения метода.
В будущем ученые планируют откалибровать метод на основе данных видеосъемок движения языка для достижения большей анатомической реалистичности.