踊るAI – Dancing to Music
Lee, Hsin-Ying, et al. "Dancing to music." arXiv preprint arXiv:1911.02001 (2019)
2019
Overview - 何がすごい?
音楽のクリップから、ジャンルやビートに合ったダンスを生成する研究。これまでは実在するダンスから音楽に合うものを検索する研究がされていましたが、この研究では本質的にダンスを生成することに成功しています。
Abstract
Dancing to music is an instinctive move by humans. Learning to model the music-to-dance generation process is, however, a challenging problem. It requires significant efforts to measure the correlation between music and dance as one needs to simultaneously consider multiple aspects, such as style and beat of both music and dance. Additionally, dance is inherently multimodal and various following movements of a pose at any moment are equally likely. In this paper, we propose a synthesis-by-analysis learning framework to generate dance from music. In the analysis phase, we decompose a dance into a series of basic dance units, through which the model learns how to move. In the synthesis phase, the model learns how to compose a dance by organizing multiple basic dancing movements seamlessly according to the input music. Experimental qualitative and quantitative results demonstrate that the proposed method can synthesize realistic, diverse, style-consistent, and beat-matching dances from music.
Motivation
音楽に合わせて踊るという人間の本能的な動きを生成モデルとしてモデル化する。
Architecture
ダンスの映像からポーズや四肢の動きといった細かな情報を抽出し、それをビートを認識した音楽と合わせて学習させることで実現しています。
生成フレークワークは、分析段階と合成段階に分かれています。
分析段階では、ダンスを一連の基本的なダンスユニットに分解し、モデルはそれを通して動き方を学習します。合成段階では、モデルは入力された音楽に応じて、複数の基本的なダンスの動きをシームレスに組み立てることで、ダンスを構成する方法を学習します。
Results
バレエ、ズンバ、ヒップホップの3つのジャンルのダンスを生成できるよう学習させて、音楽のジャンルが変わるとそれに合わせて踊るようになっています(動画2:00)。また、同じ音楽に対して多様なダンスを生成できるようです(動画2:20)。さらに、生成した骨組みのダンスを人間のような見た目に変換されたものは、本物の人が踊っているように見えますね(動画3:28)。
Further Thoughts
今後の研究では、さらに他のジャンルのデータを集めて学習させていきたい、とのことです。
Links
https://arxiv.org/abs/1911.02001
https://github.com/NVlabs/Dancing2Musichttps://github.com/NVlabs/Dancing2Music