📄

CNNとLSTMでダンスダンスレボリューションのステップ譜を生成 – Dance Dance Convolution

Entry
CNNとLSTMでダンスダンスレボリューションのステップ譜を生成 – Dance Dance Convolution
Simple Title
DONAHUE, Chris; LIPTON, Zachary C.; MCAULEY, Julian, "Dance dance convolution. In: International conference on machine learning", PMLR, pp. 1039-1048, (2017)
Description
CNNとLSTMでダンスダンスレボリューションのステップ譜
Type
Paper
Year
2017
Posted at
March 27, 2017
Tags
music
image

Overview

論文のネーミングから推定できるように(?)、CNNとLSTMで「Dance Dance Revolution」のステップ譜を自動生成するという研究です.

Abstract

Dance Dance Revolution (DDR) is a popular rhythm-based video game. Players perform steps on a dance platform in synchronization with music as directed by on-screen step charts. While many step charts are available in standardized packs, users may grow tired of existing charts, or wish to dance to a song for which no chart exists. We introduce the task of learning to choreograph. Given a raw audio track, the goal is to produce a new step chart. 1 This task decom-poses naturally into two subtasks: deciding when to place steps and deciding which steps to select. For the step placement task, we combine recurrent and con-volutional neural networks to ingest spectrograms of low-level audio features to predict steps, conditioned on chart difficulty. For step selection, we present a conditional LSTM generative model that substantially outperforms n-gram and fixed-window approaches.

Motivation

ネーミングは遊んでますが、CNNをつかってスペクトル画像から音のアタックを検出する、CNNで得られた音の特徴量に難易度を指定するベクトルを加えてLSTMで適切な感覚でステップのタイミングを指定、LSTMで適切な前後関係をキープしつつステップの種類を指定する… といろいろな要素技術が入っているので論文として読み応えがあります。

Architecture

わりとモデルもシンプルで何が起きているのか想像しやすいのもプラスポイント.

image

CNNでアタック検出, 難易度を指定してLSTMでステップの「タイミング」を生成

image

LSTMでステップの「種類」を生成

Results

Further Thoughts

オンラインデモもあるのでDDR好きは試してみてはいかがでしょうか.

Links