ピアノを即興演奏できるインターフェース – Piano Genie

Entry

ピアノを即興演奏できるインターフェース – Piano Genie

Simple Title

Piano Genie

Type
Paper
Year

2018

Posted at
May 24, 2020
Tags
music

Overview - 何がすごい?

Google AIのmagentaプロジェクトが制作した、非演奏者が即興でピアノを演奏することができるコントローラー「Piano genie」を取り上げた論文です。 ユーザーは8つのボタンに入力を行うと、リアルタイムにメロディ生成し、簡単にピアノを演奏することができます。

Piano Genieはリアルタイムで即興演奏を行えるだけでなく、しっかりと曲として音を生成することができるため、即興作曲ツールとしても面白いインターフェースです。また、このコントローラーはピアノの指板と似たコントローラーに設計されているため、操作するための練習が必要なく、非演奏者でも簡単に操作することができます。

image

Abstract

We present Piano Genie, an intelligent controller which allows non-musicians to improvise on the piano. With Piano Genie, a user performs on a simple interface with eight buttons, and their performance is decoded into the space of plausible piano music in real time. To learn a suitable mapping procedure for this problem, we train recurrent neural network autoencoders with discrete bottlenecks: an encoder learns an appropriate sequence of buttons corresponding to a piano piece, and a decoder learns to map this sequence back to the original piece. During performance, we substitute a user’s input for the encoder output, and play the decoder’s prediction each time the user presses a button. To improve the intuitiveness of Piano Genie’s performance behavior, we impose musically meaningful constraints over the encoder’s outputs.

Motivation

音楽の初心者であっても、ある程度のピアノ即興演奏を行えるコントローラを作る

Architecture

EncoderとDecoderの両方にLSTM recurrent neural networks (RNNs)を使用し学習を行っています。Encoderはピアノの指板に対応する適切なボタンの位置を学習し、Decoderはシーケンスを元のピアノの指板に対応させるように学習しています。ユーザーが8つのボタンを押すだけで、入力に即した音楽的に意味のあるメロディがリアルタイムで生成されます。

image

Results

ユーザは、このシステムの使用をするために複雑で手間のかかる設定は一切必要とせず、即興音楽を楽しむことができる。さらに、ユーザの入力に対してシステムはリアルタイムに反応するため、インタラクティブに即興のループを楽しむことができます。

https://youtu.be/YRb0XAnUpIk

Further Thoughts

非演奏者でも簡単に操作することができる一方で、コントローラーとしては自由度はなく、繰り返し同じパターンを弾くことが難しいため、非演奏者が体験として楽しむことができる音楽学習のためのインターフェースであるといえるのではないでしょうか。

本論文は非演奏者に対して学習支援の形でインターフェースを制作しているが、 プロの演奏者の表現拡張などを目的とした場合にどのようなインターフェースが考えられるか、「自転車の補助輪」ではないAIの活用方法を模索していきたいところです。

Links

https://magenta.tensorflow.org/pianogenie

https://piano-genie.glitch.me