Entry
Paint with Music - DDSPを用いて絵筆のストロークを音楽に
Simple Title
Paint with Music - Google Magenta
Description
Google Magentaチームの最新のプロジェクト。2020年に発表した DDSP: Differentiable Digital Signal Processing を使って、絵筆のストロークを楽器音に変えている。筆で描くように音を奏でることができる。
Type
Project
Year
2021
Posted at
June 22, 2021
Tags
musicsound
Overview
- Google Magentaチームの最新のプロジェクト。2020年に発表した DDSP: Differentiable Digital Signal Processing を使って、絵筆のストロークを楽器音に変えている。
Technology/System
- 元になっているDDSPは、信号処理のパイプラインを丸ごと微分可能にすることで、ターゲットとなる音に近い音を生成するモデルを学習する。いってしまえばニューラルネットワークでシンセサイザーを使ったようなもの。
- 今回選べる音色 (= DDSPの学習済みモデル) はサックス、フルート、トランペット、バイオリンなど。
- 空、深海、ストリートといったシーン(キャンバス)を選べ、それにあった環境音やサウンドエフェクトがある。
- キャンバスごとにスケールが決まっている (ペンタトニックなどなど)
- 作った音楽はシェアできる
Further Thoughts
- 連続的な音階の変化が面白い (ピッチベンドのような)
- 楽器の音以外で試してみたい
- DDSPのモデルは重いはずなのに、Weブラウザ上で音を生成しているのがすごい!
- Golan Levinの有名な作品 Yellowtail (1999) を思い出した。こっちの方がよりダイナミック!
Links
DDSP
DDSPをリアルタイムで動かせるようにする研究
REAL-TIME TIMBRE TRANSFER AND SOUND SYNTHESIS USING DDSP