👨‍👩‍👦

Paint with Music - DDSPを用いて絵筆のストロークを音楽に

Entry
Paint with Music - DDSPを用いて絵筆のストロークを音楽に
Simple Title
Paint with Music - Google Magenta
Description
Google Magentaチームの最新のプロジェクト。2020年に発表した DDSP: Differentiable Digital Signal Processing を使って、絵筆のストロークを楽器音に変えている。筆で描くように音を奏でることができる。
Type
Project
Posted at
June 22, 2021
Tags
musicsound
Year
2021
Arxiv
スクリーンショット
スクリーンショット

Overview

Technology/System

  • 元になっているDDSPは、信号処理のパイプラインを丸ごと微分可能にすることで、ターゲットとなる音に近い音を生成するモデルを学習する。いってしまえばニューラルネットワークでシンセサイザーを使ったようなもの。
  • 今回選べる音色 (= DDSPの学習済みモデル) はサックス、フルート、トランペット、バイオリンなど。
  • 空、深海、ストリートといったシーン(キャンバス)を選べ、それにあった環境音やサウンドエフェクトがある。

  • キャンバスごとにスケールが決まっている (ペンタトニックなどなど)
  • 作った音楽はシェアできる

Further Thoughts

  • 連続的な音階の変化が面白い (ピッチベンドのような)
  • 楽器の音以外で試してみたい

  • DDSPのモデルは重いはずなのに、Weブラウザ上で音を生成しているのがすごい!

  • Golan Levinの有名な作品 Yellowtail (1999) を思い出した。こっちの方がよりダイナミック!
Golan Levin - Yellowtail (1999 )

Links

DDSP

DDSPをリアルタイムで動かせるようにする研究

📄
REAL-TIME TIMBRE TRANSFER AND SOUND SYNTHESIS USING DDSP