👨‍👩‍👦

Paint with Music - DDSPを用いて絵筆のストロークを音楽に

Entry

Paint with Music - DDSPを用いて絵筆のストロークを音楽に

Simple Title

Paint with Music - Google Magenta

Description

Google Magentaチームの最新のプロジェクト。2020年に発表した DDSP: Differentiable Digital Signal Processing を使って、絵筆のストロークを楽器音に変えている。筆で描くように音を奏でることができる。

Type
Project
Year

2021

Posted at
June 22, 2021
Tags
musicsound
スクリーンショット
スクリーンショット

Overview

Technology/System

  • 元になっているDDSPは、信号処理のパイプラインを丸ごと微分可能にすることで、ターゲットとなる音に近い音を生成するモデルを学習する。いってしまえばニューラルネットワークでシンセサイザーを使ったようなもの。
  • 今回選べる音色 (= DDSPの学習済みモデル) はサックス、フルート、トランペット、バイオリンなど。
  • 空、深海、ストリートといったシーン(キャンバス)を選べ、それにあった環境音やサウンドエフェクトがある。
  • キャンバスごとにスケールが決まっている (ペンタトニックなどなど)
  • 作った音楽はシェアできる

Further Thoughts

  • 連続的な音階の変化が面白い (ピッチベンドのような)
  • 楽器の音以外で試してみたい
  • DDSPのモデルは重いはずなのに、Weブラウザ上で音を生成しているのがすごい!
  • Golan Levinの有名な作品 Yellowtail (1999) を思い出した。こっちの方がよりダイナミック!
Golan Levin - Yellowtail (1999 )

Links

DDSP

DDSPをリアルタイムで動かせるようにする研究

📄REAL-TIME TIMBRE TRANSFER AND SOUND SYNTHESIS USING DDSP