Paint with Music - DDSPを用いて絵筆のストロークを音楽に
Paint with Music - Google Magenta
Google Magentaチームの最新のプロジェクト。2020年に発表した DDSP: Differentiable Digital Signal Processing を使って、絵筆のストロークを楽器音に変えている。筆で描くように音を奏でることができる。
2021
Overview
- Google Magentaチームの最新のプロジェクト。2020年に発表した DDSP: Differentiable Digital Signal Processing を使って、絵筆のストロークを楽器音に変えている。
Technology/System
- 元になっているDDSPは、信号処理のパイプラインを丸ごと微分可能にすることで、ターゲットとなる音に近い音を生成するモデルを学習する。いってしまえばニューラルネットワークでシンセサイザーを使ったようなもの。
- 今回選べる音色 (= DDSPの学習済みモデル) はサックス、フルート、トランペット、バイオリンなど。
- 空、深海、ストリートといったシーン(キャンバス)を選べ、それにあった環境音やサウンドエフェクトがある。
- キャンバスごとにスケールが決まっている (ペンタトニックなどなど)
- 作った音楽はシェアできる
Further Thoughts
- 連続的な音階の変化が面白い (ピッチベンドのような)
- 楽器の音以外で試してみたい
- DDSPのモデルは重いはずなのに、Weブラウザ上で音を生成しているのがすごい！
- Golan Levinの有名な作品 Yellowtail (1999) を思い出した。こっちの方がよりダイナミック!
Links
DDSP
DDSP: Differentiable Digital Signal Processing
Today, we're pleased to introduce the Differentiable Digital Signal Processing (DDSP) library. DDSP lets you combine the interpretable structure of classical DSP elements (such as filters, oscillators, reverberation, etc.) with the expressivity of deep learning. Neural networks (such as WaveNet or GANSynth) are often black boxes.
magenta.tensorflow.org
DDSPをリアルタイムで動かせるようにする研究
REAL-TIME TIMBRE TRANSFER AND SOUND SYNTHESIS USING DDSPREAL-TIME TIMBRE TRANSFER AND SOUND SYNTHESIS USING DDSP
Ganis, F., Knudesn, E. F., Lyster, S. V. K., Otterbein, R., Südholt, D., & Erkut, C. (2021). Real-time Timbre Transfer and Sound Synthesis using DDSP. Retrieved from http://arxiv.org/abs/2103.07220 Google MagentaのDDSPをリアルタイムに動かせるプラグイン！と聞いただけですごいが.... Neural audio synthesis is an actively researched topic, having yielded a wide range of techniques that leverages machine learning architectures.
createwith.ai
