Entry
演奏者が自身の姿と音を学習したAIと向き合うオーディオビジュアルパフォーマンス: Alexander Schubert - Convergence
Simple Title
Alexander Schubert - Convergence (2020)
Description
GANやAutoEncoderが使われている。2021年のアルスエレクトロニカ Digital Musics & Sound Art 部門のゴールデンニカ(最優秀賞)。
Type
Project
Year
2020
Posted at
June 18, 2021
Tags
musicperformancesoundGAN
Overview
- 演奏者が自身を学習したAIと向き合う、音楽パフォーマンス
- AutoEncoderやGANで演奏者の演奏の映像と音声を学習。
- 2021年のアルスエレクトロニカ Digital Musics & Sound Art 部門のゴールデンニカ(最優秀賞)
Technology/System
アーティストのトーク
- Auto-EncoderとGANがメインの技術。
- オーディオのAIシステムはIRCAMのチームが開発
- 音の合成はスペクトログラムベースのAuto-Encoder
- 声からストリングにといったドメインのトランスファーも可能。
Results
スクリーンショット
Further Thoughts
- 映像でのストーリーテリングが素晴らしい。学習の過程を見せているあたりもうまい。
- AIの不完全さをうまく見せ方や聞かせ方で補っている感じ。
- 一流の演奏家たちをパフォーマンスに取り込んでいるあたりも強い。
- AIモデルの実装などにはIRCAMの研究者たちが関わっている。
- 技術的に難しいトピックだけに、講演ビデオも作って説明しているのがうまい。自分がアルスに応募するときに真似しよう。
Links
2021年のアルスエレクトロニカのDigital Musics & Sound Art部門の受賞作品一覧
