👨‍👩‍👦

演奏者が自身の姿と音を学習したAIと向き合うオーディオビジュアルパフォーマンス: Alexander Schubert - Convergence

Entry
演奏者が自身の姿と音を学習したAIと向き合うオーディオビジュアルパフォーマンス: Alexander Schubert - Convergence
Simple Title
Alexander Schubert - Convergence (2020)
Description
GANやAutoEncoderが使われている。2021年のアルスエレクトロニカ Digital Musics & Sound Art 部門のゴールデンニカ(最優秀賞)。
Type
Project
Posted at
June 18, 2021
Tags
musicperformancesoundGAN
Year
2020
Arxiv
Alexander Schubert - Convergence (2020)

Overview

  • 演奏者が自身を学習したAIと向き合う、音楽パフォーマンス
  • AutoEncoderやGANで演奏者の演奏の映像と音声を学習。
  • 2021年のアルスエレクトロニカ Digital Musics & Sound Art 部門のゴールデンニカ(最優秀賞)

Technology/System

アーティストのトーク

  • Auto-EncoderとGANがメインの技術。
  • オーディオのAIシステムはIRCAMのチームが開発
    • 音の合成はスペクトログラムベースのAuto-Encoder
    • 声からストリングにといったドメインのトランスファーも可能。
開発した音の合成のソフトウェア
開発した音の合成のソフトウェア

Results

スクリーンショット

image
image

Further Thoughts

  • 映像でのストーリーテリングが素晴らしい。学習の過程を見せているあたりもうまい。
  • AIの不完全さをうまく見せ方や聞かせ方で補っている感じ。
  • 一流の演奏家たちをパフォーマンスに取り込んでいるあたりも強い。
  • AIモデルの実装などにはIRCAMの研究者たちが関わっている。
  • 技術的に難しいトピックだけに、講演ビデオも作って説明しているのがうまい。自分がアルスに応募するときに真似しよう。

Links

2021年のアルスエレクトロニカのDigital Musics & Sound Art部門の受賞作品一覧