Tag: music
AudioLDM: latent diffusionを用いてテキストからオーディオ(環境音、音楽等)を生成するモデル
2023
Liu, Haohe, Zehua Chen, Yi Yuan, Xinhao Mei, Xubo Liu, Danilo Mandic, Wenwu Wang, and Mark D. Plumbley. 2023. “AudioLDM: Text-to-Audio Generation with Latent Diffusion Models.” arXiv [cs.SD]
. arXiv. http://arxiv.org/abs/2301.12503.
CLAPを用いることでText-to-AudioのSOTAを達成。オープンソース化されていて、すぐに試せるオンラインデモもあり！
Paper
musicsound
February 10, 2023
SingSong — ボーカルを入力に伴奏をまるっと音で生成するモデル
2023
音源分離技術を使ってボーカルとそれに付随する伴奏を抽出。その関係を学習。Ground Truth (元々の曲に入ってた伴奏)には流石に劣るがそれに匹敵するクオリティの曲を生成できるようになった。
Donahue, Chris, Antoine Caillon, Adam Roberts, Ethan Manilow, Philippe Esling, Andrea Agostinelli, Mauro Verzetti, et al. 2023. “SingSong: Generating Musical Accompaniments from Singing.” arXiv [cs.SD]
. arXiv. http://arxiv.org/abs/2301.12662.
Paper
musicsound
January 31, 2023
Moûsai: Latent Diffusionモデルでの音楽生成
2023
Latent Diffusionのアーキテクチャを利用して、テキストから音楽を生成するモデル
Schneider, Flavio, Zhijing Jin, and Bernhard Schölkopf. 2023. “Moûsai: Text-to-Music Generation with Long-Context Latent Diffusion.” arXiv [cs.CL]
. arXiv. http://arxiv.org/abs/2301.11757.
Paper
musicsound
January 30, 2023
MusicLM: テキストから音楽を生成するモデル
2023
“a calming violin melody backed by a distorted guitar riff” といったテキストから音楽がサウンドファイルとして生成される. Stable Diffusionの音楽版
Agostinelli, Andrea, Timo I. Denk, Zalán Borsos, Jesse Engel, Mauro Verzetti, Antoine Caillon, Qingqing Huang, et al. 2023. “MusicLM: Generating Music From Text.” arXiv [cs.SD]
. arXiv. http://arxiv.org/abs/2301.11325.
Paper
musicsoundNLP
January 27, 2023
それっぽさと新奇性、それぞれを最大化するGANモデルを用いた音楽生成 — Musicality-Novelty GAN
2018
人真似ではない新しい音楽をAIで生成しようとする野心的な研究
Chen, Gong, Yan Liu, Sheng-Hua Zhong, and Xiang Zhang. 2018. “Musicality-Novelty Generative Adversarial Nets for Algorithmic Composition.” In Proceedings of the 26th ACM International Conference on Multimedia
, 1607–15. MM ’18. New York, NY, USA: Association for Computing Machinery.
Paper
musictheory
August 7, 2022
深層学習を用いたウェーブ・シェーピング合成 - NEURAL WAVESHAPING SYNTHESIS
2021
CPUでもサクサク動くのがポイント！
Hayes, B., Saitis, C., & Fazekas, G. (2021). Neural Waveshaping Synthesis.
Paper
musicsound
January 19, 2022
synth1B1 - 10億以上のシンセ音と、そのパラメータがペアになったデータセット
2021
なんと総時間は約126年分!! データセットを生成するためにpytorch上に実装された、GPUに最適化されたモジュラーシンセ torchsynthも合わせて公開。
Turian, J., Shier, J., Tzanetakis, G., McNally, K., & Henry, M. (2021). One Billion Audio Sounds from GPU-enabled Modular Synthesis.
Dataset
soundmusic
July 23, 2021
Neural Loop Combiner — リズム、メロディー、ベースライン... どのループを組み合わせる？
2020
現代の音楽制作過程で重要なループの組み合わせ。たくさんあるループ間の相性を判定して、適切なループの組み合わせをレコメンドする仕組み。
Chen, B.-Y., Smith, J. B. L. and Yang, Y.-H. (2020) ‘Neural Loop Combiner: Neural Network Models for Assessing the Compatibility of Loops’.
Paper
music
June 30, 2021
Paint with Music - DDSPを用いて絵筆のストロークを音楽に
2021
Google Magentaチームの最新のプロジェクト。2020年に発表した DDSP: Differentiable Digital Signal Processing を使って、絵筆のストロークを楽器音に変えている。筆で描くように音を奏でることができる。
Paint with Music - Google Magenta
Project
musicsound
June 22, 2021
結局AI音楽ツールって使えるの？ AI音楽ツールに対する意識調査- A survey on the uptake of Music AI Software
2020
AI音楽ツールに対する意識調査を117名に対してオンラインで行った。結論からいうと... AIツールはほとんど使われていない。AIツールに対してポジティブな人も、現状ではなく未来の可能性にひかれている。
Knotts, S., & Collins, N. (2020). A survey on the uptake of Music AI Software. Proceedings of the International Conference on New Interfaces for Musical Expression, 594–600.
Paper
music
June 19, 2021
演奏者が自身の姿と音を学習したAIと向き合うオーディオビジュアルパフォーマンス: Alexander Schubert - Convergence
2020
GANやAutoEncoderが使われている。2021年のアルスエレクトロニカ Digital Musics & Sound Art 部門のゴールデンニカ(最優秀賞)。
Alexander Schubert - Convergence (2020)
Project
musicperformancesoundGAN
June 18, 2021
VAEベースのリズム生成モデル - Creating Latent Spaces for Modern Music Genre Rhythms Using Minimal Training Data
2020
少量の学習データでも効率的に学習できるように、最近のダンスミュージックの特徴を生かしたアーキテクチャを採用
Vigliensoni, G., Mccallum, L., & Fiebrink, R. (2020). Creating Latent Spaces for Modern Music Genre Rhythms Using Minimal Training Data. Proc. ICCC 2020.
Paper
music
June 7, 2021
LoopNet—ドラムループのサウンド合成
2021
音源分離のモデルで提案されたWave-U-Netのアーキテクチャを用いて、ドラムループをまるごと生成する仕組み
Chandna, P., Ramires, A., Serra, X., & Gómez, E. (2021). LoopNet: Musical Loop Synthesis Conditioned On Intuitive Musical Parameters.
Paper
music
June 5, 2021
ドラムパターンとメロディの生成 - Artificial Neural Networks Jamming on the Beat
2021
リズムパターンのデータセットもあわせて公開。
Tikhonov, A., & Yamshchikov, I. (2021, July 13). Artificial Neural Networks Jamming on the Beat. 37–44. https://doi.org/10.5220/0010461200370044
Paper
music
June 1, 2021
.png)
A Bassline Generation System Based on Sequence-to-Sequence Learning
2019
2019年のNIMEで発表された論文。最新の言語モデル(seq-to-seq model)の知見を利用してドラムトラックの音声ファイルからそれにあったベースラインを生成してくれる。
Behzad Haki, & Jorda, S. (2019). A Bassline Generation System Based on Sequence-to-Sequence Learning. Proceedings of the International Conference on New Interfaces for Musical Expression, 204–209.
Paper
music
June 1, 2021
NSynth: Neural Audio Synthesis—WaveNetを用いたAutoencoderで楽器音を合成
2017
WaveNetの仕組みを使ったAutoencoderで、楽器の音の時間方向の変化も含めて、潜在空間にマッピング → 潜在ベクトルから楽器の音を合成する。この研究で使った多数の楽器の音を集めたデータセット NSynth を合わせて公開。
Engel, J. et al. (2017) ‘Neural Audio Synthesis of Musical Notes with WaveNet Autoencoders’. Available
Paper
musicsound
May 28, 2021
essentia オーディオ/音楽解析ライブラリ
Dmitry Bogdanov, et al. 2013. ESSENTIA: an open-source library for sound and music analysis. In Proceedings of the 21st ACM international conference on Multimedia (MM '13). Association for Computing Machinery, New York, NY, USA, 855–858. DOI:https://doi.org/10.1145/2502081.2502229
Tool
soundmusic
May 26, 2021
1万以上のドラム、パーカッション音のデータセット — Freesound One-Shot Percussive Sounds
2020
ドラム、パーカションのワンショットを集めたデータセット
António Ramires, Pritish Chandna, Xavier Favory, Emilia Gómez, & Xavier Serra. (2020). Freesound One-Shot Percussive Sounds (Version 1.0) [Data set]. Zenodo. http://doi.org/10.5281/zenodo.3665275
Dataset
soundmusic
May 25, 2021
MuseMorphose: Transformerを用いたVAEによる音楽のスタイル変換
2021
長期の時間依存性を学習できるTransformerの利点とコントロール性が高いVAEの利点。この二つを組み合わせたEncoder-Decoderアーキテクチャで、MIDIで表現された音楽のスタイル変換(Style Transfer)を実現。
Wu, S.-L. and Yang, Y.-H. (2021) ‘MuseMorphose: Full-Song and Fine-Grained Music Style Transfer with Just One Transformer VAE’
Paper
music
May 21, 2021
Generating Long Sequences with Sparse Transformers
2019
スパースなTransformerの仕組みで計算量を抑える
Child, R. et al. (2019) ‘Generating Long Sequences with Sparse Transformers’, arXiv. arXiv. Available at: http://arxiv.org/abs/1904.10509 (Accessed: 29 January 2021).
Paper
musicvisualaudio
May 16, 2021
Infinite Bad Guy
2020
YouTube上で史上最も多くカバーされた楽曲ビリー・アイリッシュのBad Guy。YouTube上にあがっている曲を解析、分類し、リズムに合わせてスムーズに繋いでいく。無限に続くBad Guyジュークボックス。
Infinite Bad Guy (IYOIYO, Kyle McDonald)
Project
music
May 1, 2021
Talking Drums: Generating drum grooves with neural networks.
2017
ドラムのキックの位置を入力すると、リズムパターン全体を生成するモデル。言語モデルのseq-to-seqモデルの考え方を利用。
Hutchings, P. (2017). Talking Drums: Generating drum grooves with neural networks.
Paper
music
April 30, 2021
AAI - AIを用いたMouse on Marsのアルバム
2021
ベテラン電子音楽家、あのMouse on Marsが、AIを用いたアルバムを公開!! テキストを入力した声を合成するシステムを構築。生成した声を用いて楽曲を構成した。
"AAI" by Mouse on Mars
Project
music
April 22, 2021
Translating Paintings Into Music Using Neural Networks
2020
音楽とアルバムカバーの関係を学習したモデルをベースに、絵画と音楽を相互に変換するパフォーマンス
Verma, P., Basica, C. and Kivelson, P. D. (2020) ‘Translating Paintings Into Music Using Neural Networks’.
Paper
cross-modalmusicart
April 19, 2021
REAL-TIME TIMBRE TRANSFER AND SOUND SYNTHESIS USING DDSP
2021
Google MagentaのDDSPをリアルタイムに動かせるプラグイン
Francesco Ganis, Erik Frej Knudesn, Søren V. K. Lyster, Robin Otterbein, David Südholt, Cumhur Erkut (2021)
Paper
musicsound
April 14, 2021
Neural Granular Sound Synthesis
2020
グラニュラーシンセシスのGrain(音の粒)をVAEを使って生成しようという試み。Grainの空間の中での軌跡についても合わせて学習。
Hertzmann, A. (2020) ‘Visual indeterminacy in GAN art’, Leonardo. MIT Press Journals, 53(4), pp. 424–428. doi: 10.1162/LEON_a_01930.
Paper
musicsoundpaper
March 30, 2021
WaveNetを使ったAutoencoderで音楽のドメイン間の変換を可能に! – A Universal Music Translation Network
2018
Mor, Noam, et al. "A universal music translation network." arXiv preprint arXiv:1805.07848 (2018).
Paper
music
August 13, 2020
踊るAI – Dancing to Music
2019
Lee, Hsin-Ying, et al. "Dancing to music." arXiv preprint arXiv:1911.02001 (2019)
Paper
musicart
June 24, 2020
歌詞からメロディを生成 – Conditional LSTM-GAN for Melody Generation from Lyrics
Yu, Yi, Abhishek Srivastava, and Simon Canales. "Conditional lstm-gan for melody generation from lyrics." ACM Transactions on Multimedia Computing, Communications, and Applications (TOMM) 17.1 (2021): 1-20.
Paper
musicGANNLP
February 12, 2020
ある楽器の音色が別の楽器に!? – TimbreTron: A WaveNet(CycleGAN(CQT(Audio))) Pipeline for Musical Timbre Transfer
2018
Huang, Sicong, et al. "Timbretron: A wavenet (cyclegan (cqt (audio))) pipeline for musical timbre transfer." arXiv preprint arXiv:1811.09620 (2018).
Paper
GANmusic
February 4, 2020
音源からそれぞれの楽器を分離するツール – SPLEETER
2019
CDなどのミックスされた音源からボーカル、ピアノ、ベース、ドラムのようにそれぞれの楽器（トラック）の音を抽出できるツール
SPLEETER: A FAST AND STATE-OF-THE ART MUSIC SOURCE SEPARATION TOOL WITH PRE-TRAINED MODELS
Paper
musicdj
February 3, 2020
Deep Learningを用いた音楽生成手法のまとめ – Deep Learning Techniques for Music Generation – A Survey
2017
Deep Learning Techniques for Music Generation – A Survey
Web Site
artmusic
November 22, 2017
AIとの共作で行う「過去との対話」ー Maison book girl 「cotoeri」
2017
Maison book girl 「cotoeri」
Project
musicperformance
November 13, 2017
音楽の特徴に基づいたダンスの動きのリアルタイム生成 – GrooveNet: Real-Time Music-Driven Dance Movement Generation using Artificial Neural Networks
2017
音楽の特徴に基づいたダンスの動きのリアルタイム生成
GrooveNet: Real-Time Music-Driven Dance Movement Generation using Artificial Neural Networks
Paper
musiccross-modal
August 23, 2017
GANで音楽生成 – MidiNet: A Convolutional Generative Adversarial Network for Symbolic-domain Music Generation using 1D and 2D Conditions
2017
GANで音楽生成
Yang, Li-Chia, Szu-Yu Chou, and Yi-Hsuan Yang. "Midinet: A convolutional generative adversarial network for symbolic-domain music generation." arXiv preprint arXiv:1703.10847 (2017).
Paper
music
July 9, 2017
機械学習による、「演奏」の学習
– Performance RNN: Generating Music with Expressive Timing and Dynamics –
2017
Performance RNN: Generating Music with Expressive Timing and Dynamics
demo
musicsoundperformance
July 1, 2017
進化の仕組みを応用した音楽ツール – Musical Novelty Search – Evolutionary Algorithms + Ableton Live
2017
Musical Novelty Search – Evolutionary Algorithms + Ableton Live
Tool
musicperformance
June 9, 2017
機械学習を用いたドラムマシン – The Infinite Drum Machine : Thousands of everyday sounds, organized using machine learning.
2017
The Infinite Drum Machine : Thousands of everyday sounds, organized using machine learning
Project
musicvisualsound
April 7, 2017
CNNとLSTMでダンスダンスレボリューションのステップ譜を生成 – Dance Dance Convolution
2017
CNNとLSTMでダンスダンスレボリューションのステップ譜
DONAHUE, Chris; LIPTON, Zachary C.; MCAULEY, Julian, "Dance dance convolution. In: International conference on machine learning", PMLR, pp. 1039-1048, (2017)
Paper
music
March 27, 2017
音源分離 – Deep Clustering and Conventional Networks for Music Separation: Stronger Together
2016
Deep Clustering and Conventional Networks for Music Separation: Stronger Together
Paper
music
February 10, 2017
AENet: Learning Deep Audio Features for Video Analysis
2017
AENet: Learning Deep Audio Features for Video Analysis
Paper
visualmusic
January 20, 2017
DeepBach: a Steerable Model for Bach chorales generation by Gaëtan Hadjeres, François Pachet
2017
Hadjeres, Gaëtan, François Pachet, and Frank Nielsen, "Deepbach: a steerable model for bach chorales generation.", International Conference on Machine Learning. PMLR, (2017)
Paper
music
December 19, 2016
SoundNet: Learning Sound Representations from Unlabeled Video
2016
Aytar, Yusuf, Carl Vondrick, and Antonio Torralba, "Soundnet: Learning sound representations from unlabeled video.", Advances in neural information processing systems 29, pp892-900 (2016)
Paper
musicsound
December 5, 2016
