Create with AI: Paper

Create with AI: Paper

[Paper]

💾
References: AI

📄
音源分離 – Deep Clustering and Conventional Networks for Music Separation: Stronger Together
2016
Deep Clustering and Conventional Networks for Music Separation: Stronger Together
Paper
music
Feb 10, 2017
📄
結局AI音楽ツールって使えるの? AI音楽ツールに対する意識調査- A survey on the uptake of Music AI Software
2020
AI音楽ツールに対する意識調査を117名に対してオンラインで行った。結論からいうと... AIツールはほとんど使われていない。AIツールに対してポジティブな人も、現状ではなく未来の可能性にひかれている。
Knotts, S., & Collins, N. (2020). A survey on the uptake of Music AI Software. Proceedings of the International Conference on New Interfaces for Musical Expression, 594–600.
Paper
music
Jun 19, 2021
📄
WaveNetを使ったAutoencoderで音楽のドメイン間の変換を可能に! – A Universal Music Translation Network
2018
Mor, Noam, et al. "A universal music translation network." arXiv preprint arXiv:1805.07848 (2018).
Paper
music
Aug 13, 2020
ある楽器の音色が別の楽器に!? – TimbreTron: A WaveNet(CycleGAN(CQT(Audio))) Pipeline for Musical Timbre Transfer
2018
Huang, Sicong, et al. "Timbretron: A wavenet (cyclegan (cqt (audio))) pipeline for musical timbre transfer." arXiv preprint arXiv:1811.09620 (2018).
Paper
GANmusic
Feb 4, 2020
SpaceSheets スプレッドシート型UIでの潜在空間探索 – SpaceSheets: Interactive Latent Space Exploration through a Spreadsheet Interface
2018
Loh, Bryan, and Tom White. "Spacesheets: Interactive latent space exploration through a spreadsheet interface." (2018).
Paper
GAN
Feb 5, 2020
記号創発問題 ─記号創発ロボティクスによる記号接地問題の本質的解決に向けて─
2016
谷口忠大, "記号創発問題: 記号創発ロボティクスによる記号接地問題の本質的解決に向けて (< 特集> 認知科学と記号創発ロボティクス: 実世界情報に基づく知覚的シンボルシステムの構成論的理解に向けて)", 人工知能 Vol.31.1, pp74-81, (2016).
Paper
theory
Feb 5, 2020
歌詞からメロディを生成 – Conditional LSTM-GAN for Melody Generation from Lyrics
Yu, Yi, Abhishek Srivastava, and Simon Canales. "Conditional lstm-gan for melody generation from lyrics." ACM Transactions on Multimedia Computing, Communications, and Applications (TOMM) 17.1 (2021): 1-20.
Paper
musicGANNLP
Feb 12, 2020
ファッションデザイナーを助けるツール – Human and GAN collaboration to create haute couture dress
2019
Tatsuki Koga, at el., "Human and GAN collaboration to create haute couture dress", 33rd Conference on Neural Information Processing Systems, (2019)
Paper
GANart
Feb 12, 2020
踊るAI – Dancing to Music
2019
Lee, Hsin-Ying, et al. "Dancing to music." arXiv preprint arXiv:1911.02001 (2019)
Paper
musicart
Jun 24, 2020
AIを用いたAudio Visual – Stylizing Audio Reactive Visuals
2019
Han-Hung Lee, Da-Gin Wu, and Hwann-Tzong Chen, "Stylizing Audio Reactive Visuals", NeurlPS2019, (2019)
Paper
visualGAN
Jun 24, 2020
ピアノを即興演奏できるインターフェース – Piano Genie
2018
Piano Genie
Paper
music
May 24, 2020
📄
ドラムパターンとメロディの生成 - Artificial Neural Networks Jamming on the Beat
2021
リズムパターンのデータセットもあわせて公開。
Tikhonov, A., & Yamshchikov, I. (2021, July 13). Artificial Neural Networks Jamming on the Beat. 37–44. https://doi.org/10.5220/0010461200370044
Paper
music
Jun 1, 2021
📄
GANによる音の生成 – Synthesizing Audio with Generative Adversarial Networks
2018
Synthesizing Audio with Generative Adversarial Networks
Paper
GANsound
Feb 16, 2018
📄
音源からそれぞれの楽器を分離するツール – SPLEETER
2019
CDなどのミックスされた音源からボーカル、ピアノ、ベース、ドラムのようにそれぞれの楽器(トラック)の音を抽出できるツール
SPLEETER: A FAST AND STATE-OF-THE ART MUSIC SOURCE SEPARATION TOOL WITH PRE-TRAINED MODELS
Paper
musicdj
Feb 3, 2020
📄
NSynth: Neural Audio Synthesis—WaveNetを用いたAutoencoderで楽器音を合成
2017
WaveNetの仕組みを使ったAutoencoderで、楽器の音の時間方向の変化も含めて、潜在空間にマッピング → 潜在ベクトルから楽器の音を合成する。この研究で使った多数の楽器の音を集めたデータセット NSynth を合わせて公開。
Engel, J. et al. (2017) ‘Neural Audio Synthesis of Musical Notes with WaveNet Autoencoders’. Available
Paper
musicsound
May 28, 2021
📄
パーカッション音の合成 - NEURAL PERCUSSIVE SYNTHESIS
2019
Ramires, A., Chandna, P., Favory, X., Gómez, E., & Serra, X. (2019). Neural Percussive Synthesis Parameterised by High-Level Timbral Features. ICASSP, IEEE International Conference on Acoustics, Speech and Signal Processing - Proceedings, 2020-May, 786–790. Retrieved from http://arxiv.org/abs/1911.11853
Paper
sound
Jun 4, 2021
📄
LoopNet—ドラムループのサウンド合成
2021
音源分離のモデルで提案されたWave-U-Netのアーキテクチャを用いて、ドラムループをまるごと生成する仕組み
Chandna, P., Ramires, A., Serra, X., & Gómez, E. (2021). LoopNet: Musical Loop Synthesis Conditioned On Intuitive Musical Parameters.
Paper
music
Jun 5, 2021
📄
VAEベースのリズム生成モデル - Creating Latent Spaces for Modern Music Genre Rhythms Using Minimal Training Data
2020
少量の学習データでも効率的に学習できるように、最近のダンスミュージックの特徴を生かしたアーキテクチャを採用
Vigliensoni, G., Mccallum, L., & Fiebrink, R. (2020). Creating Latent Spaces for Modern Music Genre Rhythms Using Minimal Training Data. Proc. ICCC 2020.
Paper
music
Jun 7, 2021
📄
監視カメラの画像と画像認識で世界の国々の幸福度を計測? - Measuring Happiness Around the World through AI
2020
世界8都市の街中で撮られた動画から顔を抜き出してCNNを用いた感情推定モデルで解析。都市ごとの有意な差は見当たらないという結果に。
Ozakar, R., Gazanfer, R. E., & Sinan Hanay, Y. (2020, November 25). Measuring happiness around the World through artificial intelligence
Paper
society
Jun 3, 2021
📄
モノラル音源を映像とdeep learningを用いて立体音源に
2019
2.5D Visual Sound
Paper
audio
Jan 30, 2020
📄
MuseMorphose: Transformerを用いたVAEによる音楽のスタイル変換
2021
長期の時間依存性を学習できるTransformerの利点とコントロール性が高いVAEの利点。この二つを組み合わせたEncoder-Decoderアーキテクチャで、MIDIで表現された音楽のスタイル変換(Style Transfer)を実現。
Wu, S.-L. and Yang, Y.-H. (2021) ‘MuseMorphose: Full-Song and Fine-Grained Music Style Transfer with Just One Transformer VAE’
Paper
music
May 21, 2021
📄
GANを使った環境音の生成→環境音の識別モデルの性能向上
2021
環境音の識別モデルの学習のためのData Augmentation手法の提案
Madhu, A. and K, S. (2021) ‘EnvGAN: Adversarial Synthesis of Environmental Sounds for Data Augmentation’.
Paper
soundaudioGAN
May 18, 2021
📄
Talking Drums: Generating drum grooves with neural networks.
2017
ドラムのキックの位置を入力すると、リズムパターン全体を生成するモデル。言語モデルのseq-to-seqモデルの考え方を利用。
Hutchings, P. (2017). Talking Drums: Generating drum grooves with neural networks.
Paper
music
Apr 30, 2021
📄
Energy and Policy Considerations for Deep Learning in NLP
2019
GPT-2などの言語モデルについて、その精度ではなく、学習時に消費している電力及び、二酸化炭素の放出量についてまとめた。この研究の試算では、例えばTransformer の学習に、一般的な自動車のライフサイクルの約5台分、アメリカ人約17人の一年分に相当するカーボンフットプリントがあることがわかった。
Emma Strubell, Ananya Ganesh, Andrew McCallum (2019)
Paper
ethicsNLP
Jun 10, 2021
📄
REAL-TIME TIMBRE TRANSFER AND SOUND SYNTHESIS USING DDSP
2021
Google MagentaのDDSPをリアルタイムに動かせるプラグイン
Francesco Ganis, Erik Frej Knudesn, Søren V. K. Lyster, Robin Otterbein, David Südholt, Cumhur Erkut (2021)
Paper
musicsound
Apr 14, 2021
📄
A Bassline Generation System Based on Sequence-to-Sequence Learning
2019
2019年のNIMEで発表された論文。最新の言語モデル(seq-to-seq model)の知見を利用してドラムトラックの音声ファイルからそれにあったベースラインを生成してくれる。
Behzad Haki, & Jorda, S. (2019). A Bassline Generation System Based on Sequence-to-Sequence Learning. Proceedings of the International Conference on New Interfaces for Musical Expression, 204–209.
Paper
music
Jun 1, 2021
📄
Translating Paintings Into Music Using Neural Networks
2020
音楽とアルバムカバーの関係を学習したモデルをベースに、絵画と音楽を相互に変換するパフォーマンス
Verma, P., Basica, C. and Kivelson, P. D. (2020) ‘Translating Paintings Into Music Using Neural Networks’.
Paper
cross-modalmusicart
Apr 19, 2021
📄
Neural Text Generation with Unlikelihood Training
2019
Likelihoodを最適化しようとすると頻出する単語が必要以上に頻出する結果に
Welleck, S., Kulikov, I., Roller, S., Dinan, E., Cho, K., & Weston, J. (2019). Neural Text Generation with Unlikelihood Training.
Paper
NLP
May 14, 2021
📄
The Role of AI Attribution Knowledge in the Evaluation of Artwork
2021
クラウドソーシングの仕組みを活用して、AIが描いた絵を区別できるか、またAIが描いたという情報が、絵自体の評価にどのくらい影響するのかを調査。
Gangadharbatla, H. (2021) ‘The Role of AI Attribution Knowledge in the Evaluation of Artwork’, pp. 1–19. doi: 10.1177/0276237421994697.
Paper
theoryart
May 11, 2021
📄
Self-Supervised VQ-VAE for One-Shot Music Style Transfer
2021
Paper
musicsound
📄
Generating Long Sequences with Sparse Transformers
2019
スパースなTransformerの仕組みで計算量を抑える
Child, R. et al. (2019) ‘Generating Long Sequences with Sparse Transformers’, arXiv. arXiv. Available at: http://arxiv.org/abs/1904.10509 (Accessed: 29 January 2021).
Paper
musicvisualaudio
May 16, 2021
📄
Music transformer: Generating music with long-term structure
2018
Paper
music
📄
Attention is All You Need
2017
現在、GPT-3から音楽生成、画像の生成まで、多様な領域で中心的な仕組みとなっているTransformerを導入した論文。時系列データの学習に一般的に用いられてきたRNNなどの複雑なネットワークを排して、比較的シンプルなAttentionだけで学習できることを示した。
Vaswani, A., Shazeer, N., Parmar, N., Uszkoreit, J., Jones, L., Gomez, A. N., Kaiser, Ł., & Polosukhin, I. (2017). Attention is all you need. Advances in Neural Information Processing Systems, 2017-Decem, 5999–6009.
Paper
NLPessential
Apr 1, 2021
📄
Visual indeterminacy in GAN art
2020
GANが生成する画像の「●●ぽいけど、なんか違う...」という「不確定性」に着目し、現在アートの特徴との比較を行った上で、今後のGANアートの将来像を探る。
Hertzmann, A. (2020) ‘Visual indeterminacy in GAN art’, Leonardo. MIT Press Journals, 53(4), pp. 424–428.
Paper
arttheoryGANvisual
May 19, 2021
📄
Neural Granular Sound Synthesis
2020
グラニュラーシンセシスのGrain(音の粒)をVAEを使って生成しようという試み。Grainの空間の中での軌跡についても合わせて学習。
Hertzmann, A. (2020) ‘Visual indeterminacy in GAN art’, Leonardo. MIT Press Journals, 53(4), pp. 424–428. doi: 10.1162/LEON_a_01930.
Paper
musicsoundpaper
Mar 30, 2021