Create with AI: All

💾
References: AI

📄
絵画を知らないAIが絵画を生成できるか — Art-free Diffusion

2024

アートを含まない学習データを学習したAIモデルをベースに、少数のアート作品の画像でLoRAを学習。きちんとそのアーティストの特徴を掴んだ画像が生成された。

Ren, Hui, Joanna Materzynska, Rohit Gandikota, David Bau, and Antonio Torralba. 2024. “Art-Free Generative Models: Art Creation Without Graphic Art Knowledge.” http://arxiv.org/abs/2412.00176.

Paper
visualtheoryethicsimage
December 9, 2024 1:59 PM (GMT+9)
📄
RAVE - VAEを用いたリアルタイムの音色変換アルゴリズム (2019)

2019

Caillon, Antoine, and Philippe Esling. 2021. “RAVE: A Variational Autoencoder for Fast and High-Quality Neural Audio Synthesis.” arXiv [cs.LG]. arXiv. http://arxiv.org/abs/2111.05011.

Paper
sound
July 10, 2024 7:32 AM (GMT+9)
📄
ChatGPT is bullshit — ChatGPTはウ◯コ論者だ💩

2024

ChatGPTの本質を、哲学者のフランクファートが提唱した概念、「ブルシット=ウンコな議論」を通して捉え直す

Hicks, Michael Townsen, James Humphries, and Joe Slater. 2024. “ChatGPT Is Bullshit.” Ethics and Information Technology 26 (2). https://doi.org/10.1007/s10676-024-09775-5.

Paper
NLPLLMtheory
June 19, 2024 4:30 AM (GMT+9)
📄
WavJourney - LLMで複数のモデルを組み合わせて、テキスト入力からオーディオコンテンツを生成

2023

LLMと複数の音声合成モデルを駆使して、テキストプロンプトからスピーチ、音楽、SEなどを含む音のコンテンツ(ラジオドラマ、ポッドキャストのようなもの)を生成

Liu, Xubo, Zhongkai Zhu, Haohe Liu, Yi Yuan, Meng Cui, Qiushi Huang, Jinhua Liang, et al. 2023. “WavJourney: Compositional Audio Creation with Large Language Models.” arXiv [cs.SD]. arXiv. http://arxiv.org/abs/2307.14335.

Paper
sound
May 25, 2024
📄
音楽生成AIは本当に新しい音楽を生成しているか? 学習データをコピーしているだけではないか? - 定量的な調査

2024

音楽生成AIは学習データをコピーしているだけではないか? 学習データと生成されたデータを比較。

Bralios, Dimitrios, Gordon Wichern, François G. Germain, Zexu Pan, Sameer Khurana, Chiori Hori, and Jonathan Le Roux. 2024. “Generation or Replication: Auscultating Audio Latent Diffusion Models.” In ICASSP 2024 - 2024 IEEE International Conference on Acoustics, Speech and Signal Processing (ICASSP), 1156–60. IEEE.

Paper
musicsound
May 13, 2024
📄
Active Divergenceのサーベイ — 学習データの忠実な再現からの適度な逸脱を目指して

2021

生成モデル(Generative Models)をはじめとするAIモデルの精度が上がる=学習データのパターンをより忠実に再現、再構成できるようになってきた一方で、創造性の観点から言うとそれって学習データものの焼き直しに過ぎないのでは? とう疑問も。 どう適度な逸脱を図るか… が本論文のテーマ。

Broad, Terence, Sebastian Berns, Simon Colton, and Mick Grierson. 2021. “Active Divergence with Generative Deep Learning -- A Survey and Taxonomy.” arXiv [cs.LG]. arXiv. http://arxiv.org/abs/2107.05599.

Paper
GANarttheory
November 12, 2023
📄
ChatGPTをチューリング・テストにかけて分かったこと

2023

まだチューリング・テストをクリアしているとは言えなそう… 今、テストを実施する意味とは?

Jones, Cameron, and Benjamin Bergen. 2023. “Does GPT-4 Pass the Turing Test?” arXiv [cs.AI]. arXiv. http://arxiv.org/abs/2310.20216.

Paper
NLPessential
November 2, 2023
📄
GLAZE: ぱっと見にはわからないノイズを画像に追加することで、拡散モデルを用いたスタイルの模倣を困難にする仕組み

2023

アーティストのスタイルが勝手に模倣されることを防ぐ Adversarial Example

Shan, Shawn, Jenna Cryan, Emily Wenger, Haitao Zheng, Rana Hanocka, and Ben Y. Zhao. 2023. “GLAZE: Protecting Artists from Style Mimicry by Text-to-Image Models.” arXiv [cs.CR]. arXiv. http://arxiv.org/abs/2302.04222.

Paper
ethicsimagesociety
February 17, 2023
📄
AudioLDM: latent diffusionを用いてテキストからオーディオ(環境音、音楽等)を生成するモデル

2023

Liu, Haohe, Zehua Chen, Yi Yuan, Xinhao Mei, Xubo Liu, Danilo Mandic, Wenwu Wang, and Mark D. Plumbley. 2023. “AudioLDM: Text-to-Audio Generation with Latent Diffusion Models.” arXiv [cs.SD] . arXiv. http://arxiv.org/abs/2301.12503.

CLAPを用いることでText-to-AudioのSOTAを達成。オープンソース化されていて、すぐに試せるオンラインデモもあり!

Paper
musicsound
February 10, 2023
📄
SingSong — ボーカルを入力に伴奏をまるっと音で生成するモデル

2023

音源分離技術を使ってボーカルとそれに付随する伴奏を抽出。その関係を学習。Ground Truth (元々の曲に入ってた伴奏)には流石に劣るがそれに匹敵するクオリティの曲を生成できるようになった。

Donahue, Chris, Antoine Caillon, Adam Roberts, Ethan Manilow, Philippe Esling, Andrea Agostinelli, Mauro Verzetti, et al. 2023. “SingSong: Generating Musical Accompaniments from Singing.” arXiv [cs.SD] . arXiv. http://arxiv.org/abs/2301.12662.

Paper
musicsound
January 31, 2023
📄
Moûsai: Latent Diffusionモデルでの音楽生成

2023

Latent Diffusionのアーキテクチャを利用して、テキストから音楽を生成するモデル

Schneider, Flavio, Zhijing Jin, and Bernhard Schölkopf. 2023. “Moûsai: Text-to-Music Generation with Long-Context Latent Diffusion.” arXiv [cs.CL] . arXiv. http://arxiv.org/abs/2301.11757.

Paper
musicsound
January 30, 2023
📄
MusicLM: テキストから音楽を生成するモデル

2023

“a calming violin melody backed by a distorted guitar riff” といったテキストから音楽がサウンドファイルとして生成される. Stable Diffusionの音楽版

Agostinelli, Andrea, Timo I. Denk, Zalán Borsos, Jesse Engel, Mauro Verzetti, Antoine Caillon, Qingqing Huang, et al. 2023. “MusicLM: Generating Music From Text.” arXiv [cs.SD] . arXiv. http://arxiv.org/abs/2301.11325.

Paper
musicsoundNLP
January 27, 2023
📄
Datasets That Are Not — 新奇性の高い出力を求めたデータセットのAugmentation手法

2022

データセットの模倣ではない、新奇性の高い出力を生成AIを用いて実現するために、生成した画像をデータセットに追加していくことを繰り返す

Wu, Yusong, Kyle Kastner, Tim Cooijmans, Cheng-Zhi Anna Huang, and Aaron Courville. n.d. “Datasets That Are Not: Evolving Novelty Through Sparsity and Iterated Learning.”

Paper
theory
January 17, 2023
📄
それっぽさと新奇性、それぞれを最大化するGANモデルを用いた音楽生成 — Musicality-Novelty GAN

2018

人真似ではない新しい音楽をAIで生成しようとする野心的な研究

Chen, Gong, Yan Liu, Sheng-Hua Zhong, and Xiang Zhang. 2018. “Musicality-Novelty Generative Adversarial Nets for Algorithmic Composition.” In Proceedings of the 26th ACM International Conference on Multimedia , 1607–15. MM ’18. New York, NY, USA: Association for Computing Machinery.

Paper
musictheory
August 7, 2022
📄
深層学習を用いたウェーブ・シェーピング合成 - NEURAL WAVESHAPING SYNTHESIS

2021

CPUでもサクサク動くのがポイント!

Hayes, B., Saitis, C., & Fazekas, G. (2021). Neural Waveshaping Synthesis.

Paper
musicsound
January 19, 2022
👨‍👩‍👦
もしAIが「へのへのもへじ」を作ったら? — CLIPと進化戦略を用いたコラージュ画像の生成

2021

画像とテキストがどれくらいマッチしているかを定量化するCLIPモデルを用いて、要素画像の配置を最適化。入力されたテキストにあったコラージュ画像を生成するシステム

CLIP-guided collage image optimization using Evolutionary Strategy

Project
visualcross-modal
December 11, 2021
👨‍👩‍👦
Botto—コミュニティのフィードバックに基づいてNFTアートを自動生成するBot

2021

CLIP+VQ-GANの仕組みを活用

Botto Project

Project
artvisualGAN
November 19, 2021
📄
X線スキャンとStyle Transferでキャンバスに隠された絵画を「復元」するプロジェクト

2019

X線写真をコンテンツ画像に、同時代の同じ作家の絵をスタイル画像としてスタイルトランスファーをかける。美術史家などからその手法に対して強い批判も上がっている。

Bourached, A., & Cann, G. H. (2019). Raiders of the Lost Art. CrossTalk, 22(7–8), 35. https://doi.org/10.1525/9780520914957-028 

Paper
artimageethics
November 11, 2021
📄
Wav2CLIP: CLIPを使用したロバストなオーディオ表現学習手法

2021

CLIPからオーディオ表現を抽出する手法であるWav2CLIPを提案。オーディオ分類・検索タスクで良好な結果を残す

Wav2CLIP: Learning Robust Audio Representations From CLIP, Andrey Guzhov, Federico Raue, Jörn Hees, Andreas Dengel (2021)

Paper
soundcross-modalimage
October 31, 2021
👨‍👩‍👦
CLIPと進化戦略ESを用いて、単純なかたちを組み合わせて描く抽象画. AIキュビズム ?

2021

テキストと画像がどのくらいマッチしているかを定量化するモデル OpenAI CLIPを評価関数に用いて、進化戦略ESによって生成した抽象画

YINGTAO TIAN, DAVID HA. Modern Evolution Strategies for Creativity: Fitting Concrete Images and Abstract Concepts (2021)

Project
imageart
October 1, 2021
💾
FakeAVCeleb - ディープフェイク技術で作った顔と話し声のデータセット

2021

顔をディープフェイク技術で動かし、リップシンクした音声を追加することで作ったDeepfake動画のデータセット。ディープフェイクへの対抗策の研究が目的。

FakeAVCeleb: A Novel Audio-Video Multimodal Deepfake Dataset, Hasam Khalid, Shahroz Tariq, Minha Kim, Simon S. Woo (2021)

Dataset
ethicssociety
September 8, 2021
👨‍👩‍👦
"AI" - GPT3を用いた実験的な演劇

2021

OpenAIの言語モデルGPT3を用いた即興劇。ロンドンの劇場での公演。 

AI by Jennifer Tang

Project
performanceNLP
September 3, 2021
💾
synth1B1 - 10億以上のシンセ音と、そのパラメータがペアになったデータセット

2021

なんと総時間は約126年分!! データセットを生成するためにpytorch上に実装された、GPUに最適化されたモジュラーシンセ torchsynthも合わせて公開。

Turian, J., Shier, J., Tzanetakis, G., McNally, K., & Henry, M. (2021). One Billion Audio Sounds from GPU-enabled Modular Synthesis.

Dataset
soundmusic
July 23, 2021
👨‍👩‍👦
画像と文章をつなげるモデル OpenAI CLIPを用いた「CLIPアート」

2021

画像とテキストの関連性の高さを判定するモデルCLIPを用いて、生成される画像を最適化 → テキストの入力にあった画像が生成

OpenAI CLIP + Image Generation Models = CLIP art

Project
artimagecross-modal
July 17, 2021
👨‍👩‍👦
The Flemish Scrollers - 議会中にサボっている議員を監視するボット

2021

顔認識とオブジェクト認識を組み合わせて、議会中に電話をいじっている議員を摘発

The Flemish Scrollers, Dries Depoorter (2021)

Project
ethicsart
July 13, 2021
📄
Neural Loop Combiner — リズム、メロディー、ベースライン... どのループを組み合わせる?

2020

現代の音楽制作過程で重要なループの組み合わせ。たくさんあるループ間の相性を判定して、適切なループの組み合わせをレコメンドする仕組み。

Chen, B.-Y., Smith, J. B. L. and Yang, Y.-H. (2020) ‘Neural Loop Combiner: Neural Network Models for Assessing the Compatibility of Loops’.

Paper
music
June 30, 2021
👨‍👩‍👦
Algorithms of Late-Capitalism — 行き過ぎた資本主義社会におけるAI/アルゴリズムの利用に光を当てるZine/Webサイト

2020

AIや機械学習が社会で用いられる場合、時にそれが市民を搾取するかたちで使われることがある。そうしたAIの利用の実例を取り上げてカタログ化するDigital Activism。

Algorithms of Late-Capitalism (2020-)

Project
ethicssociety
June 30, 2021
👨‍👩‍👦
Paint with Music - DDSPを用いて絵筆のストロークを音楽に

2021

Google Magentaチームの最新のプロジェクト。2020年に発表した DDSP: Differentiable Digital Signal Processing を使って、絵筆のストロークを楽器音に変えている。筆で描くように音を奏でることができる。

Paint with Music - Google Magenta

Project
musicsound
June 22, 2021
📄
結局AI音楽ツールって使えるの? AI音楽ツールに対する意識調査- A survey on the uptake of Music AI Software

2020

AI音楽ツールに対する意識調査を117名に対してオンラインで行った。結論からいうと... AIツールはほとんど使われていない。AIツールに対してポジティブな人も、現状ではなく未来の可能性にひかれている。

Knotts, S., & Collins, N. (2020). A survey on the uptake of Music AI Software. Proceedings of the International Conference on New Interfaces for Musical Expression, 594–600.

Paper
music
June 19, 2021
👨‍👩‍👦
演奏者が自身の姿と音を学習したAIと向き合うオーディオビジュアルパフォーマンス: Alexander Schubert - Convergence

2020

GANやAutoEncoderが使われている。2021年のアルスエレクトロニカ Digital Musics & Sound Art 部門のゴールデンニカ(最優秀賞)。

Alexander Schubert - Convergence (2020)

Project
musicperformancesoundGAN
June 18, 2021
⚒️
Datagen - AIの学習データをAIで生成、提供するスタートアップ

2021

バイアスやプライバシーへの配慮から、人を対象にしたデータセットを集めることが難しくなっている。そこでGANなどを使って、適切なデータセットを人工的に作り出す仕組みを提供するスタートアップが登場した。

-

Dataset
ethicssociety
June 12, 2021
📄
Energy and Policy Considerations for Deep Learning in NLP

2019

GPT-2などの言語モデルについて、その精度ではなく、学習時に消費している電力及び、二酸化炭素の放出量についてまとめた。この研究の試算では、例えばTransformer の学習に、一般的な自動車のライフサイクルの約5台分、アメリカ人約17人の一年分に相当するカーボンフットプリントがあることがわかった。

Emma Strubell, Ananya Ganesh, Andrew McCallum (2019)

Paper
ethicsNLP
June 10, 2021
📄
VAEベースのリズム生成モデル - Creating Latent Spaces for Modern Music Genre Rhythms Using Minimal Training Data

2020

少量の学習データでも効率的に学習できるように、最近のダンスミュージックの特徴を生かしたアーキテクチャを採用

Vigliensoni, G., Mccallum, L., & Fiebrink, R. (2020). Creating Latent Spaces for Modern Music Genre Rhythms Using Minimal Training Data. Proc. ICCC 2020.

Paper
music
June 7, 2021
📄
LoopNet—ドラムループのサウンド合成

2021

音源分離のモデルで提案されたWave-U-Netのアーキテクチャを用いて、ドラムループをまるごと生成する仕組み

Chandna, P., Ramires, A., Serra, X., & Gómez, E. (2021). LoopNet: Musical Loop Synthesis Conditioned On Intuitive Musical Parameters.

Paper
music
June 5, 2021
📄
パーカッション音の合成 - NEURAL PERCUSSIVE SYNTHESIS

2019

Ramires, A., Chandna, P., Favory, X., Gómez, E., & Serra, X. (2019). Neural Percussive Synthesis Parameterised by High-Level Timbral Features. ICASSP, IEEE International Conference on Acoustics, Speech and Signal Processing - Proceedings, 2020-May, 786–790. Retrieved from http://arxiv.org/abs/1911.11853

Paper
sound
June 4, 2021
💾
WebFace260M - インターネット上で集められた2億6千万枚の顔写真のデータセット

2021

400万人の人の2億6000万枚の顔写真のデータセットと、ゴミデータを取り除いた200万人/4200万枚の顔写真のデータセットの二種類を提供

Zhu, Z., Huang, G., Deng, J., Ye, Y., Huang, J., Chen, X., … Zhou, J. (2021). WebFace260M: A Benchmark Unveiling the Power of Million-Scale Deep Face Recognition

Dataset
ethics
June 3, 2021
📄
監視カメラの画像と画像認識で世界の国々の幸福度を計測? - Measuring Happiness Around the World through AI

2020

世界8都市の街中で撮られた動画から顔を抜き出してCNNを用いた感情推定モデルで解析。都市ごとの有意な差は見当たらないという結果に。

Ozakar, R., Gazanfer, R. E., & Sinan Hanay, Y. (2020, November 25). Measuring happiness around the World through artificial intelligence

Paper
society
June 3, 2021
📄
Paper

Paper
June 2, 2021
📄
ドラムパターンとメロディの生成 - Artificial Neural Networks Jamming on the Beat

2021

リズムパターンのデータセットもあわせて公開。

Tikhonov, A., & Yamshchikov, I. (2021, July 13). Artificial Neural Networks Jamming on the Beat. 37–44. https://doi.org/10.5220/0010461200370044

Paper
music
June 1, 2021
📄
A Bassline Generation System Based on Sequence-to-Sequence Learning

2019

2019年のNIMEで発表された論文。最新の言語モデル(seq-to-seq model)の知見を利用してドラムトラックの音声ファイルからそれにあったベースラインを生成してくれる。

Behzad Haki, & Jorda, S. (2019). A Bassline Generation System Based on Sequence-to-Sequence Learning. Proceedings of the International Conference on New Interfaces for Musical Expression, 204–209.

Paper
music
June 1, 2021
📄
NSynth: Neural Audio Synthesis—WaveNetを用いたAutoencoderで楽器音を合成

2017

WaveNetの仕組みを使ったAutoencoderで、楽器の音の時間方向の変化も含めて、潜在空間にマッピング → 潜在ベクトルから楽器の音を合成する。この研究で使った多数の楽器の音を集めたデータセット NSynth を合わせて公開。

Engel, J. et al. (2017) ‘Neural Audio Synthesis of Musical Notes with WaveNet Autoencoders’. Available

Paper
musicsound
May 28, 2021
⚒️
essentia オーディオ/音楽解析ライブラリ

https://github.com/MTG/essentia

https://github.com/MTG/essentia

Dmitry Bogdanov, et al. 2013. ESSENTIA: an open-source library for sound and music analysis. In Proceedings of the 21st ACM international conference on Multimedia (MM '13). Association for Computing Machinery, New York, NY, USA, 855–858. DOI:https://doi.org/10.1145/2502081.2502229

Tool
soundmusic
May 26, 2021
💾
1万以上のドラム、パーカッション音のデータセット — Freesound One-Shot Percussive Sounds

2020

ドラム、パーカションのワンショットを集めたデータセット

António Ramires, Pritish Chandna, Xavier Favory, Emilia Gómez, & Xavier Serra. (2020). Freesound One-Shot Percussive Sounds (Version 1.0) [Data set]. Zenodo. http://doi.org/10.5281/zenodo.3665275

Dataset
soundmusic
May 25, 2021
📄
MuseMorphose: Transformerを用いたVAEによる音楽のスタイル変換

2021

長期の時間依存性を学習できるTransformerの利点とコントロール性が高いVAEの利点。この二つを組み合わせたEncoder-Decoderアーキテクチャで、MIDIで表現された音楽のスタイル変換(Style Transfer)を実現。

Wu, S.-L. and Yang, Y.-H. (2021) ‘MuseMorphose: Full-Song and Fine-Grained Music Style Transfer with Just One Transformer VAE’

Paper
music
May 21, 2021
📄
Visual indeterminacy in GAN art

2020

GANが生成する画像の「●●ぽいけど、なんか違う...」という「不確定性」に着目し、現代アートの特徴との比較を行った上で、今後のGANアートの将来像を探る。

Hertzmann, A. (2020) ‘Visual indeterminacy in GAN art’, Leonardo. MIT Press Journals, 53(4), pp. 424–428.

Paper
arttheoryGANvisual
May 19, 2021
📄
GANを使った環境音の生成→環境音の識別モデルの性能向上

2021

環境音の識別モデルの学習のためのData Augmentation手法の提案

Madhu, A. and K, S. (2021) ‘EnvGAN: Adversarial Synthesis of Environmental Sounds for Data Augmentation’.

Paper
soundGAN
May 18, 2021
📄
Generating Long Sequences with Sparse Transformers

2019

スパースなTransformerの仕組みで計算量を抑える

Child, R. et al. (2019) ‘Generating Long Sequences with Sparse Transformers’, arXiv. arXiv. Available at: http://arxiv.org/abs/1904.10509 (Accessed: 29 January 2021).

Paper
musicvisual
May 16, 2021
📄
Neural Text Generation with Unlikelihood Training

2019

Likelihoodを最適化しようとすると頻出する単語が必要以上に頻出する結果に

Welleck, S., Kulikov, I., Roller, S., Dinan, E., Cho, K., & Weston, J. (2019). Neural Text Generation with Unlikelihood Training.

Paper
NLP
May 14, 2021
📄
The Role of AI Attribution Knowledge in the Evaluation of Artwork

2021

クラウドソーシングの仕組みを活用して、AIが描いた絵を区別できるか、またAIが描いたという情報が、絵自体の評価にどのくらい影響するのかを調査。

Gangadharbatla, H. (2021) ‘The Role of AI Attribution Knowledge in the Evaluation of Artwork’, pp. 1–19. doi: 10.1177/0276237421994697.

Paper
theoryart
May 11, 2021
👨‍👩‍👦
Exposing.AI

2021

Flickrなどに顔写真をアップロードした場合、特にCreative Commonsのライセンスなどを設定した場合、知らない間に顔認識モデルの学習データとして使われている可能性がある。このサイトは自分の写真が、学習データとして使われていないかチェックできるサイト。

Harvey, Adam. LaPlace, Jules, Exposing.AI

Project
ethics
May 5, 2021
👨‍👩‍👦
Infinite Bad Guy

2020

YouTube上で史上最も多くカバーされた楽曲ビリー・アイリッシュのBad Guy。YouTube上にあがっている曲を解析、分類し、リズムに合わせてスムーズに繋いでいく。無限に続くBad Guyジュークボックス。

Infinite Bad Guy (IYOIYO, Kyle McDonald)

Project
music
May 1, 2021
📄
Talking Drums: Generating drum grooves with neural networks.

2017

ドラムのキックの位置を入力すると、リズムパターン全体を生成するモデル。言語モデルのseq-to-seqモデルの考え方を利用。

Hutchings, P. (2017). Talking Drums: Generating drum grooves with neural networks.

Paper
music
April 30, 2021
👨‍👩‍👦
Portrait AI

2021

https://portraitai.app/

Project
April 30, 2021
💾
UAV-Human: A Large Benchmark for Human Behavior Understanding with Unmanned Aerial Vehicles

2021

ドローンから撮影した人の行動の動画のデータセット。ドローンを使った監視に直結する恐れ??

UAV-Human: A Large Benchmark for Human Behavior Understanding with Unmanned Aerial Vehicles

Dataset
ethics
April 22, 2021
⚒️
random_faces - ランダムに存在しない人の顔を生成するPythonライブラリ

2021

ライブラリをインストールしてたった二行で、存在しない人の顔画像が生成できるPythonライブラリ

random_faces

Tool
GANimageethics
April 22, 2021
👨‍👩‍👦
AAI - AIを用いたMouse on Marsのアルバム

2021

ベテラン電子音楽家、あのMouse on Marsが、AIを用いたアルバムを公開!! テキストを入力した声を合成するシステムを構築。生成した声を用いて楽曲を構成した。

"AAI" by Mouse on Mars

Project
music
April 22, 2021
💽
ArtEmis: Affective Language for Visual Art

2021

8万枚の絵画にクラウドソーシングで44万の言語情報を付加。

ArtEmis: Affective Language for Visual Art

Dataset
visualart
April 22, 2021
📄
Translating Paintings Into Music Using Neural Networks

2020

音楽とアルバムカバーの関係を学習したモデルをベースに、絵画と音楽を相互に変換するパフォーマンス

Verma, P., Basica, C. and Kivelson, P. D. (2020) ‘Translating Paintings Into Music Using Neural Networks’.

Paper
cross-modalmusicart
April 19, 2021
📄
REAL-TIME TIMBRE TRANSFER AND SOUND SYNTHESIS USING DDSP

2021

Google MagentaのDDSPをリアルタイムに動かせるプラグイン

Francesco Ganis, Erik Frej Knudesn, Søren V. K. Lyster, Robin Otterbein, David Südholt, Cumhur Erkut (2021)

Paper
musicsound
April 14, 2021
📄
Attention is All You Need

2017

現在、GPT-3から音楽生成、画像の生成まで、多様な領域で中心的な仕組みとなっているTransformerを導入した論文。時系列データの学習に一般的に用いられてきたRNNなどの複雑なネットワークを排して、比較的シンプルなAttentionだけで学習できることを示した。

Vaswani, A., Shazeer, N., Parmar, N., Uszkoreit, J., Jones, L., Gomez, A. N., Kaiser, Ł., & Polosukhin, I. (2017). Attention is all you need. Advances in Neural Information Processing Systems, 2017-Decem, 5999–6009.

Paper
NLPessential
April 1, 2021
📄
Neural Granular Sound Synthesis

2020

グラニュラーシンセシスのGrain(音の粒)をVAEを使って生成しようという試み。Grainの空間の中での軌跡についても合わせて学習。

Hertzmann, A. (2020) ‘Visual indeterminacy in GAN art’, Leonardo. MIT Press Journals, 53(4), pp. 424–428. doi: 10.1162/LEON_a_01930.

Paper
musicsound
March 30, 2021
⚒️
CinemaNet

普通の画像認識モデルのようなオブジェクトの識別に加えて、カメラのアングルやフォーカスの当て方(ソフトフォーカス...)、撮影された時間帯(夕方、朝焼け)、場所などをタグ付け

CinemaNet by Anton Marini(vade), Rahul Somani

Tool
visual
March 3, 2021
📄
WaveNetを使ったAutoencoderで音楽のドメイン間の変換を可能に! – A Universal Music Translation Network

2018

Mor, Noam, et al. "A universal music translation network." arXiv preprint arXiv:1805.07848 (2018).

Paper
music
August 13, 2020
踊るAI – Dancing to Music

2019

Lee, Hsin-Ying, et al. "Dancing to music." arXiv preprint arXiv:1911.02001 (2019)

Paper
musicart
June 24, 2020
AIを用いたAudio Visual – Stylizing Audio Reactive Visuals

2019

Han-Hung Lee, Da-Gin Wu, and Hwann-Tzong Chen, "Stylizing Audio Reactive Visuals", NeurlPS2019, (2019)

Paper
visualGAN
June 24, 2020
ピアノを即興演奏できるインターフェース – Piano Genie

2018

Piano Genie

Paper
music
May 24, 2020
歌詞からメロディを生成 – Conditional LSTM-GAN for Melody Generation from Lyrics

Yu, Yi, Abhishek Srivastava, and Simon Canales. "Conditional lstm-gan for melody generation from lyrics." ACM Transactions on Multimedia Computing, Communications, and Applications (TOMM) 17.1 (2021): 1-20.

Paper
musicGANNLP
February 12, 2020
ファッションデザイナーを助けるツール – Human and GAN collaboration to create haute couture dress

2019

Tatsuki Koga, at el., "Human and GAN collaboration to create haute couture dress", 33rd Conference on Neural Information Processing Systems, (2019)

Paper
GANart
February 12, 2020
SpaceSheets スプレッドシート型UIでの潜在空間探索 – SpaceSheets: Interactive Latent Space Exploration through a Spreadsheet Interface

2018

Loh, Bryan, and Tom White. "Spacesheets: Interactive latent space exploration through a spreadsheet interface." (2018).

Paper
GAN
February 5, 2020
記号創発問題 ─記号創発ロボティクスによる記号接地問題の本質的解決に向けて─

2016

谷口忠大, "記号創発問題: 記号創発ロボティクスによる記号接地問題の本質的解決に向けて (< 特集> 認知科学と記号創発ロボティクス: 実世界情報に基づく知覚的シンボルシステムの構成論的理解に向けて)", 人工知能 Vol.31.1, pp74-81, (2016).

Paper
theory
February 5, 2020
📄
様々なメディアのフレームを補間する – Depth-Aware Video Frame Interpolation

2020

様々なメディアのフレームを補間する – Depth-Aware Video Frame Interpolation

Paper
imagevisual
February 4, 2020
ある楽器の音色が別の楽器に!? – TimbreTron: A WaveNet(CycleGAN(CQT(Audio))) Pipeline for Musical Timbre Transfer

2018

Huang, Sicong, et al. "Timbretron: A wavenet (cyclegan (cqt (audio))) pipeline for musical timbre transfer." arXiv preprint arXiv:1811.09620 (2018).

Paper
GANmusic
February 4, 2020
📄
音源からそれぞれの楽器を分離するツール – SPLEETER

2019

CDなどのミックスされた音源からボーカル、ピアノ、ベース、ドラムのようにそれぞれの楽器(トラック)の音を抽出できるツール

SPLEETER: A FAST AND STATE-OF-THE ART MUSIC SOURCE SEPARATION TOOL WITH PRE-TRAINED MODELS

Paper
musicdj
February 3, 2020
📄
モノラル音源を映像とdeep learningを用いて立体音源に

2019

2.5D Visual Sound

Paper
January 30, 2020
💾
画像認識モデルが苦手とする画像のデータセット – Natural Adversarial Examples

2019

Dan Hendrycks, Kevin Zhao, Steven Basart, Jacob Stein- hardt, and Dawn Song. Natural adversarial examples. arXiv preprint arXiv:1907.07174, 2019.

Dataset
image
July 29, 2019
📄
自律的人工アーティストプロジェクト Artist in the Cloud: Towards an Autonomous Artist

2019

自律型人工アーティストの制作を試みるオープンプレジェクト

Artist in the Cloud: Towards an Autonomous Artist

Paper
GANart
July 17, 2019
📄
音と映像の関係性の学習 – Audio-Visual Scene Analysis with Self-Supervised Multisensory Features

2018

Audio-Visual Scene Analysis with Self-Supervised Multisensory Features

Paper
soundvisual
May 20, 2018
📄
進化と創造性 – The Surprising Creativity of Digital Evolution: A Collection of Anecdotes from the Evolutionary Computation and Artificial Life Research Communities

2020

Lehman, Joel, et al. "The surprising creativity of digital evolution: A collection of anecdotes from the evolutionary computation and artificial life research communities." Artificial life 26.2 (2020): 274-306.

Paper
March 22, 2018
📄
GANによる音の生成 – Synthesizing Audio with Generative Adversarial Networks

2018

Synthesizing Audio with Generative Adversarial Networks

Paper
GANsound
February 16, 2018
👨‍👩‍👦
ボットのみを見分ける?CAPTCHA – Humans Not Invited.

This CAPTCHA Makes Sure You're A Robot. Yes, You Read That Right

Web Site
performance
February 8, 2018
📄
動画からそれにあった音を生成 – Visual to Sound: Generating Natural Sound for Videos in the Wild

2018

Visual to Sound: Generating Natural Sound for Videos in the Wild

Paper
soundvisual
January 3, 2018
👨‍👩‍👦
ロボットを交えての即興コメディHumanMachine – Artificial Intelligence Improvisation

2017

RNNベースのseq2seq会話エンジンを持ったロボットを交えた即興の漫才. 二人のコメディアン兼研究者とロボットのショー

Improvised Comedy as a Turing Test

Project
art
December 8, 2017
📄
画像から、好みのメッシュの3Dモデルを作成する -Neural 3D Mesh Renderer-

2017

Neural 3D Mesh Renderer

Paper
visualimage
November 25, 2017
👨‍👩‍👦
Deep Learningを用いた音楽生成手法のまとめ – Deep Learning Techniques for Music Generation – A Survey

2017

Deep Learning Techniques for Music Generation – A Survey

Web Site
artmusic
November 22, 2017
👨‍👩‍👦
AIとの共作で行う「過去との対話」ー Maison book girl 「cotoeri」

2017

Maison book girl 「cotoeri」

Project
musicperformance
November 13, 2017
👨‍👩‍👦
まるでアルチンボルド? GANを用いて野菜で顔を描く – The Electronic Curator

2017

The Electronic Curator

Web Site
artGAN
November 13, 2017
👨‍👩‍👦
AIとともに紡ぐホラーストーリー – Sherry, AI-Powered Horror Stories

2017

Sherry, AI-Powered Horror Stories

Project
art
November 10, 2017
📄
アフリカの野生動物の観測にDeep Learningを利用 – Automatically identifying wild animals in camera-trap images with deep learning

2017

アフリカの野生動物の観測にDeep Learningを利用 – Automatically identifying wild animals in camera-trap images with deep learning

Automatically identifying wild animals in camera-trap images with deep learning

Paper
cross-modal
October 25, 2017
💾
人の行動の動画データセット – AVA: A Video Dataset of Spatio-temporally Localized Atomic Visual Actions

2017

AVA: A Video Dataset of Spatio-temporally Localized Atomic Visual Actions

Dataset
visualimage
October 23, 2017
👨‍👩‍👦
機械とともに描くポートレート – Delusions

2017

Delusions

demo
performancevisualimage
October 20, 2017
👨‍👩‍👦
”意識の流れを読む”「意識の辞書」 – A Dictionary of Consciousness

2017

A Dictionary of Consciousness

Project
essential
October 2, 2017
👨‍👩‍👦
顔写真から3Dモデルを生成 – Large Pose 3D Face Reconstruction from a Single Image via Direct Volumetric CNN Regression

2017

Large Pose 3D Face Reconstruction from a Single Image via Direct Volumetric CNN Regression

demo
artvisualimage
September 29, 2017
📄
Deep Learningを活用した都市の”形態学” – Urban morphology meets deep learning: Exploring urban forms in one million cities, town and villages across the planet

2017

Deep Learningを活用した都市の”形態学”

Deep Learningを活用した都市の”形態学”

Paper
society
September 25, 2017
📄
創造性をどう評価するか – A Machine Learning Approach for Evaluating Creative Artifacts

2017

「人間の創造性をどのように評価、定量化するか」という大きな問題に取り組んでいる

A Machine Learning Approach for Evaluating Creative Artifacts

Paper
art
September 16, 2017
📄
音楽の特徴に基づいたダンスの動きのリアルタイム生成 – GrooveNet: Real-Time Music-Driven Dance Movement Generation using Artificial Neural Networks

2017

音楽の特徴に基づいたダンスの動きのリアルタイム生成

GrooveNet: Real-Time Music-Driven Dance Movement Generation using Artificial Neural Networks

Paper
musiccross-modal
August 23, 2017
📄
グラフィックデザインにおける各要素の重要性を可視化 – Learning Visual Importance for Graphic Designs and Data Visualizations

2017

グラフィックデザインにおける各要素の重要性を可視化

グラフィックデザインにおける各要素の重要性を可視化 – Learning Visual Importance for Graphic Designs and Data Visualizations

Paper
image
August 8, 2017
👨‍👩‍👦
衛星写真から住民の所得を推定 – Penny, an AI to predict wealth from space

2017

衛星写真から住民の所得を推定

衛星写真から住民の所得を推定 – Penny, an AI to predict wealth from space

Project
August 6, 2017
⚒️
衛星写真から住民の所得を推定 – Penny, an AI to predict wealth from space

2017

Penny, an AI to predict wealth from space

demo
imagesociety
August 6, 2017
👨‍👩‍👦
料理の写真 ↔︎ 材料とレシピ – Learning Cross-modal Embeddings for Cooking Recipes and Food Images

2017

料理の写真 ↔︎ 材料とレシピ

Learning Cross-modal Embeddings for Cooking Recipes and Food Images

Project
imageNLPcross-modal
July 25, 2017
💾
動植物の画像データセット – The iNaturalist Challenge 2017 Dataset

2017

The iNaturalist Challenge 2017 Dataset

Dataset
visual
July 23, 2017
📄
GANで音楽生成 – MidiNet: A Convolutional Generative Adversarial Network for Symbolic-domain Music Generation using 1D and 2D Conditions

2017

GANで音楽生成

Yang, Li-Chia, Szu-Yu Chou, and Yi-Hsuan Yang. "Midinet: A convolutional generative adversarial network for symbolic-domain music generation." arXiv preprint arXiv:1703.10847 (2017).

Paper
music
July 9, 2017
👨‍👩‍👦
機械学習による、「演奏」の学習 – Performance RNN: Generating Music with Expressive Timing and Dynamics –

2017

Performance RNN: Generating Music with Expressive Timing and Dynamics

demo
musicsoundperformance
July 1, 2017
📄
過去の作品を学習することで本当に新しい作品が作れるのか?? – CAN: Creative Adversarial Networks Generating “Art” by Learning About Styles and Deviating from Style Norms

2017

CAN: Creative Adversarial Networks Generating “Art” by Learning About Styles and Deviating from Style Norms

Paper
GANartvisual
June 29, 2017
📄
人工知能の力を借り、3Dモデルを共作する – Interactive 3D Modeling with a Generative Adversarial Network –

2017

Interactive 3D Modeling with a Generative Adversarial Network

demo
visualGAN
June 25, 2017
📄
ウィットに富んだキャプション生成 – Punny Captions: WittyWordplay in Image Descriptions

2017

Chandrasekaran, Arjun, Devi Parikh, and Mohit Bansal. "Punny captions: Witty wordplay in image descriptions." arXiv preprint arXiv:1704.08224 (2017).

Paper
image
June 19, 2017
⚒️
進化の仕組みを応用した音楽ツール – Musical Novelty Search – Evolutionary Algorithms + Ableton Live

2017

Musical Novelty Search – Evolutionary Algorithms + Ableton Live

Tool
musicperformance
June 9, 2017
📄
服を着ている人の画像を生成 – A Generative Model of People in Clothing

2017

Paper
image
May 31, 2017
📄
画像⇆音の生成 – Deep Cross-Modal Audio-Visual GenerationDeep Cross-Modal Audio-Visual Generation

2017

Deep Cross-Modal Audio-Visual Generation

Paper
visualsound
May 14, 2017
📄
連想の学習 – See, Hear, and Read: Deep Aligned Representations

2017

See, Hear, and Read: Deep Aligned Representations

Paper
cross-modal
May 7, 2017
💾
車載カメラ画像データセット – Mapillary Vistas Dataset

2017

Mapillary Vistas Dataset

Dataset
visual
May 4, 2017
📄
適切なフォントの組み合わせを生成 – Fontjoy

2017

適切なフォントの組み合わせを生成 – Fontjoy

適切なフォントの組み合わせを生成 – Fontjoy

demo
visual
April 30, 2017
👨‍👩‍👦
未来を予測して動画を生成 – Generating Videos with Scene Dynamics –

2017

Generating Videos with Scene Dynamics

Project
visualimage
April 30, 2017
⚒️
声質をコピーする音声合成システム – Lyrebird

2017

Lyrebird

Tool
musicsound
April 27, 2017
📄
一枚の写真からその後の人の動きを予測 – Forecasting Human Dynamics from Static Images

2017

Forecasting Human Dynamics from Static Images

Paper
visualimageperformance
April 25, 2017
💾
いろいろなGANまとめ

2017

いろいろなGANまとめ

Dataset
April 24, 2017
👨‍👩‍👦
AIを言葉でナビして学習 – Beating Atari with Natural Language Guided Reinforcement Learning

2017

AIを言葉でナビして学習 – Beating Atari with Natural Language Guided Reinforcement Learning

AIを言葉でナビして学習 – Beating Atari with Natural Language Guided Reinforcement Learning

Paper
NLP
April 23, 2017
📄
横顔から正面から見た顔を生成 – Beyond Face Rotation: Global and Local Perception GAN for Photorealistic and Identity Preserving Frontal View Synthesis

2017

Beyond Face Rotation: Global and Local Perception GAN for Photorealistic and Identity Preserving Frontal View Synthesis

Paper
GANvisual
April 18, 2017
📄
絵を「描く」プロセスの模倣 – A Neural Representation of Sketch Drawings

2017

絵を「描く」プロセスの模倣 – A Neural Representation of Sketch Drawings

絵を「描く」プロセスの模倣 – A Neural Representation of Sketch Drawings

Paper
image
April 15, 2017
📄
目線をあやつる – Gaze Warping

2017

目線をあやつる – Gaze Warping

目線をあやつる – Gaze Warping

Web Site
image
April 7, 2017
👨‍👩‍👦
機械学習を用いたドラムマシン – The Infinite Drum Machine : Thousands of everyday sounds, organized using machine learning.

2017

The Infinite Drum Machine : Thousands of everyday sounds, organized using machine learning

Project
musicvisualsound
April 7, 2017
📄
見えない体を見る. 一人称視点の映像からカメラをつけている人の姿勢を推定. – Seeing Invisible Poses: Estimating 3D Body Pose from Egocentric Video

2017

Seeing Invisible Poses: Estimating 3D Body Pose from Egocentric Video

Paper
visualimage
April 6, 2017
📄
Attributesによる画像の美しさ判定 – Photo Aesthetics Ranking Network with Attributes and Content Adaptation

2017

Photo Aesthetics Ranking Network with Attributes and Content Adaptation

Paper
visualimage
April 4, 2017
📄
ピクセルではなくベクターで画像を生成

2016

ピクセルではなく、ベクターで画像を生成する。

ピクセルではなく、ベクターで画像を生成する。

Web Site
image
April 4, 2017
👨‍👩‍👦
転移学習(Transfer Learning)概論

2017

Transfer Learning - Machine Learning's Next Frontier

Transfer Learning - Machine Learning's Next Frontier

Web Site
theory
April 4, 2017
📄
一枚の写真からヘアスタイル全体が分かる技術 – AutoHair: Fully Automatic Hair Modeling from A Single Image

2017

AutoHair: Fully Automatic Hair Modeling from A Single Image

Paper
image
April 2, 2017
📄
CycleGAN 対訳がなくても画像を翻訳(変換) – Unpaired Image-to-Image Translation using Cycle-Consistent Adversarial Networks

2017

Unpaired Image-to-Image Translation using Cycle-Consistent Adversarial Networks

Project
visualimage
April 1, 2017
📄
ストリートビューの画像の解析による人口統計調査 – Using Deep Learning and Google Street View to Estimate the Demographic Makeup of the US

2017

Using Deep Learning and Google Street View to Estimate the Demographic Makeup of the US

Paper
visualimage
March 31, 2017
👨‍👩‍👦
GANによるカラーパレットの生成 – Colormind

2017

Colormind

Web Site
artimageGAN
March 30, 2017
👨‍👩‍👦
AIで表現するとは?壮大なデジタルの歴史から紐解く、その可能性について

2017

AIで表現するとは?壮大なデジタルの歴史から紐解く、その可能性について

Journal
GANart
March 29, 2017
📄
ファッション・トレンドの解析. 東京は… – Changing Fashion Cultures

2017

Changing Fashion Cultures

Paper
visualart
March 29, 2017
📄
ファッション・トレンドの解析. 東京は… – Changing Fashion Cultures

2017

ファッションの地理的および時系列的なトレンドをスナップ写真から解析するプロジェクト.

Abe, Kaori, et al., "Changing fashion cultures." arXiv preprint arXiv:1703.07920, (2017)

Paper
image
March 29, 2017
📄
CNNとLSTMでダンスダンスレボリューションのステップ譜を生成 – Dance Dance Convolution

2017

CNNとLSTMでダンスダンスレボリューションのステップ譜

DONAHUE, Chris; LIPTON, Zachary C.; MCAULEY, Julian, "Dance dance convolution. In: International conference on machine learning", PMLR, pp. 1039-1048, (2017)

Paper
music
March 27, 2017
📄
人気があるから綺麗とは限らない!? – An Image is Worth More than a Thousand Favorites: Surfacing the Hidden Beauty of Flickr Pictures

2015

Schifanella, Rossano, Miriam Redi, and Luca Maria Aiello, "An image is worth more than a thousand favorites: Surfacing the hidden beauty of flickr pictures.", Ninth International AAAI Conference on Web and Social Media, (2015)

Paper
image
March 27, 2017
💾
200万ものサウンド・クリップのデータセット – AudioSet

2017

AudioSet

Dataset
soundmusic
March 26, 2017
💾
ジョークを集めたデータセット – Collection of over 200,000 short jokes for humour research

2017

Collection of over 200,000 short jokes for humour research

Dataset
society
March 26, 2017
📄
fMRIの脳の反応を機械学習に利用 ?!? – Using human brain activity to guide machine learning

2017

Using human brain activity to guide machine learning

Paper
essential
March 25, 2017
📄
写真のStyle Transfer- Deep Photo Style Transfer

2017

Deep Photo Style Transfer

Paper
visualimage
March 25, 2017
📄
論文からポスターを自動生成 – Learning to Generate Posters of Scientific Papers

2017

Learning to Generate Posters of Scientific Papers

Paper
image
March 25, 2017
📄
輪郭/物体抽出の新スタンダードになるか? – Mask R-CNN

2017

Faster-RCNNの拡張. ひとつのモデルで最小限の変更で物体検出、輪郭検出、人の姿勢の検出を高い精度で行う.

HE, Kaiming, et al., "Mask r-cnn", Proceedings of the IEEE international conference on computer vision, pp. 2961-2969, (2017)

Paper
image
March 23, 2017
👨‍👩‍👦
目が回ります – DeepWarp: Photorealistic Image Resynthesis for Gaze Manipulation

2017

DeepWarp: Photorealistic Image Resynthesis for Gaze Manipulation

demo
visual
March 19, 2017
📄
DeepDreamを用いたのドローイングツール- DreamCanvas

2017

DeepDreamを用いたのドローイングツール- DreamCanvas

DeepDreamを用いたのドローイングツール- DreamCanvas

demo
visual
March 15, 2017
📄
GANを応用したSANによるSaliency Map(顕著性マップ)の生成 – Supervised Adversarial Networks for Image Saliency Detection –

2017

GANを応用したSANによるSaliency Map(顕著性マップ)の生成

GANを応用したSANによるSaliency Map(顕著性マップ)の生成 – Supervised Adversarial Networks for Image Saliency Detection –

Paper
GAN
March 15, 2017
📄
機械学習を用いたドローイングツール – AutoDraw

2017

機械学習を用いたドローイングツール – AutoDraw

機械学習を用いたドローイングツール – AutoDraw

Paper
GANimage
March 15, 2017
📄
ちょっとしたノイズを加えると…あら不思議 – Adversarial examples in the physical world

2016

Domenech, Arnau Pons, and Hartmut Ruhl. "An implicit ODE-based numerical solver for the simulation of the Heisenberg-Euler equations in 3+ 1 dimensions." arXiv preprint arXiv:1607.00253 (2016).

Paper
image
March 15, 2017
👨‍👩‍👦
Web MIDIでMagentaとセッション – Magenta Session

2017

magenta session

demo
music
March 15, 2017
📄
CRNNで鳥の声の識別 – Convolutional Recurrent Neural Networks for Bird Audio Detection

2017

Convolutional Recurrent Neural Networks for Bird Audio Detection

Paper
sound
March 13, 2017
📄
顔写真から肥満度を推定 – Face-to-BMI: Using Computer Vision to Infer Body Mass Index on Social Media

2017

Face-to-BMI: Using Computer Vision to Infer Body Mass Index on Social Media

Paper
March 12, 2017
📄
RobotArt – the Robot Art competition

2017

the Robot Art competition

RobotArt – the Robot Art competition

Web Site
image
March 11, 2017
💾
ファッション写真のデータセット – Large-scale Fashion (DeepFashion) Database

2016

ファッション写真のデータセット – Large-scale Fashion (DeepFashion) Database

Dataset
image
March 10, 2017
👨‍👩‍👦
日々のニュース写真から似通った作品を検索(テートギャラリー) – Recognition Tate

2017

日々のニュース写真から似通った作品を検索

日々のニュース写真から似通った作品を検索

Project
society
March 8, 2017
📄
ビデオのフレーム補間 – Video Frame Synthesis using Deep Voxel Fl

2017

LIU, Ziwei, et al., "Video frame synthesis using deep voxel flow", Proceedings of the IEEE International Conference on Computer Vision, pp. 4463-4471, (2017)

Paper
image
February 11, 2017
📄
音源分離 – Deep Clustering and Conventional Networks for Music Separation: Stronger Together

2016

Deep Clustering and Conventional Networks for Music Separation: Stronger Together

Paper
music
February 10, 2017
📄
フォントのStyle Transfer? – Awesome Typography: Statistics-Based Text Effects Transfer

2017

YANG, Shuai, et al. "Awesome typography: Statistics-based text effects transfer", Proceedings of the IEEE Conference on Computer Vision and Pattern Recognition, pp.7464-7473, (2017)

Paper
visualimage
February 5, 2017
💾
パラレルコーパスデータ集 : OPUS – the open parallel corpus

2017

OPUS – the open parallel corpus

Dataset
list
January 30, 2017
👨‍👩‍👦
food2vec – Augmented cooking with machine intelligence

2017

food2vec – Augmented cooking with machine intelligence

demo
essential
January 27, 2017
👨‍👩‍👦
food2vec – Augmented cooking with machine intelligence

2016

food2vec – Augmented cooking with machine intelligence

demo
NLP
January 27, 2017
👨‍👩‍👦
Learning to Draw: Generating Icons and Hieroglyphs

2017

Learning to Draw: Generating Icons and Hieroglyphs

demo
artimage
January 25, 2017
👨‍👩‍👦
How many animals can one find in a random image?

2017

How many animals can one find in a random image?

Project
artimage
January 23, 2017
📄
AENet: Learning Deep Audio Features for Video Analysis

2017

AENet: Learning Deep Audio Features for Video Analysis

Paper
visualmusic
January 20, 2017
👨‍👩‍👦
T-SNE MAP – Google Arts and Culture Experiments

2016

T-SNE MAP – Google Arts and Culture Experiments

Project
performancevisual
January 13, 2017
📄
Learning to Protect Communications with Adversarial Neural Cryptography

2016

Abadi, Martín, and David G. Andersen. "Learning to protect communications with adversarial neural cryptography." arXiv preprint arXiv:1610.06918 (2016)

Paper
GAN
January 8, 2017
👨‍👩‍👦
ドキュメンタリー – The Automation of Creativity: How man & AI will work together to improve the ad industry

2017

The Automation of Creativity: How man & AI will work together to improve the ad industry

Journal
society
January 2, 2017
ドキュメンタリー – The Automation of Creativity: How man & AI will work together to improve the ad industry

2016

ドキュメンタリー – The Automation of Creativity: How man & AI will work together to improve the ad industry

demo
performance
January 2, 2017
👨‍👩‍👦
Pix2Pixを使った風景画像の生成 – Imaginary landscapes using pix2pix

2016

Imaginary landscapes using pix2pix

Project
January 2, 2017
👨‍👩‍👦
クリエイティブ ・チューリングテスト- Turing Tests in the Creative Arts

2016

Project
art
December 23, 2016
👨‍👩‍👦
The Lakh MIDI Dataset v0.1

2016

The Lakh MIDI Dataset v0.1

Dataset
musicsound
December 22, 2016
📄
DeepBach: a Steerable Model for Bach chorales generation by Gaëtan Hadjeres, François Pachet

2017

Hadjeres, Gaëtan, François Pachet, and Frank Nielsen, "Deepbach: a steerable model for bach chorales generation.", International Conference on Machine Learning. PMLR, (2017)

Paper
music
December 19, 2016
📄
Unsupervised Learning of 3D Structure from Images

2016

Unsupervised Learning of 3D Structure from Images

Paper
visualimage
December 6, 2016
📄
SoundNet: Learning Sound Representations from Unlabeled Video

2016

Aytar, Yusuf, Carl Vondrick, and Antonio Torralba, "Soundnet: Learning sound representations from unlabeled video.", Advances in neural information processing systems 29, pp892-900 (2016)

Paper
musicsound
December 5, 2016
📄
MIDIの演奏に強弱をつけてより自然に! – Neural Translation of Musical Style

2017

Malik, Iman, and Carl Henrik Ek. "Neural translation of musical style." arXiv preprint arXiv:1708.03535 (2017).

Paper
musictheory
June 6, 2015
👨‍👩‍👦
変化し続ける架空の人物ポートレート – Portraits of Imaginary People

Portraits of Imaginary People

Project
📄
Self-Supervised VQ-VAE for One-Shot Music Style Transfer

2021

Paper
musicsound
📄
Music transformer: Generating music with long-term structure

2018

Paper
music