Create with AI: All

Create with AI: All

💾
References: AI

👨‍👩‍👦
画像と文章をつなげるモデル OpenAI CLIPを用いた「CLIPアート」
2021
画像とテキストの関連性の高さを判定するモデルCLIPを用いて、生成される画像を最適化 → テキストの入力にあった画像が生成
OpenAI CLIP + Image Generation Models = CLIP art
Project
artimagecross-modal
Jul 17, 2021
👨‍👩‍👦
The Flemish Scrollers - 議会中にサボっている議員を監視するボット
2021
顔認識とオブジェクト認識を組み合わせて、議会中に電話をいじっている議員を摘発
The Flemish Scrollers, Dries Depoorter (2021)
Project
ethicsart
Jul 13, 2021
📄
Neural Loop Combiner — リズム、メロディー、ベースライン... どのループを組み合わせる?
2020
現代の音楽制作過程で重要なループの組み合わせ。たくさんあるループ間の相性を判定して、適切なループの組み合わせをレコメンドする仕組み。
Chen, B.-Y., Smith, J. B. L. and Yang, Y.-H. (2020) ‘Neural Loop Combiner: Neural Network Models for Assessing the Compatibility of Loops’.
Paper
music
Jun 30, 2021
👨‍👩‍👦
Algorithms of Late-Capitalism — 行き過ぎた資本主義社会におけるAI/アルゴリズムの利用に光を当てるZine/Webサイト
2020
AIや機械学習が社会で用いられる場合、時にそれが市民を搾取するかたちで使われることがある。そうしたAIの利用の実例を取り上げてカタログ化するDigital Activism。
Algorithms of Late-Capitalism (2020-)
Project
ethicssociety
Jun 30, 2021
👨‍👩‍👦
Paint with Music - DDSPを用いて絵筆のストロークを音楽に
2021
Google Magentaチームの最新のプロジェクト。2020年に発表した DDSP: Differentiable Digital Signal Processing を使って、絵筆のストロークを楽器音に変えている。筆で描くように音を奏でることができる。
Paint with Music - Google Magenta
Project
musicsound
Jun 22, 2021
📄
結局AI音楽ツールって使えるの? AI音楽ツールに対する意識調査- A survey on the uptake of Music AI Software
2020
AI音楽ツールに対する意識調査を117名に対してオンラインで行った。結論からいうと... AIツールはほとんど使われていない。AIツールに対してポジティブな人も、現状ではなく未来の可能性にひかれている。
Knotts, S., & Collins, N. (2020). A survey on the uptake of Music AI Software. Proceedings of the International Conference on New Interfaces for Musical Expression, 594–600.
Paper
music
Jun 19, 2021
👨‍👩‍👦
演奏者が自身の姿と音を学習したAIと向き合うオーディオビジュアルパフォーマンス: Alexander Schubert - Convergence
2020
GANやAutoEncoderが使われている。2021年のアルスエレクトロニカ Digital Musics & Sound Art 部門のゴールデンニカ(最優秀賞)。
Alexander Schubert - Convergence (2020)
Project
musicperformancesoundGAN
Jun 18, 2021
⚒️
Datagen - AIの学習データをAIで生成、提供するスタートアップ
2021
バイアスやプライバシーへの配慮から、人を対象にしたデータセットを集めることが難しくなっている。そこでGANなどを使って、適切なデータセットを人工的に作り出す仕組みを提供するスタートアップが登場した。
-
Dataset
ethicssociety
Jun 12, 2021
📄
Energy and Policy Considerations for Deep Learning in NLP
2019
GPT-2などの言語モデルについて、その精度ではなく、学習時に消費している電力及び、二酸化炭素の放出量についてまとめた。この研究の試算では、例えばTransformer の学習に、一般的な自動車のライフサイクルの約5台分、アメリカ人約17人の一年分に相当するカーボンフットプリントがあることがわかった。
Emma Strubell, Ananya Ganesh, Andrew McCallum (2019)
Paper
ethicsNLP
Jun 10, 2021
📄
VAEベースのリズム生成モデル - Creating Latent Spaces for Modern Music Genre Rhythms Using Minimal Training Data
2020
少量の学習データでも効率的に学習できるように、最近のダンスミュージックの特徴を生かしたアーキテクチャを採用
Vigliensoni, G., Mccallum, L., & Fiebrink, R. (2020). Creating Latent Spaces for Modern Music Genre Rhythms Using Minimal Training Data. Proc. ICCC 2020.
Paper
music
Jun 7, 2021
📄
LoopNet—ドラムループのサウンド合成
2021
音源分離のモデルで提案されたWave-U-Netのアーキテクチャを用いて、ドラムループをまるごと生成する仕組み
Chandna, P., Ramires, A., Serra, X., & Gómez, E. (2021). LoopNet: Musical Loop Synthesis Conditioned On Intuitive Musical Parameters.
Paper
music
Jun 5, 2021
📄
パーカッション音の合成 - NEURAL PERCUSSIVE SYNTHESIS
2019
Ramires, A., Chandna, P., Favory, X., Gómez, E., & Serra, X. (2019). Neural Percussive Synthesis Parameterised by High-Level Timbral Features. ICASSP, IEEE International Conference on Acoustics, Speech and Signal Processing - Proceedings, 2020-May, 786–790. Retrieved from http://arxiv.org/abs/1911.11853
Paper
sound
Jun 4, 2021
💾
WebFace260M - インターネット上で集められた2億6千万枚の顔写真のデータセット
2021
400万人の人の2億6000万枚の顔写真のデータセットと、ゴミデータを取り除いた200万人/4200万枚の顔写真のデータセットの二種類を提供
Zhu, Z., Huang, G., Deng, J., Ye, Y., Huang, J., Chen, X., … Zhou, J. (2021). WebFace260M: A Benchmark Unveiling the Power of Million-Scale Deep Face Recognition
Dataset
ethics
Jun 3, 2021
📄
監視カメラの画像と画像認識で世界の国々の幸福度を計測? - Measuring Happiness Around the World through AI
2020
世界8都市の街中で撮られた動画から顔を抜き出してCNNを用いた感情推定モデルで解析。都市ごとの有意な差は見当たらないという結果に。
Ozakar, R., Gazanfer, R. E., & Sinan Hanay, Y. (2020, November 25). Measuring happiness around the World through artificial intelligence
Paper
society
Jun 3, 2021
📄
ドラムパターンとメロディの生成 - Artificial Neural Networks Jamming on the Beat
2021
リズムパターンのデータセットもあわせて公開。
Tikhonov, A., & Yamshchikov, I. (2021, July 13). Artificial Neural Networks Jamming on the Beat. 37–44. https://doi.org/10.5220/0010461200370044
Paper
music
Jun 1, 2021
📄
A Bassline Generation System Based on Sequence-to-Sequence Learning
2019
2019年のNIMEで発表された論文。最新の言語モデル(seq-to-seq model)の知見を利用してドラムトラックの音声ファイルからそれにあったベースラインを生成してくれる。
Behzad Haki, & Jorda, S. (2019). A Bassline Generation System Based on Sequence-to-Sequence Learning. Proceedings of the International Conference on New Interfaces for Musical Expression, 204–209.
Paper
music
Jun 1, 2021
📄
NSynth: Neural Audio Synthesis—WaveNetを用いたAutoencoderで楽器音を合成
2017
WaveNetの仕組みを使ったAutoencoderで、楽器の音の時間方向の変化も含めて、潜在空間にマッピング → 潜在ベクトルから楽器の音を合成する。この研究で使った多数の楽器の音を集めたデータセット NSynth を合わせて公開。
Engel, J. et al. (2017) ‘Neural Audio Synthesis of Musical Notes with WaveNet Autoencoders’. Available
Paper
musicsound
May 28, 2021
⚒️
essentia オーディオ/音楽解析ライブラリ
Dmitry Bogdanov, et al. 2013. ESSENTIA: an open-source library for sound and music analysis. In Proceedings of the 21st ACM international conference on Multimedia (MM '13). Association for Computing Machinery, New York, NY, USA, 855–858. DOI:https://doi.org/10.1145/2502081.2502229
Tool
soundmusic
May 26, 2021
💾
1万以上のドラム、パーカッション音のデータセット — Freesound One-Shot Percussive Sounds
2020
ドラム、パーカションのワンショットを集めたデータセット
António Ramires, Pritish Chandna, Xavier Favory, Emilia Gómez, & Xavier Serra. (2020). Freesound One-Shot Percussive Sounds (Version 1.0) [Data set]. Zenodo. http://doi.org/10.5281/zenodo.3665275
Dataset
soundmusic
May 25, 2021
📄
MuseMorphose: Transformerを用いたVAEによる音楽のスタイル変換
2021
長期の時間依存性を学習できるTransformerの利点とコントロール性が高いVAEの利点。この二つを組み合わせたEncoder-Decoderアーキテクチャで、MIDIで表現された音楽のスタイル変換(Style Transfer)を実現。
Wu, S.-L. and Yang, Y.-H. (2021) ‘MuseMorphose: Full-Song and Fine-Grained Music Style Transfer with Just One Transformer VAE’
Paper
music
May 21, 2021
📄
Visual indeterminacy in GAN art
2020
GANが生成する画像の「●●ぽいけど、なんか違う...」という「不確定性」に着目し、現代アートの特徴との比較を行った上で、今後のGANアートの将来像を探る。
Hertzmann, A. (2020) ‘Visual indeterminacy in GAN art’, Leonardo. MIT Press Journals, 53(4), pp. 424–428.
Paper
arttheoryGANvisual
May 19, 2021
📄
GANを使った環境音の生成→環境音の識別モデルの性能向上
2021
環境音の識別モデルの学習のためのData Augmentation手法の提案
Madhu, A. and K, S. (2021) ‘EnvGAN: Adversarial Synthesis of Environmental Sounds for Data Augmentation’.
Paper
soundaudioGAN
May 18, 2021
📄
Generating Long Sequences with Sparse Transformers
2019
スパースなTransformerの仕組みで計算量を抑える
Child, R. et al. (2019) ‘Generating Long Sequences with Sparse Transformers’, arXiv. arXiv. Available at: http://arxiv.org/abs/1904.10509 (Accessed: 29 January 2021).
Paper
musicvisualaudio
May 16, 2021
📄
Neural Text Generation with Unlikelihood Training
2019
Likelihoodを最適化しようとすると頻出する単語が必要以上に頻出する結果に
Welleck, S., Kulikov, I., Roller, S., Dinan, E., Cho, K., & Weston, J. (2019). Neural Text Generation with Unlikelihood Training.
Paper
NLP
May 14, 2021
📄
The Role of AI Attribution Knowledge in the Evaluation of Artwork
2021
クラウドソーシングの仕組みを活用して、AIが描いた絵を区別できるか、またAIが描いたという情報が、絵自体の評価にどのくらい影響するのかを調査。
Gangadharbatla, H. (2021) ‘The Role of AI Attribution Knowledge in the Evaluation of Artwork’, pp. 1–19. doi: 10.1177/0276237421994697.
Paper
theoryart
May 11, 2021
👨‍👩‍👦
Exposing.AI
2021
Flickrなどに顔写真をアップロードした場合、特にCreative Commonsのライセンスなどを設定した場合、知らない間に顔認識モデルの学習データとして使われている可能性がある。このサイトは自分の写真が、学習データとして使われていないかチェックできるサイト。
Harvey, Adam. LaPlace, Jules, Exposing.AI
Project
ethics
May 5, 2021
👨‍👩‍👦
Infinite Bad Guy
2020
YouTube上で史上最も多くカバーされた楽曲ビリー・アイリッシュのBad Guy。YouTube上にあがっている曲を解析、分類し、リズムに合わせてスムーズに繋いでいく。無限に続くBad Guyジュークボックス。
Infinite Bad Guy (IYOIYO, Kyle McDonald)
Project
music
May 1, 2021
📄
Talking Drums: Generating drum grooves with neural networks.
2017
ドラムのキックの位置を入力すると、リズムパターン全体を生成するモデル。言語モデルのseq-to-seqモデルの考え方を利用。
Hutchings, P. (2017). Talking Drums: Generating drum grooves with neural networks.
Paper
music
Apr 30, 2021
👨‍👩‍👦
Portrait AI
2021
Project
Apr 30, 2021
💾
UAV-Human: A Large Benchmark for Human Behavior Understanding with Unmanned Aerial Vehicles
2021
ドローンから撮影した人の行動の動画のデータセット。ドローンを使った監視に直結する恐れ??
UAV-Human: A Large Benchmark for Human Behavior Understanding with Unmanned Aerial Vehicles
Dataset
ethics
Apr 22, 2021
⚒️
random_faces - ランダムに存在しない人の顔を生成するPythonライブラリ
2021
ライブラリをインストールしてたった二行で、存在しない人の顔画像が生成できるPythonライブラリ
random_faces
Tool
GANimageethics
Apr 22, 2021
👨‍👩‍👦
AAI - AIを用いたMouse on Marsのアルバム
2021
ベテラン電子音楽家、あのMouse on Marsが、AIを用いたアルバムを公開!! テキストを入力した声を合成するシステムを構築。生成した声を用いて楽曲を構成した。
"AAI" by Mouse on Mars
Project
music
Apr 22, 2021
💽
ArtEmis: Affective Language for Visual Art
2021
8万枚の絵画にクラウドソーシングで44万の言語情報を付加。
ArtEmis: Affective Language for Visual Art
Dataset
visualart
Apr 22, 2021
📄
Translating Paintings Into Music Using Neural Networks
2020
音楽とアルバムカバーの関係を学習したモデルをベースに、絵画と音楽を相互に変換するパフォーマンス
Verma, P., Basica, C. and Kivelson, P. D. (2020) ‘Translating Paintings Into Music Using Neural Networks’.
Paper
cross-modalmusicart
Apr 19, 2021
📄
REAL-TIME TIMBRE TRANSFER AND SOUND SYNTHESIS USING DDSP
2021
Google MagentaのDDSPをリアルタイムに動かせるプラグイン
Francesco Ganis, Erik Frej Knudesn, Søren V. K. Lyster, Robin Otterbein, David Südholt, Cumhur Erkut (2021)
Paper
musicsound
Apr 14, 2021
📄
Attention is All You Need
2017
現在、GPT-3から音楽生成、画像の生成まで、多様な領域で中心的な仕組みとなっているTransformerを導入した論文。時系列データの学習に一般的に用いられてきたRNNなどの複雑なネットワークを排して、比較的シンプルなAttentionだけで学習できることを示した。
Vaswani, A., Shazeer, N., Parmar, N., Uszkoreit, J., Jones, L., Gomez, A. N., Kaiser, Ł., & Polosukhin, I. (2017). Attention is all you need. Advances in Neural Information Processing Systems, 2017-Decem, 5999–6009.
Paper
NLPessential
Apr 1, 2021
📄
Neural Granular Sound Synthesis
2020
グラニュラーシンセシスのGrain(音の粒)をVAEを使って生成しようという試み。Grainの空間の中での軌跡についても合わせて学習。
Hertzmann, A. (2020) ‘Visual indeterminacy in GAN art’, Leonardo. MIT Press Journals, 53(4), pp. 424–428. doi: 10.1162/LEON_a_01930.
Paper
musicsoundpaper
Mar 30, 2021
⚒️
CinemaNet
普通の画像認識モデルのようなオブジェクトの識別に加えて、カメラのアングルやフォーカスの当て方(ソフトフォーカス...)、撮影された時間帯(夕方、朝焼け)、場所などをタグ付け
CinemaNet by Anton Marini(vade), Rahul Somani
Tool
visual
Mar 3, 2021
📄
WaveNetを使ったAutoencoderで音楽のドメイン間の変換を可能に! – A Universal Music Translation Network
2018
Mor, Noam, et al. "A universal music translation network." arXiv preprint arXiv:1805.07848 (2018).
Paper
music
Aug 13, 2020
踊るAI – Dancing to Music
2019
Lee, Hsin-Ying, et al. "Dancing to music." arXiv preprint arXiv:1911.02001 (2019)
Paper
musicart
Jun 24, 2020
AIを用いたAudio Visual – Stylizing Audio Reactive Visuals
2019
Han-Hung Lee, Da-Gin Wu, and Hwann-Tzong Chen, "Stylizing Audio Reactive Visuals", NeurlPS2019, (2019)
Paper
visualGAN
Jun 24, 2020
ピアノを即興演奏できるインターフェース – Piano Genie
2018
Piano Genie
Paper
music
May 24, 2020
歌詞からメロディを生成 – Conditional LSTM-GAN for Melody Generation from Lyrics
Yu, Yi, Abhishek Srivastava, and Simon Canales. "Conditional lstm-gan for melody generation from lyrics." ACM Transactions on Multimedia Computing, Communications, and Applications (TOMM) 17.1 (2021): 1-20.
Paper
musicGANNLP
Feb 12, 2020
ファッションデザイナーを助けるツール – Human and GAN collaboration to create haute couture dress
2019
Tatsuki Koga, at el., "Human and GAN collaboration to create haute couture dress", 33rd Conference on Neural Information Processing Systems, (2019)
Paper
GANart
Feb 12, 2020
SpaceSheets スプレッドシート型UIでの潜在空間探索 – SpaceSheets: Interactive Latent Space Exploration through a Spreadsheet Interface
2018
Loh, Bryan, and Tom White. "Spacesheets: Interactive latent space exploration through a spreadsheet interface." (2018).
Paper
GAN
Feb 5, 2020
記号創発問題 ─記号創発ロボティクスによる記号接地問題の本質的解決に向けて─
2016
谷口忠大, "記号創発問題: 記号創発ロボティクスによる記号接地問題の本質的解決に向けて (< 特集> 認知科学と記号創発ロボティクス: 実世界情報に基づく知覚的シンボルシステムの構成論的理解に向けて)", 人工知能 Vol.31.1, pp74-81, (2016).
Paper
theory
Feb 5, 2020
📄
様々なメディアのフレームを補間する – Depth-Aware Video Frame Interpolation
2020
様々なメディアのフレームを補間する – Depth-Aware Video Frame Interpolation
Paper
imagevisual
Feb 4, 2020
ある楽器の音色が別の楽器に!? – TimbreTron: A WaveNet(CycleGAN(CQT(Audio))) Pipeline for Musical Timbre Transfer
2018
Huang, Sicong, et al. "Timbretron: A wavenet (cyclegan (cqt (audio))) pipeline for musical timbre transfer." arXiv preprint arXiv:1811.09620 (2018).
Paper
GANmusic
Feb 4, 2020
📄
音源からそれぞれの楽器を分離するツール – SPLEETER
2019
CDなどのミックスされた音源からボーカル、ピアノ、ベース、ドラムのようにそれぞれの楽器(トラック)の音を抽出できるツール
SPLEETER: A FAST AND STATE-OF-THE ART MUSIC SOURCE SEPARATION TOOL WITH PRE-TRAINED MODELS
Paper
musicdj
Feb 3, 2020
📄
モノラル音源を映像とdeep learningを用いて立体音源に
2019
2.5D Visual Sound
Paper
audio
Jan 30, 2020
💾
画像認識モデルが苦手とする画像のデータセット – Natural Adversarial Examples
2019
Dan Hendrycks, Kevin Zhao, Steven Basart, Jacob Stein- hardt, and Dawn Song. Natural adversarial examples. arXiv preprint arXiv:1907.07174, 2019.
Dataset
image
Jul 29, 2019
📄
音と映像の関係性の学習 – Audio-Visual Scene Analysis with Self-Supervised Multisensory Features
2018
Audio-Visual Scene Analysis with Self-Supervised Multisensory Features
Paper
soundvisual
May 20, 2018
📄
進化と創造性 – The Surprising Creativity of Digital Evolution: A Collection of Anecdotes from the Evolutionary Computation and Artificial Life Research Communities
2020
Lehman, Joel, et al. "The surprising creativity of digital evolution: A collection of anecdotes from the evolutionary computation and artificial life research communities." Artificial life 26.2 (2020): 274-306.
Paper
Mar 22, 2018
📄
GANによる音の生成 – Synthesizing Audio with Generative Adversarial Networks
2018
Synthesizing Audio with Generative Adversarial Networks
Paper
GANsound
Feb 16, 2018
👨‍👩‍👦
ボットのみを見分ける?CAPTCHA – Humans Not Invited.
This CAPTCHA Makes Sure You're A Robot. Yes, You Read That Right
Web Site
performance
Feb 8, 2018
📄
動画からそれにあった音を生成 – Visual to Sound: Generating Natural Sound for Videos in the Wild
2018
Visual to Sound: Generating Natural Sound for Videos in the Wild
Paper
soundvisual
Jan 3, 2018
📄
画像から、好みのメッシュの3Dモデルを作成する -Neural 3D Mesh Renderer-
2017
Neural 3D Mesh Renderer
Paper
visualimage
Nov 25, 2017
👨‍👩‍👦
Deep Learningを用いた音楽生成手法のまとめ – Deep Learning Techniques for Music Generation – A Survey
2017
Deep Learning Techniques for Music Generation – A Survey
Web Site
artmusic
Nov 22, 2017
👨‍👩‍👦
AIとの共作で行う「過去との対話」ー Maison book girl 「cotoeri」
2017
Maison book girl 「cotoeri」
Project
musicperformance
Nov 13, 2017
👨‍👩‍👦
まるでアルチンボルド? GANを用いて野菜で顔を描く – The Electronic Curator
2017
The Electronic Curator
Web Site
artGAN
Nov 13, 2017
👨‍👩‍👦
AIとともに紡ぐホラーストーリー – Sherry, AI-Powered Horror Stories
2017
Sherry, AI-Powered Horror Stories
Project
art
Nov 10, 2017
📄
アフリカの野生動物の観測にDeep Learningを利用 – Automatically identifying wild animals in camera-trap images with deep learning
2017
アフリカの野生動物の観測にDeep Learningを利用 – Automatically identifying wild animals in camera-trap images with deep learning
Automatically identifying wild animals in camera-trap images with deep learning
Paper
cross-modal
Oct 25, 2017
💾
人の行動の動画データセット – AVA: A Video Dataset of Spatio-temporally Localized Atomic Visual Actions
2017
AVA: A Video Dataset of Spatio-temporally Localized Atomic Visual Actions
Dataset
visualimage
Oct 23, 2017
👨‍👩‍👦
機械とともに描くポートレート – Delusions
2017
Delusions
demo
performancevisualimage
Oct 20, 2017
👨‍👩‍👦
”意識の流れを読む”「意識の辞書」 – A Dictionary of Consciousness
2017
A Dictionary of Consciousness
Project
essential
Oct 2, 2017
👨‍👩‍👦
顔写真から3Dモデルを生成 – Large Pose 3D Face Reconstruction from a Single Image via Direct Volumetric CNN Regression
2017
Large Pose 3D Face Reconstruction from a Single Image via Direct Volumetric CNN Regression
demo
artvisualimage
Sep 29, 2017
📄
Deep Learningを活用した都市の”形態学” – Urban morphology meets deep learning: Exploring urban forms in one million cities, town and villages across the planet
2017
Deep Learningを活用した都市の”形態学”
Deep Learningを活用した都市の”形態学”
Paper
society
Sep 25, 2017
📄
創造性をどう評価するか – A Machine Learning Approach for Evaluating Creative Artifacts
2017
「人間の創造性をどのように評価、定量化するか」という大きな問題に取り組んでいる
A Machine Learning Approach for Evaluating Creative Artifacts
Paper
art
Sep 16, 2017
📄
音楽の特徴に基づいたダンスの動きのリアルタイム生成 – GrooveNet: Real-Time Music-Driven Dance Movement Generation using Artificial Neural Networks
2017
音楽の特徴に基づいたダンスの動きのリアルタイム生成
GrooveNet: Real-Time Music-Driven Dance Movement Generation using Artificial Neural Networks
Paper
musiccross-modal
Aug 23, 2017
📄
グラフィックデザインにおける各要素の重要性を可視化 – Learning Visual Importance for Graphic Designs and Data Visualizations
2017
グラフィックデザインにおける各要素の重要性を可視化
グラフィックデザインにおける各要素の重要性を可視化 – Learning Visual Importance for Graphic Designs and Data Visualizations
Paper
image
Aug 8, 2017
👨‍👩‍👦
衛星写真から住民の所得を推定 – Penny, an AI to predict wealth from space
2017
衛星写真から住民の所得を推定
衛星写真から住民の所得を推定 – Penny, an AI to predict wealth from space
Project
Aug 6, 2017
⚒️
衛星写真から住民の所得を推定 – Penny, an AI to predict wealth from space
2017
Penny, an AI to predict wealth from space
demo
imagesociety
Aug 6, 2017
👨‍👩‍👦
料理の写真 ↔︎ 材料とレシピ – Learning Cross-modal Embeddings for Cooking Recipes and Food Images
2017
料理の写真 ↔︎ 材料とレシピ
Learning Cross-modal Embeddings for Cooking Recipes and Food Images
Project
imageNLPcross-modal
Jul 25, 2017
💾
動植物の画像データセット – The iNaturalist Challenge 2017 Dataset
2017
The iNaturalist Challenge 2017 Dataset
Dataset
visual
Jul 23, 2017
📄
GANで音楽生成 – MidiNet: A Convolutional Generative Adversarial Network for Symbolic-domain Music Generation using 1D and 2D Conditions
2017
GANで音楽生成
Yang, Li-Chia, Szu-Yu Chou, and Yi-Hsuan Yang. "Midinet: A convolutional generative adversarial network for symbolic-domain music generation." arXiv preprint arXiv:1703.10847 (2017).
Paper
music
Jul 9, 2017
👨‍👩‍👦
機械学習による、「演奏」の学習 – Performance RNN: Generating Music with Expressive Timing and Dynamics –
2017
Performance RNN: Generating Music with Expressive Timing and Dynamics
demo
musicsoundperformance
Jul 1, 2017
📄
過去の作品を学習することで本当に新しい作品が作れるのか?? – CAN: Creative Adversarial Networks Generating “Art” by Learning About Styles and Deviating from Style Norms
2017
CAN: Creative Adversarial Networks Generating “Art” by Learning About Styles and Deviating from Style Norms
Paper
GANartvisual
Jun 29, 2017
📄
人工知能の力を借り、3Dモデルを共作する – Interactive 3D Modeling with a Generative Adversarial Network –
2017
Interactive 3D Modeling with a Generative Adversarial Network
demo
visualGAN
Jun 25, 2017
📄
ウィットに富んだキャプション生成 – Punny Captions: WittyWordplay in Image Descriptions
2017
Chandrasekaran, Arjun, Devi Parikh, and Mohit Bansal. "Punny captions: Witty wordplay in image descriptions." arXiv preprint arXiv:1704.08224 (2017).
Paper
image
Jun 19, 2017
⚒️
進化の仕組みを応用した音楽ツール – Musical Novelty Search – Evolutionary Algorithms + Ableton Live
2017
Musical Novelty Search – Evolutionary Algorithms + Ableton Live
Tool
musicperformance
Jun 9, 2017
📄
服を着ている人の画像を生成 – A Generative Model of People in Clothing
2017
Paper
image
May 31, 2017
📄
画像⇆音の生成 – Deep Cross-Modal Audio-Visual GenerationDeep Cross-Modal Audio-Visual Generation
2017
Deep Cross-Modal Audio-Visual Generation
Paper
visualsound
May 14, 2017
📄
連想の学習 – See, Hear, and Read: Deep Aligned Representations
2017
See, Hear, and Read: Deep Aligned Representations
Paper
cross-modal
May 7, 2017
💾
車載カメラ画像データセット – Mapillary Vistas Dataset
2017
Mapillary Vistas Dataset
Dataset
visual
May 4, 2017
📄
適切なフォントの組み合わせを生成 – Fontjoy
2017
適切なフォントの組み合わせを生成 – Fontjoy
適切なフォントの組み合わせを生成 – Fontjoy
demo
visual
Apr 30, 2017
👨‍👩‍👦
未来を予測して動画を生成 – Generating Videos with Scene Dynamics –
2017
Generating Videos with Scene Dynamics
Project
visualimage
Apr 30, 2017
⚒️
声質をコピーする音声合成システム – Lyrebird
2017
Lyrebird
Tool
musicsound
Apr 27, 2017
📄
一枚の写真からその後の人の動きを予測 – Forecasting Human Dynamics from Static Images
2017
Forecasting Human Dynamics from Static Images
Paper
visualimageperformance
Apr 25, 2017
💾
いろいろなGANまとめ
2017
いろいろなGANまとめ
Dataset
Apr 24, 2017
👨‍👩‍👦
AIを言葉でナビして学習 – Beating Atari with Natural Language Guided Reinforcement Learning
2017
AIを言葉でナビして学習 – Beating Atari with Natural Language Guided Reinforcement Learning
AIを言葉でナビして学習 – Beating Atari with Natural Language Guided Reinforcement Learning
Paper
NLP
Apr 23, 2017
📄
横顔から正面から見た顔を生成 – Beyond Face Rotation: Global and Local Perception GAN for Photorealistic and Identity Preserving Frontal View Synthesis
2017
Beyond Face Rotation: Global and Local Perception GAN for Photorealistic and Identity Preserving Frontal View Synthesis
Paper
GANvisual
Apr 18, 2017
📄
絵を「描く」プロセスの模倣 – A Neural Representation of Sketch Drawings
2017
絵を「描く」プロセスの模倣 – A Neural Representation of Sketch Drawings
絵を「描く」プロセスの模倣 – A Neural Representation of Sketch Drawings
Paper
image
Apr 15, 2017
📄
目線をあやつる – Gaze Warping
2017
目線をあやつる – Gaze Warping
目線をあやつる – Gaze Warping
Web Site
image
Apr 7, 2017
👨‍👩‍👦
機械学習を用いたドラムマシン – The Infinite Drum Machine : Thousands of everyday sounds, organized using machine learning.
2017
The Infinite Drum Machine : Thousands of everyday sounds, organized using machine learning
Project
musicvisualsound
Apr 7, 2017
📄
見えない体を見る. 一人称視点の映像からカメラをつけている人の姿勢を推定. – Seeing Invisible Poses: Estimating 3D Body Pose from Egocentric Video
2017
Seeing Invisible Poses: Estimating 3D Body Pose from Egocentric Video
Paper
visualimage
Apr 6, 2017
📄
Attributesによる画像の美しさ判定 – Photo Aesthetics Ranking Network with Attributes and Content Adaptation
2017
Photo Aesthetics Ranking Network with Attributes and Content Adaptation
Paper
visualimage
Apr 4, 2017
📄
ピクセルではなくベクターで画像を生成
2016
ピクセルではなく、ベクターで画像を生成する。
ピクセルではなく、ベクターで画像を生成する。
Web Site
image
Apr 4, 2017
👨‍👩‍👦
転移学習(Transfer Learning)概論
2017
Transfer Learning - Machine Learning's Next Frontier
Transfer Learning - Machine Learning's Next Frontier
Web Site
theory
Apr 4, 2017
📄
一枚の写真からヘアスタイル全体が分かる技術 – AutoHair: Fully Automatic Hair Modeling from A Single Image
2017
AutoHair: Fully Automatic Hair Modeling from A Single Image
Paper
image
Apr 2, 2017
📄
CycleGAN 対訳がなくても画像を翻訳(変換) – Unpaired Image-to-Image Translation using Cycle-Consistent Adversarial Networks
2017
Unpaired Image-to-Image Translation using Cycle-Consistent Adversarial Networks
Project
visualimage
Apr 1, 2017
📄
ストリートビューの画像の解析による人口統計調査 – Using Deep Learning and Google Street View to Estimate the Demographic Makeup of the US
2017
Using Deep Learning and Google Street View to Estimate the Demographic Makeup of the US
Paper
visualimage
Mar 31, 2017
👨‍👩‍👦
GANによるカラーパレットの生成 – Colormind
2017
Colormind
Web Site
artimageGAN
Mar 30, 2017
👨‍👩‍👦
AIで表現するとは?壮大なデジタルの歴史から紐解く、その可能性について
2017
AIで表現するとは?壮大なデジタルの歴史から紐解く、その可能性について
Journal
GANart
Mar 29, 2017
📄
ファッション・トレンドの解析. 東京は… – Changing Fashion Cultures
2017
Changing Fashion Cultures
Paper
visualart
Mar 29, 2017
📄
ファッション・トレンドの解析. 東京は… – Changing Fashion Cultures
2017
ファッションの地理的および時系列的なトレンドをスナップ写真から解析するプロジェクト.
Abe, Kaori, et al., "Changing fashion cultures." arXiv preprint arXiv:1703.07920, (2017)
Paper
image
Mar 29, 2017
📄
CNNとLSTMでダンスダンスレボリューションのステップ譜を生成 – Dance Dance Convolution
2017
CNNとLSTMでダンスダンスレボリューションのステップ譜
DONAHUE, Chris; LIPTON, Zachary C.; MCAULEY, Julian, "Dance dance convolution. In: International conference on machine learning", PMLR, pp. 1039-1048, (2017)
Paper
music
Mar 27, 2017
📄
人気があるから綺麗とは限らない!? – An Image is Worth More than a Thousand Favorites: Surfacing the Hidden Beauty of Flickr Pictures
2015
Schifanella, Rossano, Miriam Redi, and Luca Maria Aiello, "An image is worth more than a thousand favorites: Surfacing the hidden beauty of flickr pictures.", Ninth International AAAI Conference on Web and Social Media, (2015)
Paper
image
Mar 27, 2017
💾
200万ものサウンド・クリップのデータセット – AudioSet
2017
AudioSet
Dataset
soundmusic
Mar 26, 2017
💾
ジョークを集めたデータセット – Collection of over 200,000 short jokes for humour research
2017
Collection of over 200,000 short jokes for humour research
Dataset
society
Mar 26, 2017
📄
fMRIの脳の反応を機械学習に利用 ?!? – Using human brain activity to guide machine learning
2017
Using human brain activity to guide machine learning
Paper
essential
Mar 25, 2017
📄
写真のStyle Transfer- Deep Photo Style Transfer
2017
Deep Photo Style Transfer
Paper
visualimage
Mar 25, 2017
📄
論文からポスターを自動生成 – Learning to Generate Posters of Scientific Papers
2017
Learning to Generate Posters of Scientific Papers
Paper
image
Mar 25, 2017
📄
輪郭/物体抽出の新スタンダードになるか? – Mask R-CNN
2017
Faster-RCNNの拡張. ひとつのモデルで最小限の変更で物体検出、輪郭検出、人の姿勢の検出を高い精度で行う.
HE, Kaiming, et al., "Mask r-cnn", Proceedings of the IEEE international conference on computer vision, pp. 2961-2969, (2017)
Paper
image
Mar 23, 2017
👨‍👩‍👦
目が回ります – DeepWarp: Photorealistic Image Resynthesis for Gaze Manipulation
2017
DeepWarp: Photorealistic Image Resynthesis for Gaze Manipulation
demo
visual
Mar 19, 2017
📄
DeepDreamを用いたのドローイングツール- DreamCanvas
2017
DeepDreamを用いたのドローイングツール- DreamCanvas
DeepDreamを用いたのドローイングツール- DreamCanvas
demo
visual
Mar 15, 2017
📄
GANを応用したSANによるSaliency Map(顕著性マップ)の生成 – Supervised Adversarial Networks for Image Saliency Detection –
2017
GANを応用したSANによるSaliency Map(顕著性マップ)の生成
GANを応用したSANによるSaliency Map(顕著性マップ)の生成 – Supervised Adversarial Networks for Image Saliency Detection –
Paper
GAN
Mar 15, 2017
📄
機械学習を用いたドローイングツール – AutoDraw
2017
機械学習を用いたドローイングツール – AutoDraw
機械学習を用いたドローイングツール – AutoDraw
Paper
GANimage
Mar 15, 2017
📄
ちょっとしたノイズを加えると…あら不思議 – Adversarial examples in the physical world
2016
Domenech, Arnau Pons, and Hartmut Ruhl. "An implicit ODE-based numerical solver for the simulation of the Heisenberg-Euler equations in 3+ 1 dimensions." arXiv preprint arXiv:1607.00253 (2016).
Paper
image
Mar 15, 2017
👨‍👩‍👦
Web MIDIでMagentaとセッション – Magenta Session
2017
magenta session
demo
music
Mar 15, 2017
📄
CRNNで鳥の声の識別 – Convolutional Recurrent Neural Networks for Bird Audio Detection
2017
Convolutional Recurrent Neural Networks for Bird Audio Detection
Paper
sound
Mar 13, 2017
📄
顔写真から肥満度を推定 – Face-to-BMI: Using Computer Vision to Infer Body Mass Index on Social Media
2017
Face-to-BMI: Using Computer Vision to Infer Body Mass Index on Social Media
Paper
Mar 12, 2017
📄
RobotArt – the Robot Art competition
2017
the Robot Art competition
RobotArt – the Robot Art competition
Web Site
image
Mar 11, 2017
💾
ファッション写真のデータセット – Large-scale Fashion (DeepFashion) Database
2016
ファッション写真のデータセット – Large-scale Fashion (DeepFashion) Database
Dataset
image
Mar 10, 2017
👨‍👩‍👦
日々のニュース写真から似通った作品を検索(テートギャラリー) – Recognition Tate
2017
日々のニュース写真から似通った作品を検索
日々のニュース写真から似通った作品を検索
Project
society
Mar 8, 2017
📄
ビデオのフレーム補間 – Video Frame Synthesis using Deep Voxel Fl
2017
LIU, Ziwei, et al., "Video frame synthesis using deep voxel flow", Proceedings of the IEEE International Conference on Computer Vision, pp. 4463-4471, (2017)
Paper
image
Feb 11, 2017
📄
音源分離 – Deep Clustering and Conventional Networks for Music Separation: Stronger Together
2016
Deep Clustering and Conventional Networks for Music Separation: Stronger Together
Paper
music
Feb 10, 2017
📄
フォントのStyle Transfer? – Awesome Typography: Statistics-Based Text Effects Transfer
2017
YANG, Shuai, et al. "Awesome typography: Statistics-based text effects transfer", Proceedings of the IEEE Conference on Computer Vision and Pattern Recognition, pp.7464-7473, (2017)
Paper
visualimage
Feb 5, 2017
💾
パラレルコーパスデータ集 : OPUS – the open parallel corpus
2017
OPUS – the open parallel corpus
Dataset
list
Jan 30, 2017
👨‍👩‍👦
food2vec – Augmented cooking with machine intelligence
2017
food2vec – Augmented cooking with machine intelligence
demo
essential
Jan 27, 2017
👨‍👩‍👦
food2vec – Augmented cooking with machine intelligence
2016
food2vec – Augmented cooking with machine intelligence
demo
NLP
Jan 27, 2017
👨‍👩‍👦
Learning to Draw: Generating Icons and Hieroglyphs
2017
Learning to Draw: Generating Icons and Hieroglyphs
demo
artimage
Jan 25, 2017
👨‍👩‍👦
How many animals can one find in a random image?
2017
How many animals can one find in a random image?
Project
artimage
Jan 23, 2017
📄
AENet: Learning Deep Audio Features for Video Analysis
2017
AENet: Learning Deep Audio Features for Video Analysis
Paper
visualmusic
Jan 20, 2017
👨‍👩‍👦
T-SNE MAP – Google Arts and Culture Experiments
2016
T-SNE MAP – Google Arts and Culture Experiments
Project
performancevisual
Jan 13, 2017
📄
Learning to Protect Communications with Adversarial Neural Cryptography
2016
Abadi, Martín, and David G. Andersen. "Learning to protect communications with adversarial neural cryptography." arXiv preprint arXiv:1610.06918 (2016)
Paper
GAN
Jan 8, 2017
👨‍👩‍👦
ドキュメンタリー – The Automation of Creativity: How man & AI will work together to improve the ad industry
2017
The Automation of Creativity: How man & AI will work together to improve the ad industry
Journal
society
Jan 2, 2017
ドキュメンタリー – The Automation of Creativity: How man & AI will work together to improve the ad industry
2016
ドキュメンタリー – The Automation of Creativity: How man & AI will work together to improve the ad industry
demo
performance
Jan 2, 2017
👨‍👩‍👦
Pix2Pixを使った風景画像の生成 – Imaginary landscapes using pix2pix
2016
Imaginary landscapes using pix2pix
Project
Jan 2, 2017
👨‍👩‍👦
クリエイティブ ・チューリングテスト- Turing Tests in the Creative Arts
2016
Project
art
Dec 23, 2016
👨‍👩‍👦
The Lakh MIDI Dataset v0.1
2016
The Lakh MIDI Dataset v0.1
Dataset
musicsound
Dec 22, 2016
📄
DeepBach: a Steerable Model for Bach chorales generation by Gaëtan Hadjeres, François Pachet
2017
Hadjeres, Gaëtan, François Pachet, and Frank Nielsen, "Deepbach: a steerable model for bach chorales generation.", International Conference on Machine Learning. PMLR, (2017)
Paper
music
Dec 19, 2016
📄
Unsupervised Learning of 3D Structure from Images
2016
Unsupervised Learning of 3D Structure from Images
Paper
visualimage
Dec 6, 2016
📄
SoundNet: Learning Sound Representations from Unlabeled Video
2016
Aytar, Yusuf, Carl Vondrick, and Antonio Torralba, "Soundnet: Learning sound representations from unlabeled video.", Advances in neural information processing systems 29, pp892-900 (2016)
Paper
musicsound
Dec 5, 2016
📄
MIDIの演奏に強弱をつけてより自然に! – Neural Translation of Musical Style
2017
Malik, Iman, and Carl Henrik Ek. "Neural translation of musical style." arXiv preprint arXiv:1708.03535 (2017).
Paper
musictheory
Jun 6, 2015
👨‍👩‍👦
変化し続ける架空の人物ポートレート – Portraits of Imaginary People
Portraits of Imaginary People
Project
📄
Self-Supervised VQ-VAE for One-Shot Music Style Transfer
2021
Paper
musicsound
📄
Music transformer: Generating music with long-term structure
2018
Paper
music