GLAZE: ぱっと見にはわからないノイズを画像に追加することで、拡散モデルを用いたスタイルの模倣を困難にする仕組み
GLAZE: ぱっと見にはわからないノイズを画像に追加することで、拡散モデルを用いたスタイルの模倣を困難にする仕組み
AudioLDM: latent diffusionを用いてテキストからオーディオ(環境音、音楽等)を生成するモデル
AudioLDM: latent diffusionを用いてテキストからオーディオ(環境音、音楽等)を生成するモデル
Datasets That Are Not — 新奇性の高い出力を求めたデータセットのAugmentation手法
Datasets That Are Not — 新奇性の高い出力を求めたデータセットのAugmentation手法
2022
Nao Tokui
それっぽさと新奇性、それぞれを最大化するGANモデルを用いた音楽生成 — Musicality-Novelty GAN
それっぽさと新奇性、それぞれを最大化するGANモデルを用いた音楽生成 — Musicality-Novelty GAN
2018
Nao Tokui
深層学習を用いたウェーブ・シェーピング合成 - NEURAL WAVESHAPING SYNTHESIS
深層学習を用いたウェーブ・シェーピング合成 - NEURAL WAVESHAPING SYNTHESIS
Musical Tempo and Key Estimation using CNNs with Directional Filters
Musical Tempo and Key Estimation using CNNs with Directional Filters
もしAIが「へのへのもへじ」を作ったら？ — CLIPと進化戦略を用いたコラージュ画像の生成
もしAIが「へのへのもへじ」を作ったら？ — CLIPと進化戦略を用いたコラージュ画像の生成
2021
Nao Tokui
CLIPと進化戦略ESを用いて、単純なかたちを組み合わせて描く抽象画. AIキュビズム ?
CLIPと進化戦略ESを用いて、単純なかたちを組み合わせて描く抽象画. AIキュビズム ?
2021
Nao Tokui
The Flemish Scrollers - 議会中にサボっている議員を監視するボット
The Flemish Scrollers - 議会中にサボっている議員を監視するボット
2021
Nao Tokui
Neural Loop Combiner — リズム、メロディー、ベースライン... どのループを組み合わせる？
Neural Loop Combiner — リズム、メロディー、ベースライン... どのループを組み合わせる？
Algorithms of Late-Capitalism — 行き過ぎた資本主義社会におけるAI/アルゴリズムの利用に光を当てるZine/Webサイト
Algorithms of Late-Capitalism — 行き過ぎた資本主義社会におけるAI/アルゴリズムの利用に光を当てるZine/Webサイト
2020
Nao Tokui
結局AI音楽ツールって使えるの？ AI音楽ツールに対する意識調査- A survey on the uptake of Music AI Software
結局AI音楽ツールって使えるの？ AI音楽ツールに対する意識調査- A survey on the uptake of Music AI Software
2020
Nao Tokui
演奏者が自身の姿と音を学習したAIと向き合うオーディオビジュアルパフォーマンス: Alexander Schubert - Convergence
演奏者が自身の姿と音を学習したAIと向き合うオーディオビジュアルパフォーマンス: Alexander Schubert - Convergence
2020
Nao Tokui
Energy and Policy Considerations for Deep Learning in NLP
Energy and Policy Considerations for Deep Learning in NLP
VAEベースのリズム生成モデル - Creating Latent Spaces for Modern Music Genre Rhythms Using Minimal Training Data
VAEベースのリズム生成モデル - Creating Latent Spaces for Modern Music Genre Rhythms Using Minimal Training Data
2020
Nao Tokui
監視カメラの画像と画像認識で世界の国々の幸福度を計測? - Measuring Happiness Around the World through AI
監視カメラの画像と画像認識で世界の国々の幸福度を計測? - Measuring Happiness Around the World through AI
畳み込みニューラルネットワークの識別能力を用いて抽象画を描く- Perception Engine
畳み込みニューラルネットワークの識別能力を用いて抽象画を描く- Perception Engine
ドラムパターンとメロディの生成 - Artificial Neural Networks Jamming on the Beat
ドラムパターンとメロディの生成 - Artificial Neural Networks Jamming on the Beat
A Bassline Generation System Based on Sequence-to-Sequence Learning
A Bassline Generation System Based on Sequence-to-Sequence Learning
NSynth: Neural Audio Synthesis—WaveNetを用いたAutoencoderで楽器音を合成
NSynth: Neural Audio Synthesis—WaveNetを用いたAutoencoderで楽器音を合成
1万以上のドラム、パーカッション音のデータセット — Freesound One-Shot Percussive Sounds
1万以上のドラム、パーカッション音のデータセット — Freesound One-Shot Percussive Sounds
Nao Tokui
Generating Long Sequences with Sparse Transformers
Generating Long Sequences with Sparse Transformers
The Role of AI Attribution Knowledge in the Evaluation of Artwork
The Role of AI Attribution Knowledge in the Evaluation of Artwork
Talking Drums: Generating drum grooves with neural networks.
Talking Drums: Generating drum grooves with neural networks.
AAI - AIを用いたMouse on Marsのアルバム
AAI - AIを用いたMouse on Marsのアルバム
2021
Nao Tokui
UAV-Human: A Large Benchmark for Human Behavior Understanding with Unmanned Aerial Vehicles
UAV-Human: A Large Benchmark for Human Behavior Understanding with Unmanned Aerial Vehicles
Translating Paintings Into Music Using Neural Networks
Translating Paintings Into Music Using Neural Networks
REAL-TIME TIMBRE TRANSFER AND SOUND SYNTHESIS USING DDSP
REAL-TIME TIMBRE TRANSFER AND SOUND SYNTHESIS USING DDSP
WaveNetを使ったAutoencoderで音楽のドメイン間の変換を可能に! – A Universal Music Translation Network
WaveNetを使ったAutoencoderで音楽のドメイン間の変換を可能に! – A Universal Music Translation Network
AIを用いたAudio Visual – Stylizing Audio Reactive Visuals
AIを用いたAudio Visual – Stylizing Audio Reactive Visuals
観客もDJの演奏に参加？？ – Experio: a Design for Novel Audience Participation in Club Settings
観客もDJの演奏に参加？？ – Experio: a Design for Novel Audience Participation in Club Settings
2014
人工知能でグルーヴを創造する – Learning to Groove with Inverse Sequence Transformations
人工知能でグルーヴを創造する – Learning to Groove with Inverse Sequence Transformations
歌詞からメロディを生成 – Conditional LSTM-GAN for Melody Generation from Lyrics
歌詞からメロディを生成 – Conditional LSTM-GAN for Melody Generation from Lyrics
ファッションデザイナーを助けるツール – Human and GAN collaboration to create haute couture dress
ファッションデザイナーを助けるツール – Human and GAN collaboration to create haute couture dress
SpaceSheets スプレッドシート型UIでの潜在空間探索 – SpaceSheets: Interactive Latent Space Exploration through a Spreadsheet Interface
SpaceSheets スプレッドシート型UIでの潜在空間探索 – SpaceSheets: Interactive Latent Space Exploration through a Spreadsheet Interface
ある楽器の音色が別の楽器に!? – TimbreTron: A WaveNet(CycleGAN(CQT(Audio))) Pipeline for Musical Timbre Transfer
ある楽器の音色が別の楽器に!? – TimbreTron: A WaveNet(CycleGAN(CQT(Audio))) Pipeline for Musical Timbre Transfer
様々なメディアのフレームを補間する – Depth-Aware Video Frame Interpolation
様々なメディアのフレームを補間する – Depth-Aware Video Frame Interpolation
画像認識モデルが苦手とする画像のデータセット – Natural Adversarial Examples
画像認識モデルが苦手とする画像のデータセット – Natural Adversarial Examples
自律的人工アーティストプロジェクト Artist in the Cloud: Towards an Autonomous Artist
自律的人工アーティストプロジェクト Artist in the Cloud: Towards an Autonomous Artist
2019
機械学習でキュレーションした写真集 – Computed Curation: a photobook created by a computer
機械学習でキュレーションした写真集 – Computed Curation: a photobook created by a computer
2019
GAN を使って音楽ジャンルを変換 – Symbolic Music Genre Transfer with CycleGAN
GAN を使って音楽ジャンルを変換 – Symbolic Music Genre Transfer with CycleGAN
音と映像の関係性の学習 – Audio-Visual Scene Analysis with Self-Supervised Multisensory Features
音と映像の関係性の学習 – Audio-Visual Scene Analysis with Self-Supervised Multisensory Features
ビデオカメラの前で一回転→人の3Dモデル – Video Based Reconstruction of 3D People Models
ビデオカメラの前で一回転→人の3Dモデル – Video Based Reconstruction of 3D People Models
進化と創造性 – The Surprising Creativity of Digital Evolution: A Collection of Anecdotes from the Evolutionary Computation and Artificial Life Research Communities
進化と創造性 – The Surprising Creativity of Digital Evolution: A Collection of Anecdotes from the Evolutionary Computation and Artificial Life Research Communities
DeepDream, Style Transferなどを使ったミュージックビデオ – Hardcore Anal Hydrogen “Jean-Pierre”
DeepDream, Style Transferなどを使ったミュージックビデオ – Hardcore Anal Hydrogen “Jean-Pierre”
2018
GANによる音の生成 – Synthesizing Audio with Generative Adversarial Networks
GANによる音の生成 – Synthesizing Audio with Generative Adversarial Networks
動画からそれにあった音を生成 – Visual to Sound: Generating Natural Sound for Videos in the Wild
動画からそれにあった音を生成 – Visual to Sound: Generating Natural Sound for Videos in the Wild
ロボットを交えての即興コメディHumanMachine – Artificial Intelligence Improvisation
ロボットを交えての即興コメディHumanMachine – Artificial Intelligence Improvisation
2017
Deep Learningを用いた音楽生成手法のまとめ – Deep Learning Techniques for Music Generation – A Survey
Deep Learningを用いた音楽生成手法のまとめ – Deep Learning Techniques for Music Generation – A Survey
まるでアルチンボルド? GANを用いて野菜で顔を描く – The Electronic Curator
まるでアルチンボルド? GANを用いて野菜で顔を描く – The Electronic Curator
2017
AIとの共作で行う「過去との対話」ー Maison book girl 「cotoeri」
AIとの共作で行う「過去との対話」ー Maison book girl 「cotoeri」
2017
AIとともに紡ぐホラーストーリー – Sherry, AI-Powered Horror Stories
AIとともに紡ぐホラーストーリー – Sherry, AI-Powered Horror Stories
2017
アフリカの野生動物の観測にDeep Learningを利用 – Automatically identifying wild animals in camera-trap images with deep learning
アフリカの野生動物の観測にDeep Learningを利用 – Automatically identifying wild animals in camera-trap images with deep learning
人の行動の動画データセット – AVA: A Video Dataset of Spatio-temporally Localized Atomic Visual Actions
人の行動の動画データセット – AVA: A Video Dataset of Spatio-temporally Localized Atomic Visual Actions
”意識の流れを読む”「意識の辞書」 – A Dictionary of Consciousness
”意識の流れを読む”「意識の辞書」 – A Dictionary of Consciousness
2017
顔写真から3Dモデルを生成 – Large Pose 3D Face Reconstruction from a Single Image via Direct Volumetric CNN Regression
顔写真から3Dモデルを生成 – Large Pose 3D Face Reconstruction from a Single Image via Direct Volumetric CNN Regression
Deep Learningを活用した都市の”形態学” – Urban morphology meets deep learning: Exploring urban forms in one million cities, town and villages across the planet
Deep Learningを活用した都市の”形態学” – Urban morphology meets deep learning: Exploring urban forms in one million cities, town and villages across the planet
創造性をどう評価するか – A Machine Learning Approach for Evaluating Creative Artifacts
創造性をどう評価するか – A Machine Learning Approach for Evaluating Creative Artifacts
音楽の特徴に基づいたダンスの動きのリアルタイム生成 – GrooveNet: Real-Time Music-Driven Dance Movement Generation using Artificial Neural Networks
音楽の特徴に基づいたダンスの動きのリアルタイム生成 – GrooveNet: Real-Time Music-Driven Dance Movement Generation using Artificial Neural Networks
グラフィックデザインにおける各要素の重要性を可視化 – Learning Visual Importance for Graphic Designs and Data Visualizations
グラフィックデザインにおける各要素の重要性を可視化 – Learning Visual Importance for Graphic Designs and Data Visualizations
2017
衛星写真から住民の所得を推定 – Penny, an AI to predict wealth from space
衛星写真から住民の所得を推定 – Penny, an AI to predict wealth from space
2017
衛星写真から住民の所得を推定 – Penny, an AI to predict wealth from space
衛星写真から住民の所得を推定 – Penny, an AI to predict wealth from space
2017
音楽⇄動画のクロスモーダルな検索技術 – Deep Learning for Content-Based, Cross-Modal Retrieval of Videos and Music
音楽⇄動画のクロスモーダルな検索技術 – Deep Learning for Content-Based, Cross-Modal Retrieval of Videos and Music
料理の写真 ↔︎ 材料とレシピ – Learning Cross-modal Embeddings for Cooking Recipes and Food Images
料理の写真 ↔︎ 材料とレシピ – Learning Cross-modal Embeddings for Cooking Recipes and Food Images
2017
動植物の画像データセット – The iNaturalist Challenge 2017 Dataset
動植物の画像データセット – The iNaturalist Challenge 2017 Dataset
GANで音楽生成 – MidiNet: A Convolutional Generative Adversarial Network for Symbolic-domain Music Generation using 1D and 2D Conditions
GANで音楽生成 – MidiNet: A Convolutional Generative Adversarial Network for Symbolic-domain Music Generation using 1D and 2D Conditions
機械学習による、「演奏」の学習
– Performance RNN: Generating Music with Expressive Timing and Dynamics –
機械学習による、「演奏」の学習
– Performance RNN: Generating Music with Expressive Timing and Dynamics –
2017
過去の作品を学習することで本当に新しい作品が作れるのか?? – CAN: Creative Adversarial Networks Generating “Art” by Learning About Styles and Deviating from Style Norms
過去の作品を学習することで本当に新しい作品が作れるのか?? – CAN: Creative Adversarial Networks Generating “Art” by Learning About Styles and Deviating from Style Norms
人工知能の力を借り、3Dモデルを共作する – Interactive 3D Modeling with a Generative Adversarial Network –
人工知能の力を借り、3Dモデルを共作する – Interactive 3D Modeling with a Generative Adversarial Network –
ウィットに富んだキャプション生成 – Punny Captions: WittyWordplay in Image Descriptions
ウィットに富んだキャプション生成 – Punny Captions: WittyWordplay in Image Descriptions
進化の仕組みを応用した音楽ツール – Musical Novelty Search – Evolutionary Algorithms + Ableton Live
進化の仕組みを応用した音楽ツール – Musical Novelty Search – Evolutionary Algorithms + Ableton Live
2017
服を着ている人の画像を生成 – A Generative Model of People in Clothing
服を着ている人の画像を生成 – A Generative Model of People in Clothing
機械学習を用いたシンセサイザーが持つ可能性 – Making a Neural Synthesizer Instrument –
機械学習を用いたシンセサイザーが持つ可能性 – Making a Neural Synthesizer Instrument –
画像⇆音の生成 – Deep Cross-Modal Audio-Visual GenerationDeep Cross-Modal Audio-Visual Generation
画像⇆音の生成 – Deep Cross-Modal Audio-Visual GenerationDeep Cross-Modal Audio-Visual Generation
連想の学習 – See, Hear, and Read: Deep Aligned Representations
連想の学習 – See, Hear, and Read: Deep Aligned Representations
未来を予測して動画を生成 – Generating Videos with Scene Dynamics –
未来を予測して動画を生成 – Generating Videos with Scene Dynamics –
一枚の写真からその後の人の動きを予測 – Forecasting Human Dynamics from Static Images
一枚の写真からその後の人の動きを予測 – Forecasting Human Dynamics from Static Images
AIを言葉でナビして学習 – Beating Atari with Natural Language Guided Reinforcement Learning
AIを言葉でナビして学習 – Beating Atari with Natural Language Guided Reinforcement Learning
2017
横顔から正面から見た顔を生成 – Beyond Face Rotation: Global and Local Perception GAN for Photorealistic and Identity Preserving Frontal View Synthesis
横顔から正面から見た顔を生成 – Beyond Face Rotation: Global and Local Perception GAN for Photorealistic and Identity Preserving Frontal View Synthesis
絵を「描く」プロセスの模倣 – A Neural Representation of Sketch Drawings
絵を「描く」プロセスの模倣 – A Neural Representation of Sketch Drawings
機械学習を用いたドラムマシン – The Infinite Drum Machine : Thousands of everyday sounds, organized using machine learning.
機械学習を用いたドラムマシン – The Infinite Drum Machine : Thousands of everyday sounds, organized using machine learning.
2017
目線をあやつる – Gaze Warping
目線をあやつる – Gaze Warping
2017
見えない体を見る. 一人称視点の映像からカメラをつけている人の姿勢を推定. – Seeing Invisible Poses: Estimating 3D Body Pose from Egocentric Video
見えない体を見る. 一人称視点の映像からカメラをつけている人の姿勢を推定. – Seeing Invisible Poses: Estimating 3D Body Pose from Egocentric Video
Attributesによる画像の美しさ判定 – Photo Aesthetics Ranking Network with Attributes and Content Adaptation
Attributesによる画像の美しさ判定 – Photo Aesthetics Ranking Network with Attributes and Content Adaptation
一枚の写真からヘアスタイル全体が分かる技術 – AutoHair: Fully Automatic Hair Modeling from A Single Image
一枚の写真からヘアスタイル全体が分かる技術 – AutoHair: Fully Automatic Hair Modeling from A Single Image
CycleGAN 対訳がなくても画像を翻訳(変換) – Unpaired Image-to-Image Translation using Cycle-Consistent Adversarial Networks
CycleGAN 対訳がなくても画像を翻訳(変換) – Unpaired Image-to-Image Translation using Cycle-Consistent Adversarial Networks
ストリートビューの画像の解析による人口統計調査 – Using Deep Learning and Google Street View to Estimate the Demographic Makeup of the US
ストリートビューの画像の解析による人口統計調査 – Using Deep Learning and Google Street View to Estimate the Demographic Makeup of the US
CNNとLSTMでダンスダンスレボリューションのステップ譜を生成 – Dance Dance Convolution
CNNとLSTMでダンスダンスレボリューションのステップ譜を生成 – Dance Dance Convolution
人気があるから綺麗とは限らない！？ – An Image is Worth More than a Thousand Favorites: Surfacing the Hidden Beauty of Flickr Pictures
人気があるから綺麗とは限らない！？ – An Image is Worth More than a Thousand Favorites: Surfacing the Hidden Beauty of Flickr Pictures
ジョークを集めたデータセット – Collection of over 200,000 short jokes for humour research
ジョークを集めたデータセット – Collection of over 200,000 short jokes for humour research
2017
論文からポスターを自動生成 – Learning to Generate Posters of Scientific Papers
論文からポスターを自動生成 – Learning to Generate Posters of Scientific Papers
fMRIの脳の反応を機械学習に利用 ?!? – Using human brain activity to guide machine learning
fMRIの脳の反応を機械学習に利用 ?!? – Using human brain activity to guide machine learning
目が回ります – DeepWarp: Photorealistic Image Resynthesis for Gaze Manipulation
目が回ります – DeepWarp: Photorealistic Image Resynthesis for Gaze Manipulation
2017
GANを応用したSANによるSaliency Map(顕著性マップ)の生成 – Supervised Adversarial Networks for Image Saliency Detection –
GANを応用したSANによるSaliency Map(顕著性マップ)の生成 – Supervised Adversarial Networks for Image Saliency Detection –
ちょっとしたノイズを加えると…あら不思議 – Adversarial examples in the physical world
ちょっとしたノイズを加えると…あら不思議 – Adversarial examples in the physical world
CRNNで鳥の声の識別 – Convolutional Recurrent Neural Networks for Bird Audio Detection
CRNNで鳥の声の識別 – Convolutional Recurrent Neural Networks for Bird Audio Detection
顔写真から肥満度を推定 – Face-to-BMI: Using Computer Vision to Infer Body Mass Index on Social Media
顔写真から肥満度を推定 – Face-to-BMI: Using Computer Vision to Infer Body Mass Index on Social Media
RobotArt – the Robot Art competition
RobotArt – the Robot Art competition
2017
ファッション写真のデータセット – Large-scale Fashion (DeepFashion) Database
ファッション写真のデータセット – Large-scale Fashion (DeepFashion) Database
2016
日々のニュース写真から似通った作品を検索(テートギャラリー) – Recognition Tate
日々のニュース写真から似通った作品を検索(テートギャラリー) – Recognition Tate
2017
ビデオのフレーム補間 – Video Frame Synthesis using Deep Voxel Fl
ビデオのフレーム補間 – Video Frame Synthesis using Deep Voxel Fl
音源分離 – Deep Clustering and Conventional Networks for Music Separation: Stronger Together
音源分離 – Deep Clustering and Conventional Networks for Music Separation: Stronger Together
フォントのStyle Transfer? – Awesome Typography: Statistics-Based Text Effects Transfer
フォントのStyle Transfer? – Awesome Typography: Statistics-Based Text Effects Transfer
パラレルコーパスデータ集 : OPUS – the open parallel corpus
パラレルコーパスデータ集 : OPUS – the open parallel corpus
2017
food2vec – Augmented cooking with machine intelligence
food2vec – Augmented cooking with machine intelligence
2017
Learning to Draw: Generating Icons and Hieroglyphs
Learning to Draw: Generating Icons and Hieroglyphs
2017
How many animals can one find in a random image?
How many animals can one find in a random image?
2017
AENet: Learning Deep Audio Features for Video Analysis
AENet: Learning Deep Audio Features for Video Analysis
T-SNE MAP – Google Arts and Culture Experiments
T-SNE MAP – Google Arts and Culture Experiments
2016
Learning to Protect Communications with Adversarial Neural Cryptography
Learning to Protect Communications with Adversarial Neural Cryptography
Pix2Pixを使った風景画像の生成 – Imaginary landscapes using pix2pix
Pix2Pixを使った風景画像の生成 – Imaginary landscapes using pix2pix
2016
ドキュメンタリー – The Automation of Creativity: How man & AI will work together to improve the ad industry
ドキュメンタリー – The Automation of Creativity: How man & AI will work together to improve the ad industry
2016
ドキュメンタリー – The Automation of Creativity: How man & AI will work together to improve the ad industry
ドキュメンタリー – The Automation of Creativity: How man & AI will work together to improve the ad industry
2017
クリエイティブ ・チューリングテスト- Turing Tests in the Creative Arts
クリエイティブ ・チューリングテスト- Turing Tests in the Creative Arts
2016
DeepBach: a Steerable Model for Bach chorales generation by Gaëtan Hadjeres, François Pachet
DeepBach: a Steerable Model for Bach chorales generation by Gaëtan Hadjeres, François Pachet
SoundNet: Learning Sound Representations from Unlabeled Video
SoundNet: Learning Sound Representations from Unlabeled Video
MIDIの演奏に強弱をつけてより自然に! – Neural Translation of Musical Style
MIDIの演奏に強弱をつけてより自然に! – Neural Translation of Musical Style
test
test
変化し続ける架空の人物ポートレート – Portraits of Imaginary People
変化し続ける架空の人物ポートレート – Portraits of Imaginary People
Symbolic Music Generation with Diffusion Models
Symbolic Music Generation with Diffusion Models
Introducing Latent Timbre Synthesis
Introducing Latent Timbre Synthesis
Self-Supervised VQ-VAE for One-Shot Music Style Transfer
Self-Supervised VQ-VAE for One-Shot Music Style Transfer
Music transformer: Generating music with long-term structure
Music transformer: Generating music with long-term structure
Novel Recording Studio Features for Music Information Retrieval
Novel Recording Studio Features for Music Information Retrieval
SING: Symbol-to-Instrument Neural Generator
SING: Symbol-to-Instrument Neural Generator
Nao Tokui
Multimodal Neurons in Artificial Neural Networks
Multimodal Neurons in Artificial Neural Networks
2021
Nao Tokui
Audio / Music Dataset
Audio / Music Dataset
Nao Tokui
On the Dangers of Stochastic Parrots: Can Language Models Be Too Big? 🦜
On the Dangers of Stochastic Parrots: Can Language Models Be Too Big? 🦜
2021
Nao Tokui
The Generative Electronic Dance Music Algorithmic System
The Generative Electronic Dance Music Algorithmic System
Nao Tokui
IRMAS Instrument Dataset
IRMAS Instrument Dataset
Bogdan Teleaga
The MTG-Jamendo Dataset
The MTG-Jamendo Dataset
2019
Bogdan Teleaga
音楽関連のオーディオのデータセット
音楽関連のオーディオのデータセット
Nao Tokui