Tag: cross-modal
2021
画像とテキストがどれくらいマッチしているかを定量化するCLIPモデルを用いて、要素画像の配置を最適化。入力されたテキストにあったコラージュ画像を生成するシステム
CLIP-guided collage image optimization using Evolutionary Strategy

2021
CLIPからオーディオ表現を抽出する手法であるWav2CLIPを提案。オーディオ分類・検索タスクで良好な結果を残す
Wav2CLIP: Learning Robust Audio Representations From CLIP, Andrey Guzhov, Federico Raue, Jörn Hees, Andreas Dengel (2021)

2021
画像とテキストの関連性の高さを判定するモデルCLIPを用いて、生成される画像を最適化 → テキストの入力にあった画像が生成
OpenAI CLIP + Image Generation Models = CLIP art

2020
音楽とアルバムカバーの関係を学習したモデルをベースに、絵画と音楽を相互に変換するパフォーマンス
Verma, P., Basica, C. and Kivelson, P. D. (2020) ‘Translating Paintings Into Music Using Neural Networks’.

2017
アフリカの野生動物の観測にDeep Learningを利用 – Automatically identifying wild animals in camera-trap images with deep learning
Automatically identifying wild animals in camera-trap images with deep learning

2017
音楽の特徴に基づいたダンスの動きのリアルタイム生成
GrooveNet: Real-Time Music-Driven Dance Movement Generation using Artificial Neural Networks

2017
料理の写真 ↔︎ 材料とレシピ
Learning Cross-modal Embeddings for Cooking Recipes and Food Images

2017
See, Hear, and Read: Deep Aligned Representations
