Tag: cross-modal

2021

画像とテキストがどれくらいマッチしているかを定量化するCLIPモデルを用いて、要素画像の配置を最適化。入力されたテキストにあったコラージュ画像を生成するシステム

CLIP-guided collage image optimization using Evolutionary Strategy

2021

CLIPからオーディオ表現を抽出する手法であるWav2CLIPを提案。オーディオ分類・検索タスクで良好な結果を残す

Wav2CLIP: Learning Robust Audio Representations From CLIP, Andrey Guzhov, Federico Raue, Jörn Hees, Andreas Dengel (2021)

2021

画像とテキストの関連性の高さを判定するモデルCLIPを用いて、生成される画像を最適化 → テキストの入力にあった画像が生成

OpenAI CLIP + Image Generation Models = CLIP art

2020

音楽とアルバムカバーの関係を学習したモデルをベースに、絵画と音楽を相互に変換するパフォーマンス

Verma, P., Basica, C. and Kivelson, P. D. (2020) ‘Translating Paintings Into Music Using Neural Networks’.

2017

アフリカの野生動物の観測にDeep Learningを利用 – Automatically identifying wild animals in camera-trap images with deep learning

Automatically identifying wild animals in camera-trap images with deep learning

2017

音楽の特徴に基づいたダンスの動きのリアルタイム生成

GrooveNet: Real-Time Music-Driven Dance Movement Generation using Artificial Neural Networks

2017

料理の写真 ↔︎ 材料とレシピ

Learning Cross-modal Embeddings for Cooking Recipes and Food Images

2017

See, Hear, and Read: Deep Aligned Representations