Tag: cross-modal
もしAIが「へのへのもへじ」を作ったら？ — CLIPと進化戦略を用いたコラージュ画像の生成
2021
画像とテキストがどれくらいマッチしているかを定量化するCLIPモデルを用いて、要素画像の配置を最適化。入力されたテキストにあったコラージュ画像を生成するシステム
CLIP-guided collage image optimization using Evolutionary Strategy
Project
visualcross-modal
December 11, 2021
Wav2CLIP: CLIPを使用したロバストなオーディオ表現学習手法
2021
CLIPからオーディオ表現を抽出する手法であるWav2CLIPを提案。オーディオ分類・検索タスクで良好な結果を残す
Paper
soundcross-modalimage
October 31, 2021
画像と文章をつなげるモデル OpenAI CLIPを用いた「CLIPアート」
2021
画像とテキストの関連性の高さを判定するモデルCLIPを用いて、生成される画像を最適化 → テキストの入力にあった画像が生成
OpenAI CLIP + Image Generation Models = CLIP art
Project
artimagecross-modal
July 17, 2021
Translating Paintings Into Music Using Neural Networks
2020
音楽とアルバムカバーの関係を学習したモデルをベースに、絵画と音楽を相互に変換するパフォーマンス
Verma, P., Basica, C. and Kivelson, P. D. (2020) ‘Translating Paintings Into Music Using Neural Networks’.
Paper
cross-modalmusicart
April 19, 2021
アフリカの野生動物の観測にDeep Learningを利用 – Automatically identifying wild animals in camera-trap images with deep learning
2017
アフリカの野生動物の観測にDeep Learningを利用 – Automatically identifying wild animals in camera-trap images with deep learning
Automatically identifying wild animals in camera-trap images with deep learning
Paper
cross-modal
October 25, 2017
音楽の特徴に基づいたダンスの動きのリアルタイム生成 – GrooveNet: Real-Time Music-Driven Dance Movement Generation using Artificial Neural Networks
2017
音楽の特徴に基づいたダンスの動きのリアルタイム生成
GrooveNet: Real-Time Music-Driven Dance Movement Generation using Artificial Neural Networks
Paper
musiccross-modal
August 23, 2017
