Entry
料理の写真 ↔︎ 材料とレシピ – Learning Cross-modal Embeddings for Cooking Recipes and Food Images
Simple Title
Learning Cross-modal Embeddings for Cooking Recipes and Food Images
Description
料理の写真 ↔︎ 材料とレシピ
Type
Project
Year
2017
Posted at
July 25, 2017
Tags
imageNLPcross-modal
Project Page
Overview
美味しそうな料理の写真を見て、その材料やレシピを知りたいと思ったことはありませんか?
今回紹介するのは料理の画像とその材料、レシピに共通する分散表現(embeddings)を学習しようという論文です.
Technology/System
対応する料理の写真とレシピと材料のテキストを大量に用意、CNNを通して得られた画像の特徴量と、レシピと材料をそれぞれLSTMを通して得られた特徴量がお互いに似通っていくように学習を進めます.
Results
結果的に、料理の画像からその材料と対応するレシピをそれなりの精度で生成(というか検索)できるようになったということです！
Further Thoughts
Recipe1Mという100万以上のレシピとその画像からなるデータセットも合わせて公開されています。Watsonがレシピを考案したというニュースが一時期話題になりましたが、料理とAIの領域も今後ますます面白くなりそうですね。