👨‍👩‍👦

料理の写真 ↔︎ 材料とレシピ – Learning Cross-modal Embeddings for Cooking Recipes and Food Images

Entry

料理の写真 ↔︎ 材料とレシピ – Learning Cross-modal Embeddings for Cooking Recipes and Food Images

Simple Title

Learning Cross-modal Embeddings for Cooking Recipes and Food Images

Description

料理の写真 ↔︎ 材料とレシピ

Type
Project
Year

2017

Posted at
July 25, 2017
Tags
imageNLPcross-modal
image

Overview

美味しそうな料理の写真を見て、その材料やレシピを知りたいと思ったことはありませんか?

今回紹介するのは料理の画像とその材料、レシピに共通する分散表現(embeddings)を学習しようという論文です.

Technology/System

対応する料理の写真とレシピと材料のテキストを大量に用意、CNNを通して得られた画像の特徴量と、レシピと材料をそれぞれLSTMを通して得られた特徴量がお互いに似通っていくように学習を進めます.

image

Results

結果的に、料理の画像からその材料と対応するレシピをそれなりの精度で生成(というか検索)できるようになったということです!

Further Thoughts

Recipe1Mという100万以上のレシピとその画像からなるデータセットも合わせて公開されています。Watsonがレシピを考案したというニュースが一時期話題になりましたが、料理とAIの領域も今後ますます面白くなりそうですね。

Links