📄

Attributesによる画像の美しさ判定 – Photo Aesthetics Ranking Network with Attributes and Content Adaptation

Entry

Attributesによる画像の美しさ判定 – Photo Aesthetics Ranking Network with Attributes and Content Adaptation

Simple Title

Photo Aesthetics Ranking Network with Attributes and Content Adaptation

Type
Paper
Year

2017

Posted at
April 4, 2017
Tags
visualimage
image

Overview

写真の良さをスコア化して推定することはできるでしょうか?

Abstract

Real-world applications could benefit from the ability to automatically generate a fine-grained ranking of photo aesthetics. However, previous methods for image aesthetics analysis have primarily focused on the coarse, binary categorization of images into high- or low-aesthetic categories. In this work, we propose to learn a deep convolutional neural network to rank photo aesthetics in which the relative ranking of photo aesthetics are directly modeled in the loss function. Our model incorporates joint learning of meaningful photographic attributes and image content information which can help regularize the complicated photo aesthetics rating problem. To train and analyze this model, we have assembled a new aesthetics and attributes database (AADB) which contains aesthetic scores and meaningful attributes assigned to each image by multiple human raters. Anonymized rater identities are recorded across images allowing us to exploit intra-rater consistency using a novel sampling strategy when computing the ranking loss of training image pairs. We show the proposed sampling strategy is very effective and robust in face of subjective judgement of image aesthetics by individuals with different aesthetic tastes. Experiments demonstrate that our unified model can generate aesthetic rankings that are more consistent with human ratings. To further validate our model, we show that by simply thresholding the estimated aesthetic scores, we are able to achieve state-or-the-art classification performance on the existing AVA dataset benchmark.

Motivation

画像の美しさ(aesthetics)を評価する研究は以前からありますが、本研究は、

1.この分野でよく使われているAVA データセットに加えて、新たにデータセットを構築2.構図、色、照明などの、良い写真判断に影響しそうな特徴(Attributes)を学習に利用3.物体認識用にすでに学習されたAlexNetを用いて再学習(fine-tuning)4.1枚の画像で学習するだけでなく、画像ペアを用いて、スコアの大小関係も考慮して学習

している点が特徴です。2,3,4の手法をとることで、どちらのデータセットに対しても、既存の手法よりも良い結果を残しています。

Architecture

学習済みのAlexNetのsoftmax層を、Attributesと対応させたロス関数に置き換え、再学習します。

image

新しいデータセットAADB(aesthetics and attributes database)は、AVAデータセットに比べ、Flickrから取得した、より現実的な写真のみから構成されていること、上書きされた文字などの余分な情報がないこと、レーティングを付けた人のID情報が残っていることなどが特徴です。

Links