ArtEmis: Affective Language for Visual Art
💽

ArtEmis: Affective Language for Visual Art

Entry
ArtEmis — 表現されている「感情」の情報を付加した絵画のデータセット
Simple Title
ArtEmis: Affective Language for Visual Art
Description
8万枚の絵画にクラウドソーシングで44万の言語情報を付加。
Type
Dataset
Posted at
Apr 22, 2021
Tags
visualart
Year
2021

集められたデータの例。普通のCOCOのキャプションと比較すると違いがよくわかる。
集められたデータの例。普通のCOCOのキャプションと比較すると違いがよくわかる。

Overview - 何がすごい?

絵画のデータセット。一般のデータセットと違うのは、絵の中で表現されている感情や絵の内容について言葉で表現した情報が付加されていること。

8万枚の絵画にクラウドソーシングで44万の言語情報を付加している!

We present a novel large-scale dataset and accompanying machine learning models aimed at providing a detailed understanding of the interplay between visual content, its emotional effect, and explanations for the latter in language. In contrast to most existing annotation datasets in computer vision, we focus on the affective experience triggered by visual artworks and ask the annotators to indicate the dominant emotion they feel for a given image and, crucially, to also provide a grounded verbal explanation for their emotion choice. As we demonstrate below, this leads to a rich set of signals for both the objective content and the affective impact of an image, creating associations with abstract concepts (e.g., "freedom" or "love"), or references that go beyond what is directly visible, including visual similes and metaphors, or subjective references to personal experiences. We focus on visual art (e.g., paintings, artistic photographs) as it is a prime example of imagery created to elicit emotional responses from its viewers. Our dataset, termed ArtEmis, contains 439K emotion attributions and explanations from humans, on 81K artworks from WikiArt. Building on this data, we train and demonstrate a series of captioning systems capable of expressing and explaining emotions from visual stimuli. Remarkably, the captions produced by these systems often succeed in reflecting the semantic and abstract content of the image, going well beyond systems trained on existing datasets. The collected dataset and developed methods are available at this https URL.

Data

絵画自体はWikiartから集めている

クラウドソースで感情のタグ/文章による説明付け。

集められたデータはここでブラウズできる。皆、結構面白いタグをつけてる!!

クラウドソースのインタフェース
クラウドソースのインタフェース
image

Applications

集めたデータをもとに絵にキャプションをつけるモデルも構築している。普通のキャプションと違って、絵画の感情的な内容に踏み込んだキャプションになっている点が面白い。

データをもとに学習したキャプションモデルが生成した絵の解説
データをもとに学習したキャプションモデルが生成した絵の解説

Further Thoughts

  • 感情を指定してGANで絵を生成する...みたいなことはすぐにできそう。
  • 絵にそれっぽい説明をつけてくれるので、AI批評家を実装できそう。

Links

解説記事

絵画のデータセット。一般のデータセットと違うのは、絵の中で表現されている感情や絵の内容について言葉で表現した情報が付加されていること。

8万枚の絵画にクラウドソーシングで44万の言語情報を付加している!