Overview

AIでなにか新しい「創作物」を生成するとして、それが価値のある新しい創作物なのか、それとも単に人間の創作物の模倣でしかないのか。どう評価したらよいでしょうか。この「人間の創造性をどのように評価、定量化するか」という大きな問題に取り組んでいるのが本論文です.

Abstract

Much work has been done in understanding human creativity and defining measures to evaluate creativity. This is necessary mainly for the reason of having an objective and automatic way of quanti-fying creative artifacts. In this work, we propose a regression-based learning framework which takes into account quantitatively the essential criteria for creativity like novelty, influence, value and unexpectedness. As it is often the case with most creative domains, there is no clear ground truth available for creativity. Our proposed learning framework is applicable to all creative domains; yet we evaluate it on a dataset of movies created from IMDb and Rotten Tomatoes due to availability of audience and critic scores, which can be used as proxy ground truth labels for creativity. We report promising results and observations from our experiments in the fol-lowing ways : 1) Correlation of creative criteria with critic scores, 2) Improvement in movie rating prediction with inclusion of various creative criteria, and 3) Identification of creative movies.

Architecture

題材として、IMDbやRottenTomatoの映画情報サイトに上がっている、映画の情報と点数(Rating)の関係を扱います。映画のさまざまなメタ情報 (映画のあらすじを示すキーワード、あらすじのテキスト、ジャンル名、制作予算、監督のFacebookページのLike数 etc)から、最終的な映画のレイティング(点数)を予測する回帰モデルを提案しています.

以下は予測に用いられたメタ情報とその値の表現の仕方.

Results

その中で、単純に情報と点数の関係を回帰的に学習するだけでなく、創造性の要素となるパラメータを明示的に算出し、その値を点数の予測に用いています. では、創造性の要素とはなんでしょうか？ ここでは、先行研究に基づいて 創造性の要素を以下の四つとして定義しています.

value (価値)novelty (新規性)influence (影響力)unexpectedness (意外性)

(新規性と意外性は紛らわしいですが、たとえば白黒無声映画「The Artist」は表現として新しくないですが、2000年代の表現としては意外性があります. )

新規性や意外性を定量化するためにまずは類似度を定義します. たとえば、word2vecのようなベクトルで表される特徴量に対しての類似度はコサイン類似度で定義します. 詳細は省きますが、類似度が高い映画の組に対して、PageRankアルゴリズムと同様の考え方が適用できることが論文の中で述べられています. たとえば、類似度が高い映画の組に関しては、発表された年が古い映画から新しい映画に対してリンクが貼られていると考えて、PageRankを計算することで、影響力を算出できるとしてます.

意外性に関しても同様に、評価したい映画に対して、その映画が発表された前後数年の映画すべてに対して、類似度の平均値や最大値をもとに意外性の指標をいくつか算出しています(このページの一番上のグラフ).

最終的には、元々の特徴量と上記の手順で算出した創造性の要素の値をもとに、SVMやRandom Forestなどをもとに、映画のレイティングを回帰予測するモデルを作っています。結果として、もとの特徴量だけを使った場合に比べて、創造性の要素となるnoveltyなどの値を使った場合は、二乗平均平方根誤差において4.5%程度の成績の向上が見られたそうです.

Further Thoughts

この向上がどのくらい有意なものかは議論が必要な気もしますが、創造性をどう定量的に評価するのかという大きな問題に対するアプローチとして、興味深い論文なのではないでしょうか.

Links

• arXiv