Overview

学会用のポスターを作るのが面倒くさいという科学者共通の悩みから生まれた、ある意味不真面目（？）な試み。

Abstract

Researchers often summarize their work in the form of posters. Posters provide a coherent and efficient way to convey core ideas from scientific papers. Generating a good scientific poster, however, is a complex and time consuming cognitive task, since such posters need to be readable, informative, and visually aesthetic. In this paper, for the first time, we study the challenging problem of learning to generate posters from scientific papers. To this end, a data-driven framework, that utilizes graphical models, is proposed. Specifically, given content to display, the key elements of a good poster, including panel layout and attributes of each panel, are learned and inferred from data. Then, given inferred layout and attributes, composition of graphical elements within each panel is synthesized. To learn and validate our model, we collect and make public a Poster-Paper dataset, which consists of scientific papers and corresponding posters with exhaustively labelled panels and attributes. Qualitative and quantitative results indicate the effectiveness of our approach.

Motivation

論文のテキストからコンテンツを抽出した後、各パネル要素（Abstruct, Conclusionなど）の大きさやアスペクトなどを、要素の文字数などを入力として学習済みのベイジアンネットワークに推論させて、読みやすいパネルレイアウトを自動生成することができるらしいです。

コンテンツ抽出後の全体の処理を、

・大雑把なパネル要素の推定

・パネルレイアウトの生成

・各パネルの装飾

の3つに分けて、それぞれで違うアルゴリズムを使って学習させているのが肝みたいです。

下画像の真ん中のポスターが、このシステムで生成したポスターみたい。

下の2つ動画にある、漫画のレイアウトの自動生成の研究が先行研究らしく、こちらも面白いです！

Y. Cao, A. B. Chan, and R. W. H. Lau.Automatic Stylistic Manga Layout (ACM Trans. Graph., 31(6):141:1–141:10, Nov. 2012.)

Y. Cao, R. W. Lau, and A. B. Chan.Look Over Here: Attention-Directing Composition of Manga Elements(ACM Transactions on Graphics (TOG), 33(4):94, 2014.)

論文からポスターを自動生成 – Learning to Generate Posters of Scientific Papers

Overview

Abstract

Motivation

Links