Overview

ピカソ風、ゴッホ風の絵に変換できるというので一躍有名になった Style Transferの手法を「写真」に応用した研究.

Abstract

This paper introduces a deep-learning approach to photographic style transfer that handles a large variety of image content while faithfully transferring the reference style. Our approach builds upon recent work on painterly transfer that separates style from the content of an image by considering different layers of a neural network. However, as is, this approach is not suitable for photorealistic style transfer. Even when both the input and reference images are photographs, the output still exhibits distortions reminiscent of a painting. Our contribution is to constrain the transformation from the input to the output to be locally affine in colorspace, and to express this constraint as a custom CNN layer through which we can backpropagate. We show that this approach successfully suppresses distortion and yields satisfying photorealistic style transfers in a broad variety of scenarios, including transfer of the time of day, weather, season, and artistic edits.

Motivation

雪山が見事に緑に溢れた写真に変換されているのがわかる.

他の例がこちら. 左の二つが入力写真、スタイルを規定する写真. 次の二つが既存手法 (Style Transfer, CNNMRF) で、一番右が提案手法.

写真らしさをたもつために、一般的なStyle Transferの考え方に加えて、画像の変化を色空間のなかでのローカルなアフィン変換に制限すること、さらにその変換をCNNのレイヤーとして実装することでバックプロパゲーションできるようにしている点が新しい.

Further Thoughts

Matlabのコードが公開されているので、Pythonなどに移植してみると面白いと思います！

Links

• github
• arXiv