Overview

9月のArs Electronicaでも展示されていたMike Tykaさんの作品. GANを用いて、ポートレート(肖像画)が変化し続けていく作品です.

Portraits of Imaginary People explores the latent space of human faces by training an artificial neural network to imagine and generate portraits of non-existent people. To do so, thousands of photos of faces from Flickr were fed to a type of neural network technique called a “generative adversarial network” (GAN). GANs work by using two neural networks playing an adversarial game: one (the “generator”) tries to generate increasingly convincing output, while a the second (the “critic”) tries to learn to distinguish real photos from generated ones. At first both networks are poor at their respective tasks. But as the discriminator network starts to learn to predict fake from real, it keeps the generator on its toes, pushing it to generate harder and harder examples. As the generator gets better the discriminator also has to improve in turn, in order to keep up. With time, the generated output becomes increasingly realistic, as both adversaries try to outwit each other.

Technology/System

ブラウザ上でも鑑賞できるのでぜひ見ていただきたいのですが、まず驚かされるのがその解像度の高さと自然さです.

技術的な詳細

まずは一般的なDCGANで128 x 128の荒い絵を生成したのちに、目や口といったポイントとなる顔の要素を識別・切り出し、それらを解像度をあげるGAN (Superresolution)にかけます. これで32 x 32の顔のパーツが、256 x 256にアップサンプリングされます. 　ポートレートという領域に限定していることで可能になる手法ですね。

Results

こうしてできた顔のパーツを貼り合わせ、全体の完成です。はり合わせる際にも複数枚生成して、そのなかで一番コントラストなどがばらつかないものを選ぶといった工夫があるそうです。詳しくは技術的な詳細を書いた作者による記事をご覧ください。

タイリング

GANのソースとなる乱数を徐々に変えていった時に、生成される高解像度の顔がどう変化していくのかを動画にしたのが次のものです.

Further Thoughts

GANで○○を生成したという技術デモは数あれど、ここまでの完成度をもった「作品」は少ないのではないでしょうか。

Links

• 技術メモ
• オンラインデモ
• Ars Electronica