アーティストのPatrick Tresset氏は、ロボットアームとWebカメラの組み合わせで人のポートレートを描くシステム/作品で知られています。彼の機械は、過去6年間に渡って世界中の美術館での展示を通して、たくさんの顔を描いてきました。

かくいう筆者も先月(2017年9月)にスロベニアのSpeculum Artiumというメディアアートフェスティバルに参加した際に、彼のマシンのモデルになった一人です。複数のマシン、それぞれのカメラのズームやピントの設定が微妙に変えてあり、マシンごとに描き方が異なる点にも感心しました。

そんな彼のマシンが描いた3500人の人の顔写真と、できあがった21000のスケッチをもとに、pix2pixモデルを学習したというのが以下のビデオです(pix2pixモデルについては風景画の生成の例を当サイトでも紹介しています.)。スケッチを入力、顔写真を出力とするモデルを学習しています。

Tresset氏がペンで顔を描くと、それに合わせてpix2pixモデルが「それらしい」顔を生成するのがわかります。

一見するとごく普通のpix2pixのフローのようにも感じられますが、学習したもとになっているデータはもともと機械が描いた絵です。機械が描いた絵を学習した機械が人とともに絵を描くという複雑な入れ子状態が存在していることに興味を惹かれました。