📄

X線スキャンとStyle Transferでキャンバスに隠された絵画を「復元」するプロジェクト

Entry
X線スキャンとStyle Transferでキャンバスに隠された絵画を「復元」するプロジェクト
Simple Title
Bourached, A., & Cann, G. H. (2019). Raiders of the Lost Art. CrossTalk, 22(7–8), 35. https://doi.org/10.1525/9780520914957-028 
Description
X線写真をコンテンツ画像に、同時代の同じ作家の絵をスタイル画像としてスタイルトランスファーをかける。美術史家などからその手法に対して強い批判も上がっている。
Type
Paper
Posted at
November 11, 2021
Tags
artimageethics
Year
2019
ピカソの「老いたギター弾き」に隠された絵画から「復元」された新しい絵、「失われた女」
ピカソの「老いたギター弾き」に隠された絵画から「復元」された新しい絵、「失われた女」

Overview

  • アーティストが描きかけの絵の上から別の絵を描くことで、埋もれてしまった絵画があることはよく知られている。X線でのスキャンでそうした描きかけの絵を可視化することで、アーティストの絵を描くプロセスに光を当てるという研究は以前から行われてきた。
  • この研究はX線スキャンで可視化した書き換えの絵にスタイルトランスファー(写真をピカソ風、ゴッホ風にするというあれ) をかけることで、「失われた絵」「埋もれてしまった絵」を「復元」するというプロジェクト

Abstract

Neural style transfer, first proposed by Gatys et al. (2015), can be used to create novel artistic work through rendering a content image in the form of a style image. We present a novel method of reconstructing lost artwork, by applying neural style transfer to x-radiographs of artwork with secondary interior artwork beneath a primary exterior, so as to reconstruct lost artwork. Finally we reflect on AI art exhibitions and discuss the social, cultural, ethical, and philosophical impact of these technical innovations

System

  • X線でキャンバスの表面の絵の裏側にある埋もれている絵を可視化する → 人手で少し整えたものをスタイルトランスファーの「コンテンツ画像」とする
左) 原画 中) X線写真  右) X線写真を手作業できれいにしたもの (コンテンツ画像)
左) 原画 中) X線写真 右) X線写真を手作業できれいにしたもの (コンテンツ画像)
  • 同じアーティストが当該の絵が描かれた時代に書いていた他の絵を「スタイル画像」としてスタイルトランスファーをかける
左) ピカソが同時代に書いていた絵 (スタイル画像)  右) スタイルトランスファーをかけた結果
左) ピカソが同時代に書いていた絵 (スタイル画像) 右) スタイルトランスファーをかけた結果

Results

ピカソの絵に隠されたサンティアゴ・ルシニョールの手によるとみられる風景画をコンテンツ画像として、ルシニョールの絵をスタイル画像として生成された画像
ピカソの絵に隠されたサンティアゴ・ルシニョールの手によるとみられる風景画をコンテンツ画像として、ルシニョールの絵をスタイル画像として生成された画像

Further Thoughts

  • 論文のタイトルのRaiderは強奪者、強盗といった意味だと思うのですが、 Raider of Lost Artというのは言い得て妙。というかよくこんな名前をつけたな...
  • この論文はこの手法で利益を追求するグループ Oxia Palusの手によるもの。このグループは有名な絵画にスタイルトランスファーをかけたものをNFTで売っていたりする模様。これではアート関係者が怒るのも無理はない。
  • 一方でアーティストの思考の流れ、絵を描く過程に切り込む新しいツールを提供してくれたと考えると単に批判で終わるのはもったいないようにも思う。

Links

論文を書いたグループ

この論文に批判的な美術史家による論考。

「アートは科学者やエンジニアの遊び場、砂場(sandbox)ではない」という締めの言葉が重い。

Style Transferの論文