X線スキャンとStyle Transferでキャンバスに隠された絵画を「復元」するプロジェクト
Bourached, A., & Cann, G. H. (2019). Raiders of the Lost Art. CrossTalk, 22(7–8), 35. https://doi.org/10.1525/9780520914957-028
X線写真をコンテンツ画像に、同時代の同じ作家の絵をスタイル画像としてスタイルトランスファーをかける。美術史家などからその手法に対して強い批判も上がっている。
2019
Overview
- アーティストが描きかけの絵の上から別の絵を描くことで、埋もれてしまった絵画があることはよく知られている。X線でのスキャンでそうした描きかけの絵を可視化することで、アーティストの絵を描くプロセスに光を当てるという研究は以前から行われてきた。
- この研究はX線スキャンで可視化した書き換えの絵にスタイルトランスファー(写真をピカソ風、ゴッホ風にするというあれ) をかけることで、「失われた絵」「埋もれてしまった絵」を「復元」するというプロジェクト
Abstract
Neural style transfer, first proposed by Gatys et al. (2015), can be used to create novel artistic work through rendering a content image in the form of a style image. We present a novel method of reconstructing lost artwork, by applying neural style transfer to x-radiographs of artwork with secondary interior artwork beneath a primary exterior, so as to reconstruct lost artwork. Finally we reflect on AI art exhibitions and discuss the social, cultural, ethical, and philosophical impact of these technical innovations
System
- X線でキャンバスの表面の絵の裏側にある埋もれている絵を可視化する → 人手で少し整えたものをスタイルトランスファーの「コンテンツ画像」とする
- 同じアーティストが当該の絵が描かれた時代に書いていた他の絵を「スタイル画像」としてスタイルトランスファーをかける
Results
- 「ピカソの失われた絵がAIの力で蘇った」などとメディアで騒がれる。
- 一方で「あくまでもAIによる一つの解釈であって「復元」ではない」「ここで扱っているのはピカソが描きやめた絵になりかけの何か、未完成の何かであって、ピカソの失われた絵ではない」と美術史家からは強い批判も。
Further Thoughts
- 論文のタイトルのRaiderは強奪者、強盗といった意味だと思うのですが、 Raider of Lost Artというのは言い得て妙。というかよくこんな名前をつけたな...
- この論文はこの手法で利益を追求するグループ Oxia Palusの手によるもの。このグループは有名な絵画にスタイルトランスファーをかけたものをNFTで売っていたりする模様。これではアート関係者が怒るのも無理はない。
- 一方でアーティストの思考の流れ、絵を描く過程に切り込む新しいツールを提供してくれたと考えると単に批判で終わるのはもったいないようにも思う。
Links
論文を書いたグループ
Oxia Palus - Creating The World's First NeoMasters - Resurrecting Lost Art with AI
At Oxia Palus we're creating the world's first NeoMasters. Using artificial intelligence, spectroscopy, and 3D printing, we're resurrecting masterpieces lost to the ages. In June 2021 we won CogX's Best Innovation in Creative Arts 2021. With potentially thousands of works of art hidden dormant bene
www.oxia-palus.com
この論文に批判的な美術史家による論考。
「アートは科学者やエンジニアの遊び場、砂場(sandbox)ではない」という締めの言葉が重い。
How AI is hijacking art history
People tend to rejoice in the disclosure of a secret. Or, at the very least, media outlets have come to realize that news of "mysteries solved" and "hidden treasures revealed" generate traffic and clicks. So I'm never surprised when I see AI-assisted revelations about famous masters' works of art go viral.
theconversation.com
Style Transferの論文
arxiv.org
arxiv.org