Overview

• 生成モデル(Generative Models)をはじめとするAIモデルの精度が上がる=学習データのパターンをより忠実に再現、再構成できるようになってきた(Stable Diffusionなどの画像生成モデルを見れば明快) 一方で、創造性の観点から言うとそれって学習データものの焼き直しに過ぎないのでは? とう疑問も。
• Active Digergence: どのように学習データから積極的に意味のある逸脱するかを追求する手法をサーベイ。生成モデルの世界とComputational Creativity研究をつなげた 2021年の論文。

Abstract

Generative deep learning systems offer powerful tools for artefact generation, given their ability to model dis- tributions of data and generate high-fidelity results. In the context of computational creativity, however, a ma- jor shortcoming is that they are unable to explicitly di- verge from the training data in creative ways and are limited to fitting the target data distribution. To address these limitations, there have been a growing number of approaches for optimising, hacking and rewriting these models in order to actively diverge from the training data. We present a taxonomy and comprehensive survey of the state of the art of active divergence techniques, highlighting the potential for computational creativity researchers to advance these methods and use deep gen- erative models in truly creative systems.

Motivation

• 生成モデル=学習データのデータ分布、パターンを学習し再現することが目的。ただ画像生成、音楽生成のような創作に関連する領域では、学習データを模倣するだけでは不十分。かといって、ランダムに生成したら良いということでももちろんない。
• 学習データに内在するパターンを学習しつつ、そこから意味のある適度な逸脱をする(ランダムな逸脱ではなく)ことで、新しいデータを生成することが本質的には望ましい。
• ここでは積極的に逸脱を目指す “Active Divergence” と呼び、その手法をまとめた。

Methods

• モデルをゼロから学習 vs 学習済みモデルの利用
• 学習データあり vs 学習データなし
• 人の積極的な介在あり vs なるべく自律性を持たせる

手法1: 学習された表現に対するNovelty Search

Datasets That Are Not — 新奇性の高い出力を求めたデータセットのAugmentation手法

In this work, we propose expanding the scope of a generative model by iteratively training on generated samples, in addition to the given training data. Our approach takes inspiration from the iterative creative flow used by human artists, wherein artists often first learn from others but then iteratively expand or improve on their own past artistic directions, such as previous artwork, prototypes, or sketches.

createwith.ai

Kazakçi, Akin Osman, Cherti Mehdi, and Balázs Kégl. 2016. “Digits That Are Not: Generating New Types through Deep Neural Nets.” In International Conference on Computational Creativity. https://hal.archives-ouvertes.fr/hal-01427556/.

手法2: 学習データではなく、インスピレーションデータを用いた学習

過去の作品を学習することで本当に新しい作品が作れるのか?? – CAN: Creative Adversarial Networks Generating “Art” by Learning About Styles and Deviating from Style Norms

「過去」のアート作品を学習するだけで、真に創造的なな「新しい」アートを作れるのか? というもっともな問いに向き合った論文

createwith.ai

手法3: 学習データなしの学習

手法4: ファインチューニングを用いた逸脱

さらに $P^{\prime}$からサンプリングして生成した画像を、$Q$ として使うというフィードバックループを産むことで面白い結果が生まれることも。

手法4:誤差関数のハッキング

Broad, Terence, Frederic Fol Leymarie, and Mick Grierson. 2020. “Amplifying The Uncanny.” arXiv [cs.CV]. arXiv. http://arxiv.org/abs/2002.06890.

手法5: 外部の知識の導入 = 別の学習済みモデルを使ってファイン・チューニング

StyleGAN-NADA: CLIP-Guided Domain Adaptation of Image Generators

StyleGAN-NADA enables training of GANs without access to any training data.

stylegan-nada.github.io

概念図

手法5: ネットワーク・ベンディング (Network Bending)

Broad, Terence, Frederic Fol Leymarie, and Mick Grierson. 2021. “Network Bending: Expressive Manipulation of Generative Models in Multiple Domains.” Entropy 24 (1). https://doi.org/10.3390/e24010028.

手法6: ネットワーク・ブレンディング (Network Blending)

• 複数のモデルの出力をミックスする、あるいは複数のモデルの重みをミックスする手法。

• 以下のようにパラメータを線形補間すると… 出力をコントロールできる。$p_{base}$が大元の学習済みモデルのパラメータ. $p_{transfer}$がファインチューニングしたモデル.

手法6: モデルの書き換え

• 確率的に学習済みモデルの重みを変えたり、レイヤーを入れ替えたり…

• 学習済みモデルの特定のレイヤー以外のレイヤーを固定。生成した画像の一部を改変 → 生成画像が改変後の画像に近くなるように、固定していないレイヤーの重みを勾配法で最適化する。

Bau, D.; Liu, S.; Wang, T.; Zhu, J.-Y.; and Torralba, A. 2020. Rewriting a deep generative model. In Proc. Euro- pean Conference on Computer Vision (ECCV).

Neural Glitch by Mario Klingemann

Results

• 新奇性の高いデータの生成
• 創作のサポート、AIとの共創
• 大量の学習データを集めるのは大変 → 本論文の手法を応用することで、既存のデータの新奇な組み合わせが可能 = 人工的にデータを増やすことも可能 (data augmentation)
• 既知のドメインから未知のドメインへの知識(学習したモデル)の転用をより容易に
• 創造性の指標として

Further Thoughts

• やっぱり最終的には教師あり学習では難しいのでは? 強化学習のようなフレームワークを応用する必要あり??

Links