📄

Datasets That Are Not — 新奇性の高い出力を求めたデータセットのAugmentation手法

Entry

Datasets That Are Not — 新奇性の高い出力を求めたデータセットのAugmentation手法

Simple Title

Wu, Yusong, Kyle Kastner, Tim Cooijmans, Cheng-Zhi Anna Huang, and Aaron Courville. n.d. “Datasets That Are Not: Evolving Novelty Through Sparsity and Iterated Learning.”

Description

データセットの模倣ではない、新奇性の高い出力を生成AIを用いて実現するために、生成した画像をデータセットに追加していくことを繰り返す

Type
Paper
Year

2022

Posted at
January 17, 2023
Tags
theory
Project Page
https://neuripscreativityworkshop.github.io/2022/
image

Overview

  • 2022年のMachine Learning for Creativity and Design Workshopで発表された論文
  • どうやってデータセットの模倣ではない、新奇性の高い出力を生成AIを用いて実現するか、が主な問い.
  • AutoencoderベースのモデルでMNISTを学習。生成したデータを学習データに追加して、さらに学習するというプロセスを繰り返す(だけ)。
  • 人間のアーティストも同じことをやっているというのが着眼点 (まずは他のアーティストや過去の作品を学習。そこから自分なりの作品を作って、それをもとに学習を進めていく)

Abstract

In this work, we propose expanding the scope of a generative model by iteratively training on generated samples, in addition to the given training data. Our approach takes inspiration from the iterative creative flow used by human artists, wherein artists often first learn from others but then iteratively expand or improve on their own past artistic directions, such as previous artwork, prototypes, or sketches.

Results

  • 結果的に全体的なMNISTの雰囲気を保ちつつも見たことのない画像が生成できている!
image
  • 一方で、GANやVAEでは同じ現象は起きなかった。
  • またデータセットの総量を変化させなかった場合、上記のような新奇性の高い画像は生成されなかった。

Further Thoughts

  • GANなどで同じ現象が起きなかったという点に興味を惹かれた。今回利用している Digits that are Not という論文で紹介されているアーキテクチャが本質的に持っている特徴に依存していると論文内では書かれているので、このモデルについてもう少し調べてみたい。
    • Kazakçi, Akin Osman, Cherti Mehdi, and Balázs Kégl. 2016. “Digits That Are Not: Generating New Types through Deep Neural Nets.” In International Conference on Computational Creativity . https://hal.archives-ouvertes.fr/hal-01427556/.

Links