SpaceSheets スプレッドシート型UIでの潜在空間探索 – SpaceSheets: Interactive Latent Space Exploration through a Spreadsheet Interface

SpaceSheets スプレッドシート型UIでの潜在空間探索 – SpaceSheets: Interactive Latent Space Exploration through a Spreadsheet Interface

Entry
SpaceSheets スプレッドシート型UIでの潜在空間探索 – SpaceSheets: Interactive Latent Space Exploration through a Spreadsheet Interface
Simple Title
Loh, Bryan, and Tom White. "Spacesheets: Interactive latent space exploration through a spreadsheet interface." (2018).
Type
Paper
Year
2018
Posted at
Feb 5, 2020
Tags
GAN

Overview - 何がすごい?

Abstract

Generative models capture properties and relationships of images in a generic vector space representation called a latent space. Latent spaces can be sampled to create novel images and perform semantic operations consistent with the principles inferred from the training set. Designers can use representations learned by genera- tive models to express design intent enabling more effective design experimentation. We present the SpaceSheet, a general-purpose spreadsheet interface designed to support the experimentation and exploration of latent spaces.

Motivation

AIがみいだした潜在空間の探索をユーザーフレンドリーにするUIの研究です。

Architecture

生成系のモデルは潜在ベクトルをいじることで生成物を変化させることがでたり、パラメータ同士の足し算引き算などを行って男性の顔写真から女性の顔写真へと変化させたりできます。この研究ではそのベクトルの変化を表計算システムである spead sheet のユーザーインターフェースを応用させてSpace Sheetsというインターフェースを開発しました。

画像生成AIはデザイナーにとって強力なサポートツールの可能性を秘めていますが、実業務に取り入れる際には感覚的に使えるようなインターフェースにする必要があります。さまざまなシーンでよく使われているスプレッドシート型のUIであるSpace Sheetsはより手軽に感覚的に使えるようなインターフェースの1つであるといえるでしょう。

image

Results

機能

SpaceSheetsにはData PickerとSpreadSheetの2つの機能があります。

Data Pickerはベクトル計算に用いるデータを選択するために使われるもので、選択できるデータ群は開発者によって事前に選別されたものが並んでいます。潜在空間をgoogle mapのように上下左右の移動、拡大、縮小しながら探索することができます。拡大するとよりローカルな変化を見ることができます。

image
image
image

SpreadSheetは平均、インターポレーション、足し算、引き算、ランダムサンプリングなどを使いながら表計算をするようにベクトル計算を行い、生成物を変化させることができます。

image

機能詳細

RNDVARランダムサンプリングによって生成できるようにすることで、ユーザーに事前に選別されたものが並ぶData Pickerに制限されないアイディアを提示することを可能にしています。

MODジョイスティックのUIを用いることで、潜在変数を距離と角度によって自由に変化させることを可能にしています。

SLIDERインターポレーションをするときにその割合などをスライダーUIによって直感的に決めることができます。

image

実際の使用例

アナロジーデータを3つ与えた場合、上2つの画像の特徴変化(笑っている特徴)を左下の男性の画像にも適用させてその変化を右下に出力させています。

image

特徴抽出

2つの画像を引き算することで、特徴を抽出することができます。下図では笑顔のブロンド女性から真顔のブロンド女性の画像を引き算することで

笑顔

の特徴ベクトルを抽出しています。それを真顔の男性の画像と足し算させることで、一番下に笑顔の特徴が加わった男性の画像が生成されています。

image

Further Thoughts

GANやVAEなど生成系の機械学習アルゴリズムは毎年のようにより精度の良いものが公開されており、本物の写真と見分けがつかないものを生成するものもあります。一方でそれらを使いやすくするためのインターフェースの開発はまだ少なく、開発されているものも生成AIのすべてのポテンシャルを引き出しているとは言えません。

Space Sheets はその中でもベクトル計算に特化したspread sheet型インターフェースとすることで、一定以上の使いやすさと実用性を実現しているのではないでしょうか。今後、さまざまな場所で既に使われているUIを応用したものが出てくるでしょう。

Links