Overview - 何がすごい?
Abstract
Generative models capture properties and relationships of images in a generic vector space representation called a latent space. Latent spaces can be sampled to create novel images and perform semantic operations consistent with the principles inferred from the training set. Designers can use representations learned by genera- tive models to express design intent enabling more effective design experimentation. We present the SpaceSheet, a general-purpose spreadsheet interface designed to support the experimentation and exploration of latent spaces.
Motivation
AIがみいだした潜在空間の探索をユーザーフレンドリーにするUIの研究です。
Architecture
生成系のモデルは潜在ベクトルをいじることで生成物を変化させることがでたり、パラメータ同士の足し算引き算などを行って男性の顔写真から女性の顔写真へと変化させたりできます。この研究ではそのベクトルの変化を表計算システムである spead sheet のユーザーインターフェースを応用させてSpace Sheetsというインターフェースを開発しました。
画像生成AIはデザイナーにとって強力なサポートツールの可能性を秘めていますが、実業務に取り入れる際には感覚的に使えるようなインターフェースにする必要があります。さまざまなシーンでよく使われているスプレッドシート型のUIであるSpace Sheetsはより手軽に感覚的に使えるようなインターフェースの１つであるといえるでしょう。
Results
機能
SpaceSheetsにはData PickerとSpreadSheetの２つの機能があります。
Data Pickerはベクトル計算に用いるデータを選択するために使われるもので、選択できるデータ群は開発者によって事前に選別されたものが並んでいます。潜在空間をgoogle mapのように上下左右の移動、拡大、縮小しながら探索することができます。拡大するとよりローカルな変化を見ることができます。
SpreadSheetは平均、インターポレーション、足し算、引き算、ランダムサンプリングなどを使いながら表計算をするようにベクトル計算を行い、生成物を変化させることができます。
機能詳細
RNDVARランダムサンプリングによって生成できるようにすることで、ユーザーに事前に選別されたものが並ぶData Pickerに制限されないアイディアを提示することを可能にしています。
MODジョイスティックのUIを用いることで、潜在変数を距離と角度によって自由に変化させることを可能にしています。
SLIDERインターポレーションをするときにその割合などをスライダーUIによって直感的に決めることができます。
実際の使用例
アナロジーデータを３つ与えた場合、上２つの画像の特徴変化（笑っている特徴）を左下の男性の画像にも適用させてその変化を右下に出力させています。
特徴抽出
２つの画像を引き算することで、特徴を抽出することができます。下図では笑顔のブロンド女性から真顔のブロンド女性の画像を引き算することで
笑顔
の特徴ベクトルを抽出しています。それを真顔の男性の画像と足し算させることで、一番下に笑顔の特徴が加わった男性の画像が生成されています。
Further Thoughts
GANやVAEなど生成系の機械学習アルゴリズムは毎年のようにより精度の良いものが公開されており、本物の写真と見分けがつかないものを生成するものもあります。一方でそれらを使いやすくするためのインターフェースの開発はまだ少なく、開発されているものも生成AIのすべてのポテンシャルを引き出しているとは言えません。
Space Sheets はその中でもベクトル計算に特化したspread sheet型インターフェースとすることで、一定以上の使いやすさと実用性を実現しているのではないでしょうか。今後、さまざまな場所で既に使われているUIを応用したものが出てくるでしょう。