Overview

ファッションの地理的および時系列的なトレンドをスナップ写真から解析するプロジェクト.

Abstract

The paper presents a novel concept that analyzes and visualizes worldwide fashion trends. Our goal is to reveal cutting-edge fashion trends without displaying an ordinary fashion style. To achieve the fashion-based analysis, we created a new fashion culture database (FCDB), which consists of 76 million geo-tagged images in 16 cosmopolitan cities. By grasping a fashion trend of mixed fashion styles,the paper also proposes an unsupervised fashion trend descriptor (FTD) using a fashion descriptor, a codeword vetor, and temporal analysis. To unveil fashion trends in the FCDB, the temporal analysis in FTD effectively emphasizes consecutive features between two different times. In experiments, we clearly show the analysis of fashion trends and fashion-based city similarity. As the result of large-scale data collection and an unsupervised analyzer, the proposed approach achieves world-level fashion visualization in a time series. The code, model, and FCDB will be publicly available after the construction of the project page.

Architecture

Flickrの画像を集めたYFCC100Mのデータベースから、Raster R-CNNで人が写っている領域だけをクロップ. 東京を含む16の国際都市を対象に7600万枚にも及ぶ位置情報付きのファッションスナップ(というか人の写っている写真ですね)のデータベースを構築したそうです.

Further Thoughts

こうして集めた画像は、ファッション写真の解析専用に学習されたモデルStyleNet(このモデルも面白そうですね) に入力され、その出力を特徴量として、写真の位置・時間情報とともに保存され、解析に使われます.

この論文の結果で一番面白かったのが、都市ごとのトレンドの類似性を図示した下のグラフ. 東京と香港が他の都市から大きくかけ離れたトレンド?を持っていることが見て取れます.パリ、ロンドンあたりが似通っていたり、比較的暖かいバルセロナとサンフランシスコが近かったりとなんとなく直感的なイメージとも合致しています.

学習済みのモデル、ソースコード、そして写真データベースも公開予定とのことです！

Links

• arXiv