👨‍👩‍👦

機械学習でキュレーションした写真集 – Computed Curation: a photobook created by a computer

Entry
機械学習でキュレーションした写真集 – Computed Curation: a photobook created by a computer
Simple Title
Computed Curation
Description
人間の編集者を排除し機械学習を用いて、キュレーションし制作した写真集
Type
Project
Year
2019
Posted at
February 9, 2019
Tags
image
image

Overview - 何がすごい?

Computed Curation is a photo book created by a computer. Taking the human editor out of the loop, it uses machine learning and computer vision tools to curate a series of photos from an archive of pictures. Considering both image content and composition — but through the sober eyes of neural networks, vectors and pixels — the algorithms uncover unexpected connections and interpretations that a human editor might have missed. Machine learning based image recognition tools are already adept at recognizing training images (umbrella, dog on a beach, car), but quickly expose their flaws and biases when challenged with more complex input. In Computed Curation, these flaws surface in often bizarre and sometimes poetic captions, tags and connections. Moreover, by urging the viewer to constantly speculate on the logic behind its arrangement, the book teaches how to see the world through the eyes of an algorithm.

Technology/System

写真を画像解析にかけて得られる高次元の特徴量を、t-SNEアルゴリズムをよって二次元にマッピング。各写真を最短距離でつなぐ「経路」の探索を「巡回セールスマン問題 (TSP)」として、遺伝的アルゴリズム(GA) で解いたそうです。(TSP,GAについての参考リンク)

image
image

Results

各写真には、GoogleのCloudVisionやMicrosoftのCognitive Service APIなどを使ってタグやキャプションの情報が追加されています。こうして最終的に一冊の写真集ができあがりました。

image
image
image
image

Further Thoughts

できあがった写真集をつらつらみていると(webでブラウズできます)、たしかになんとなく前後の関係性が感じられます。キャプションが微妙にずれているのが妙にポエティックだったり…

Links