画像認識モデルが苦手とする画像のデータセット – Natural Adversarial Examples
Dan Hendrycks, Kevin Zhao, Steven Basart, Jacob Stein- hardt, and Dawn Song. Natural adversarial examples. arXiv preprint arXiv:1907.07174, 2019.
2019
Overview
パンダに少しノイズを加えると.. テナガザルに！Goodfellow, I. J., Shlens, J., & Szegedy, C. (2014). Explaining and Harnessing Adversarial Examples. Retrieved from http://arxiv.org/abs/1412.6572
もし道路標識に人が気づかない程度の「落書き」をすることで、自動運転車のアルゴリズムを騙すことが出来るとしたら… そう考えると、Adversal Examplesの研究が現在大きな研究トピックになっているのも頷けます。
一方で、画像を意図的に改変しなくても、画像認識のモデルがもともと見間違えやすい写真も世の中には多数存在しています。今回紹介するのは、そうした「自然の」Adversarial Examplesを集めたデータセットです。画像認識の学習用の一般的なデータセット ImageNetになぞらせて、ImageNet-Aと名付けられています(AはAdversarialでしょうか?)。
Data
データの集め方は割とシンプル。ImageNetの1000のオブジェクトのうち、もともと間違えやすいクラス(ヨークシャーテリアとノーフォークテリア)や抽象的なもの(Spiral らせん/渦巻き)などを除いた200のクラスに絞り込みます。iNaturalistやFlickrといったサイトで、ユーザがタグづけたした画像を200のクラスそれぞれに対してなるべくたくさんダウンロードします。ResNet-50の学習済みモデルやそれをベースに200のクラスでfine-tuningしたものなど複数の画像認識のモデルを用意。いずれかの画像認識モデルにおいて、正しいラベルのConfidenceが15%以上の画像を取り除きます。人がつけたタグがそもそも間違っていたりしていないか、人間の目で確認するなどして、最終的に200のクラスに対して、合計 7500の画像からなるデータセットができました。
データセットに含まれた画像を見てみると、画像認識のモデルがどういった画像に対して弱いのか、なんとなくの傾向を見ることができます。写真のフォーカスが甘かったり、そもそも複数のオブジェクトが重なっていたり… また縦横のバーが写っていたりすると、それをロッキングチェアと認識してしまうなど、一般化しすぎている例も見受けられます。
Applications
このデータセットは、画像認識のモデルの精度、Adversarial Examplesに対する耐性を高める研究に使えるだけでなく、こうしたモデルがどう「見間違う」のか、AIの「不完全さ」や「偏見」を肌感覚として知る上でも面白いデータセットなのではないでしょうか。
Further Thoughts
論文の後半は、モデルのアーキテクチャを少し変えるだけで、大幅に精度を上げることが出来ることが実験的に示されています。