Overview - 何がすごい?

映像コンテンツの解析に特化した画像解析ツール。普通の画像認識モデルのようなオブジェクトの識別に加えて、カメラのアングルやフォーカスの当て方(ソフトフォーカス...)、撮影された時間帯(夕方、朝焼け)、場所などをタグ付できる。

映像クリエイター目線のタクソノミーが充実してる点がポイント。

Technology

基本的には普通のCNN? クラウドソースでタグ付けした学習データの方がモデルそのものよりも貴重か？

Applications

大量の映像を解析して映像のDBを作るのに使える。映像素材を組み合わせるタイプのVJにとっても使い道がいろいろありそうなモデル。

Further Thoughts

• これでカットアップ、映像サンプリング系のプロジェクトをやったら精度が上がりそう...
• oFのVJ界隈で有名なVadeが参画してるあたり、VJ目線を感じる。

Links

プロジェクトページからはリンクされていないが、これが生のCNN??

ishangupta3/CinemaNet

CinemaNet is a set of data and trained models to help run inference to classify images / frames of a video with an eye for photographic, cinemgraphic, composition and color labelling. CinemaNet aims to give out of the box useful classification of images / frames of video to cinematographers, editors, archivists, and anyone interested in extracting classification in a cinema / video context.

github.com