⚒️

CinemaNet

Entry
CinemaNet—映像コンテンツの解析に特化した画像解析ツール。
Simple Title
CinemaNet by Anton Marini(vade), Rahul Somani
Description
普通の画像認識モデルのようなオブジェクトの識別に加えて、カメラのアングルやフォーカスの当て方(ソフトフォーカス...)、撮影された時間帯(夕方、朝焼け)、場所などをタグ付け
Type
Tool
Posted at
March 3, 2021
Tags
visual
Year
Arxiv

image

Overview - 何がすごい?

映像コンテンツの解析に特化した画像解析ツール。普通の画像認識モデルのようなオブジェクトの識別に加えて、カメラのアングルやフォーカスの当て方(ソフトフォーカス...)、撮影された時間帯(夕方、朝焼け)、場所などをタグ付できる。

映像クリエイター目線のタクソノミーが充実してる点がポイント。

Technology

基本的には普通のCNN? クラウドソースでタグ付けした学習データの方がモデルそのものよりも貴重か?

Applications

大量の映像を解析して映像のDBを作るのに使える。映像素材を組み合わせるタイプのVJにとっても使い道がいろいろありそうなモデル。

Further Thoughts

  • これでカットアップ、映像サンプリング系のプロジェクトをやったら精度が上がりそう...
  • oFのVJ界隈で有名なVadeが参画してるあたり、VJ目線を感じる。

Links

プロジェクトページからはリンクされていないが、これが生のCNN??