Overview

Depth-Aware Video Frame Interpolationは動画の深度情報を調べることによりオクルージョンを明示的に検出するビデオフレーム補間法を提案する研究．

Abstract

Video frame interpolation aims to synthesize nonexistent frames in-between the original frames. While significant advances have been made from the recent deep convolutional neural networks, the quality of interpolation is often reduced due to large object motion or occlusion. In this work, we propose a video frame interpolation method which explicitly detects the occlusion by exploring the depth information. Specifically, we develop a depth-aware flow projection layer to synthesize intermediate flows that preferably sample closer objects than farther ones. In addition, we learn hierarchical features to gather contextual information from neighboring pixels. The proposed model then warps the input frames, depth maps, and contextual features based on the optical flow and local interpolation kernels for synthesizing the output frame. Our model is compact, efficient, and fully differentiable. Quantitative and qualitative results demonstrate that the proposed model performs favorably against state-of-the-art frame interpolation methods on a wide variety of datasets.

Motivation

実際にフレーム補完を行った映像を見てみると，オリジナルの動画よりもフレームレートが向上してなめらかになっていることがわかると思います．

Architecture

Depth-Aware Video Frame Interpolationのモデルは上図の様になっており，2つの入力フレームがある場合，最初にoptical flows(光度)と深度マップを推定し，テアンされたしんどdepth-aware flow投影レイヤーを使用してintermediate flowsを生成します．次に適応ワープレイヤーを採用して，フローと空間手に変換する補完カーネルに基づいて入力フレーム，深度マップ，およびコンテキストフィーチャをワープします．最後にフレーム合成ネットワークを適用して出力フレームを生成します．

また，Depth-Aware Video Frame Interpolationをアプリ化した「Dain-App」がα版0.1で公開されています．CUDAをサポートしたマシンがあれば実際にフレーム補間を試すことができます．

Further Thoughts

この研究を応用すれば，あらかじめ手軽に映像を創っておき，その映像のフレームレートを向上させることで少ない手間で良質な映像を作る…といったような，クリエータの活動を手助けすることができるのではないでしょうか．

Links

• github
• arXiv
• Dain-App [Alpha 0.1]