言語日本語English

トップへ戻る

RESEARCH

3次元の正解データを使わない、単眼動画からの3次元動作復元

京都工芸繊維大学 コンピュータビジョン研究室

どんな研究か

モーションキャプチャのような3次元の正解データがなくても、動画に映る2次元の動きから「3次元での動き方」を学べるようにする研究です。学んだモデルは、カメラが動かない普通の動画から3次元の動きを復元するのに使います。

3次元の正解データを集めるには、専用の設備と手間がかかります。そこで、カメラが少しだけ動く動画から古典的な手法(NRSfM)で粗い3次元を作り、それを出発点に学習します。ただし、この粗い3次元には誤りがあります。誤りをそのまま覚えずに、2次元の観測と照らし合わせて直しながら学ぶところが難しい点です。

方法

  1. 体の表面の点を追跡した2次元の画像と、カメラが体の周りを少しだけ回る様子

    STEP 1

    少しだけ回るカメラの動画

    学習にはカメラが少しだけ回りながら撮った動画を使います。体の表面の点を2次元で追跡します。

  2. 2次元の点と、古典的なNRSfMで求めた粗い3次元の点を横から見た図

    STEP 2

    古典的な手法で粗い3次元を作る

    NRSfM(非剛体の形状復元)で、点ごとに粗い3次元の軌跡を求めます。

  3. ノイズから点の3次元の軌跡を作る拡散モデルの図解。点の軌跡1本を1トークンとして扱う

    STEP 3

    拡散モデルで動き方を学ぶ

    点の軌跡1本を1トークンとして扱う Transformer の拡散モデルを学習します。2次元に合う3次元を推定し直す処理と、学び直す処理を交互に繰り返します(EM)。

  4. 止まったカメラの画像の点と、そこから復元した点の3次元の位置を横から見た図

    STEP 4

    止まったカメラの動画から復元する

    学習に使っていない、カメラが動かない単眼動画から、3次元の動きを推定します。

中心の問い

学習用の動画に必要なカメラの回転を、どこまで小さくできるか。

カメラの回転が小さいほど、古典的な手法では奥行きが決まらなくなります。拡散モデルと EM を使って、この限界をどこまで超えられるかを調べています。

先行研究との違い

扱ってきたデータ

進め方

  1. 01

    比べる条件と判定の基準を、実験の前に記録してから実行します。

  2. 02

    3次元の正解が学習や推定に漏れていないかを、独立したコードレビューと検算で確かめます。

  3. 03

    うまくいかなかった結果も、限界を示す結果として残します。

現在の状態

研究中です。改善が見られた条件と、まだ単純な推定(奥行きを平らに置く推定)に勝てない指標の両方があります。

NEXT — 2027.042027年4月から、東京科学大学 工学院 情報通信系の修士課程に進学し、鈴木 賢治 研究室に所属する予定です。

鈴木 賢治 研究室