RESEARCH
3次元の正解データを使わない、単眼動画からの3次元動作復元
どんな研究か
モーションキャプチャのような3次元の正解データがなくても、動画に映る2次元の動きから「3次元での動き方」を学べるようにする研究です。学んだモデルは、カメラが動かない普通の動画から3次元の動きを復元するのに使います。
3次元の正解データを集めるには、専用の設備と手間がかかります。そこで、カメラが少しだけ動く動画から古典的な手法(NRSfM)で粗い3次元を作り、それを出発点に学習します。ただし、この粗い3次元には誤りがあります。誤りをそのまま覚えずに、2次元の観測と照らし合わせて直しながら学ぶところが難しい点です。
方法

STEP 1
少しだけ回るカメラの動画
学習にはカメラが少しだけ回りながら撮った動画を使います。体の表面の点を2次元で追跡します。

STEP 2
古典的な手法で粗い3次元を作る
NRSfM(非剛体の形状復元)で、点ごとに粗い3次元の軌跡を求めます。

STEP 3
拡散モデルで動き方を学ぶ
点の軌跡1本を1トークンとして扱う Transformer の拡散モデルを学習します。2次元に合う3次元を推定し直す処理と、学び直す処理を交互に繰り返します(EM)。

STEP 4
止まったカメラの動画から復元する
学習に使っていない、カメラが動かない単眼動画から、3次元の動きを推定します。
中心の問い
学習用の動画に必要なカメラの回転を、どこまで小さくできるか。
カメラの回転が小さいほど、古典的な手法では奥行きが決まらなくなります。拡散モデルと EM を使って、この限界をどこまで超えられるかを調べています。
先行研究との違い
やっていること点の軌跡を決まった波(DCT)で表して、2次元から3次元を復元する
この研究では決まった波の代わりに、学習した生成モデルを使う
Valmadre & Lucey 2012
General Trajectory Prior for Non-Rigid Reconstruction(CVPR 2012)
やっていることカメラの回転量と、3次元復元の精度の関係を調べた
この研究では回転が小さいと復元できないという限界を、比べる基準にする
Rozet ら 2024(DiEM)
Learning Diffusion Priors from Observations by Expectation Maximization(NeurIPS 2024)
やっていること劣化した観測だけから、EM で拡散モデルを学ぶ
この研究では3次元の動きと、NRSfM からの出発を扱う
やっていることNRSfM に拡散モデルを組み込む
この研究では3次元の正解を使わずに拡散モデルを学ぶ
扱ってきたデータ
人体の体表面の点
ダンス動画の人体
布のシミュレーション
実際のタコの腕
顔(次に試す予定)
進め方
01
比べる条件と判定の基準を、実験の前に記録してから実行します。
02
3次元の正解が学習や推定に漏れていないかを、独立したコードレビューと検算で確かめます。
03
うまくいかなかった結果も、限界を示す結果として残します。
現在の状態
研究中です。改善が見られた条件と、まだ単純な推定(奥行きを平らに置く推定)に勝てない指標の両方があります。
NEXT — 2027.042027年4月から、東京科学大学 工学院 情報通信系の修士課程に進学し、鈴木 賢治 研究室に所属する予定です。
鈴木 賢治 研究室