New issue

Have a question about this project? Sign up for a free GitHub account to open an issue and contact its maintainers and the community.

Sign up for GitHub

By clicking “Sign up for GitHub”, you agree to our terms of service and privacy statement. We’ll occasionally send you account related emails.

Already on GitHub? Sign in to your account

Jump to bottom

Discovery of Latent 3D Keypoints via End-to-end Geometric Reasoning #50

Open

kogaki opened this issue Sep 18, 2018 · 0 comments

Member

kogaki commented Sep 18, 2018 •

edited

Loading

教師なし学習で2D画像から3Dのkeypointを取り出す。学習には同一物体を他の視点から撮影したペアを用いる

論文本体・著者

https://keypointnet.github.io/
- Supasorn Suwajanakorn Noah Snavely Jonathan Tompson Mohammad Norouzi
- Google AI

解きたい問題

新規性

2D画像から3Dkeypointまでをend-to-endで教師なしで学習した
剛体変形によるロスをうまく取り入れて、視点変更に頑健なkeypointを得ることができる

実装


論文 Fig. 1 より

学習時の入力は、(視点1からの画像I, 視点2からの画像I', その２つの間の剛体変形T)
Multi-view Consistency: 真の変形Tを利用して、P1をP2に移動したもの、P2をP1に移動したものを計算し、その間の距離をロスとする
Relative pose estimation: 逆に、P1とP2からプロクラステス分析を用い、剛体の回転R^を推定し、真のRと近づくようにする

実験・議論

ネットワークはCNNを積んだ後に、最後にNチャンネルの"keypoint確率マップ"を出す
- ポーズ推定のやり方にかなり近い
学習はShapeNetからレンダリングした画像を用いる

読んだ中での不明点などの感想

真のTがわからない状態や、IとI'が厳密なペアじゃない問題への拡張が今後出てくると思う
- 学習時に真のTを使うのは、実環境への拡張のときにこまるし

関連論文

Sign up for free to join this conversation on GitHub. Already have an account? Sign in to comment