UniSH: フィードフォワードパスにおけるシーンと人体再構築の統合

Mengfei Li¹, Peng Li¹, Zheng Zhang², Jiahao Lu¹, Chengfeng Zhao¹, Wei Xue¹,
Qifeng Liu¹, Sida Peng³, Wenxiao Zhang¹, Wenhan Luo¹, Yuan Liu^1†, Yike Guo^1†

¹HKUST, ²BUPT, ³ZJU

TL;DR

単眼ビデオを入力とした場合、UniSHは単一のフォワードパスでシーンと人体を共同で再構築でき、シーンのジオメトリ、カメラパラメータ、SMPLパラメータの効果的な推定を可能にします。

🛠️ インストール

ほとんどのLinuxサーバー（ヘッドレスも含む）で動作するsudo不要のインストール方法を提供します。

ステップ 1: リポジトリをクローンする

git clone https://github.com/murphylmf/UniSH.git
cd UniSH

ステップ 2: Conda環境の作成

これにより、Python、システムコンパイラ、およびOpenGLドライバがインストールされます。

conda env create -f environment.yml
conda activate unish

ステップ3: 依存関係のコンパイル

このスクリプトは、ステップ2でインストールしたコンパイラを使用して、PyTorch3D、MMCV、およびSAM2をソースからコンパイルします。

この環境はCUDA 12.1およびCUDA 11.8でテストされています。インストールスクリプトに引数としてCUDAバージョンを指定することができます。

# Default (Auto-detect or 12.1)
bash install.sh
For CUDA 11.8
bash install.sh 11.8
For CUDA 12.1
bash install.sh 12.1

ステップ4：SMPLモデルのダウンロード

SMPLモデルをダウンロードし、body_modelsフォルダに配置してください。ディレクトリ構造は以下のように整理する必要があります：

UniSH/
├── body_models/
│   └── smpl/
│       └── smpl/
│           ├── SMPL_FEMALE.pkl
│           ├── SMPL_MALE.pkl
│           └── SMPL_NEUTRAL.pkl

🚀 クイックスタート（推論）

推論の実行

次のコマンドを実行して、ビデオからシーンと人物を再構築します：

python inference.py --output_dir inference_results/example --video_path examples/example_video.mp4

詳細なパラメータについては inference.py を参照してください。

📝 引用

このコードが研究に役立った場合は、私たちの論文を引用していただけると幸いです：

@misc{li2026unishunifyingscenehuman,
      title={UniSH: Unifying Scene and Human Reconstruction in a Feed-Forward Pass}, 
      author={Mengfei Li and Peng Li and Zheng Zhang and Jiahao Lu and Chengfeng Zhao and Wei Xue and Qifeng Liu and Sida Peng and Wenxiao Zhang and Wenhan Luo and Yuan Liu and Yike Guo},
      year={2026},
      eprint={2601.01222},
      archivePrefix={arXiv},
      primaryClass={cs.CV},
      url={https://arxiv.org/abs/2601.01222}, 
}

🙏 謝辞

以下のプロジェクトからの優れた貢献に感謝します：

📄 ライセンス

本プロジェクトはApache 2.0ライセンスの下でライセンスされています。詳細はLICENSEをご覧ください。

--- Tranlated By Open Ai Tx | Last indexed: 2026-03-24 ---