UniSH : Unification de la Reconstruction de Scène et Humaine en une Passe Feed-Forward
Mengfei Li1, Peng Li1, Zheng Zhang2, Jiahao Lu1, Chengfeng Zhao1, Wei Xue1,
Qifeng Liu1, Sida Peng3, Wenxiao Zhang1, Wenhan Luo1, Yuan Liu1†, Yike Guo1†
1HKUST, 2BUPT, 3ZJU
TL;DR
À partir d’une vidéo monoculaire en entrée, notre UniSH est capable de reconstruire conjointement la scène et l’humain en une seule passe avant, permettant une estimation efficace de la géométrie de la scène, des paramètres de la caméra et des paramètres SMPL.
🛠️ Installation
Nous fournissons une méthode d’installation sans sudo qui fonctionne sur la plupart des serveurs Linux (y compris sans interface graphique).
Étape 1 : Cloner le dépôt
git clone https://github.com/murphylmf/UniSH.git
cd UniSHÉtape 2 : Créer un environnement Conda
Cela installe Python, les compilateurs système et les pilotes OpenGL.conda env create -f environment.yml
conda activate unishÉtape 3 : Compiler les dépendances
Ce script compile PyTorch3D, MMCV et SAM2 à partir des sources en utilisant les compilateurs installés à l'Étape 2.L'environnement a été testé sur CUDA 12.1 et CUDA 11.8. Vous pouvez spécifier la version de CUDA en la passant comme argument au script d'installation.
# Default (Auto-detect or 12.1)
bash install.shFor CUDA 11.8
bash install.sh 11.8For CUDA 12.1
bash install.sh 12.1Étape 4 : Télécharger les modèles SMPL
Veuillez télécharger les modèles SMPL et les placer dans le dossierbody_models.
La structure du répertoire doit être organisée comme suit :UniSH/
├── body_models/
│ └── smpl/
│ └── smpl/
│ ├── SMPL_FEMALE.pkl
│ ├── SMPL_MALE.pkl
│ └── SMPL_NEUTRAL.pkl🚀 Démarrage rapide (Inférence)
Exécuter l'inférence
Exécutez la commande suivante pour reconstruire la scène et l'humain à partir de la vidéo :python inference.py --output_dir inference_results/example --video_path examples/example_video.mp4 Veuillez vous référer à inference.py pour plus d'informations sur les paramètres supplémentaires.
📝 Citation
Si vous trouvez ce code utile pour vos recherches, veuillez envisager de citer notre article :
@misc{li2026unishunifyingscenehuman,
title={UniSH: Unifying Scene and Human Reconstruction in a Feed-Forward Pass},
author={Mengfei Li and Peng Li and Zheng Zhang and Jiahao Lu and Chengfeng Zhao and Wei Xue and Qifeng Liu and Sida Peng and Wenxiao Zhang and Wenhan Luo and Yuan Liu and Yike Guo},
year={2026},
eprint={2601.01222},
archivePrefix={arXiv},
primaryClass={cs.CV},
url={https://arxiv.org/abs/2601.01222},
}🙏 Remerciements
Nous remercions les excellentes contributions des projets suivants :
📄 Licence
Ce projet est sous licence Apache 2.0. Voir LICENSE pour plus de détails.--- Tranlated By Open Ai Tx | Last indexed: 2026-03-24 ---