Web Analytics

UniSH

⭐ 136 stars French by murphylmf

UniSH : Unification de la Reconstruction de Scène et Humaine en une Passe Feed-Forward

Mengfei Li1, Peng Li1, Zheng Zhang2, Jiahao Lu1, Chengfeng Zhao1, Wei Xue1,
Qifeng Liu1, Sida Peng3, Wenxiao Zhang1, Wenhan Luo1, Yuan Liu1†, Yike Guo1†

1HKUST, 2BUPT, 3ZJU


arXiv Project Page Hugging Face Demo Hugging Face Model License


TL;DR

À partir d’une vidéo monoculaire en entrée, notre UniSH est capable de reconstruire conjointement la scène et l’humain en une seule passe avant, permettant une estimation efficace de la géométrie de la scène, des paramètres de la caméra et des paramètres SMPL.

🛠️ Installation

Nous fournissons une méthode d’installation sans sudo qui fonctionne sur la plupart des serveurs Linux (y compris sans interface graphique).

Étape 1 : Cloner le dépôt

git clone https://github.com/murphylmf/UniSH.git
cd UniSH

Étape 2 : Créer un environnement Conda

Cela installe Python, les compilateurs système et les pilotes OpenGL.

conda env create -f environment.yml
conda activate unish

Étape 3 : Compiler les dépendances

Ce script compile PyTorch3D, MMCV et SAM2 à partir des sources en utilisant les compilateurs installés à l'Étape 2.

L'environnement a été testé sur CUDA 12.1 et CUDA 11.8. Vous pouvez spécifier la version de CUDA en la passant comme argument au script d'installation.

# Default (Auto-detect or 12.1)
bash install.sh

For CUDA 11.8

bash install.sh 11.8

For CUDA 12.1

bash install.sh 12.1

Étape 4 : Télécharger les modèles SMPL

Veuillez télécharger les modèles SMPL et les placer dans le dossier body_models. La structure du répertoire doit être organisée comme suit :

UniSH/
├── body_models/
│   └── smpl/
│       └── smpl/
│           ├── SMPL_FEMALE.pkl
│           ├── SMPL_MALE.pkl
│           └── SMPL_NEUTRAL.pkl

🚀 Démarrage rapide (Inférence)

Exécuter l'inférence

Exécutez la commande suivante pour reconstruire la scène et l'humain à partir de la vidéo :

python inference.py --output_dir inference_results/example --video_path examples/example_video.mp4 

Veuillez vous référer à inference.py pour plus d'informations sur les paramètres supplémentaires.

📝 Citation

Si vous trouvez ce code utile pour vos recherches, veuillez envisager de citer notre article :

@misc{li2026unishunifyingscenehuman,
      title={UniSH: Unifying Scene and Human Reconstruction in a Feed-Forward Pass}, 
      author={Mengfei Li and Peng Li and Zheng Zhang and Jiahao Lu and Chengfeng Zhao and Wei Xue and Qifeng Liu and Sida Peng and Wenxiao Zhang and Wenhan Luo and Yuan Liu and Yike Guo},
      year={2026},
      eprint={2601.01222},
      archivePrefix={arXiv},
      primaryClass={cs.CV},
      url={https://arxiv.org/abs/2601.01222}, 
}

🙏 Remerciements

Nous remercions les excellentes contributions des projets suivants :

📄 Licence

Ce projet est sous licence Apache 2.0. Voir LICENSE pour plus de détails.

--- Tranlated By Open Ai Tx | Last indexed: 2026-03-24 ---