UniSH: Unificando la Reconstrucción de Escena y Humano en una Pasada Feed-Forward
Mengfei Li1, Peng Li1, Zheng Zhang2, Jiahao Lu1, Chengfeng Zhao1, Wei Xue1,
Qifeng Liu1, Sida Peng3, Wenxiao Zhang1, Wenhan Luo1, Yuan Liu1†, Yike Guo1†
1HKUST, 2BUPT, 3ZJU
TL;DR
Dado un video monocular como entrada, nuestro UniSH es capaz de reconstruir conjuntamente la escena y el humano en una sola pasada feed-forward, permitiendo una estimación efectiva de la geometría de la escena, parámetros de la cámara y parámetros SMPL.
🛠️ Instalación
Proporcionamos un método de instalación sin sudo que funciona en la mayoría de servidores Linux (incluidos los sin interfaz gráfica).
Paso 1: Clonar el Repositorio
git clone https://github.com/murphylmf/UniSH.git
cd UniSHPaso 2: Crear entorno Conda
Esto instala Python, compiladores del sistema y controladores OpenGL.conda env create -f environment.yml
conda activate unishPaso 3: Compilar Dependencias
Este script compila PyTorch3D, MMCV y SAM2 desde el código fuente utilizando los compiladores instalados en el Paso 2.El entorno ha sido probado en CUDA 12.1 y CUDA 11.8. Puede especificar la versión de CUDA pasándola como argumento al script de instalación.
# Default (Auto-detect or 12.1)
bash install.shFor CUDA 11.8
bash install.sh 11.8For CUDA 12.1
bash install.sh 12.1Paso 4: Descargar modelos SMPL
Por favor, descargue los modelos SMPL y colóquelos en la carpetabody_models.
La estructura del directorio debe estar organizada de la siguiente manera:UniSH/
├── body_models/
│ └── smpl/
│ └── smpl/
│ ├── SMPL_FEMALE.pkl
│ ├── SMPL_MALE.pkl
│ └── SMPL_NEUTRAL.pkl🚀 Inicio Rápido (Inferencia)
Ejecutar Inferencia
Ejecute el siguiente comando para reconstruir la escena y el humano a partir del video:python inference.py --output_dir inference_results/example --video_path examples/example_video.mp4 Por favor, consulte inference.py para obtener más información sobre parámetros adicionales.
📝 Cita
Si encuentra este código útil para su investigación, por favor considere citar nuestro artículo:
@misc{li2026unishunifyingscenehuman,
title={UniSH: Unifying Scene and Human Reconstruction in a Feed-Forward Pass},
author={Mengfei Li and Peng Li and Zheng Zhang and Jiahao Lu and Chengfeng Zhao and Wei Xue and Qifeng Liu and Sida Peng and Wenxiao Zhang and Wenhan Luo and Yuan Liu and Yike Guo},
year={2026},
eprint={2601.01222},
archivePrefix={arXiv},
primaryClass={cs.CV},
url={https://arxiv.org/abs/2601.01222},
}🙏 Agradecimientos
Reconocemos las excelentes contribuciones de los siguientes proyectos:
📄 Licencia
Este proyecto está licenciado bajo la Licencia Apache 2.0. Consulte LICENSE para más detalles.--- Tranlated By Open Ai Tx | Last indexed: 2026-03-24 ---