Hacia una Navegación UAV Realista con Visión-Lenguaje: Plataforma, Benchmark y Metodología

Contenidos

Introducción
Dependencias
Preparación
Uso
Citación

Noticias

2025-05-22: Lanzamos UAV-Flow, el primer benchmark en el mundo real para aprendizaje por imitación de UAV condicionado por lenguaje. (página del proyecto: https://prince687028.github.io/UAV-Flow)
2025-01-25: El artículo, la página del proyecto, código, datos, entornos y modelos han sido liberados.

Introducción

Este trabajo presenta _HACIA UNA NAVEGACIÓN UAV REALISTA CON VISIÓN-LENGUAJE: PLATAFORMA, BENCHMARK Y METODOLOGÍA_. Introducimos una plataforma de simulación UAV, un benchmark realista de UAV VLN guiado por asistente, y un método basado en MLLM para abordar los desafíos en la navegación UAV realista con visión-lenguaje.

Dependencias

Crear entorno `llamauav`

conda create -n llamauav python=3.10 -y
conda activate llamauav
pip install torch==2.0.1 torchvision==0.15.2 torchaudio==2.0.2 --index-url https://download.pytorch.org/whl/cu118

Instalar el modelo LLaMA-UAV

Puede seguir LLaMA-UAV para instalar las dependencias llm.

Instalar otras dependencias listadas en el archivo de requisitos

pip install -r requirement.txt

Además, para asegurar la compatibilidad con la API de Python de AirSim, aplique la corrección mencionada en el problema de AirSim

Preparación

Datos

Para preparar el conjunto de datos, siga las instrucciones proporcionadas en la Sección del Conjunto de Datos para construir el conjunto de datos.

Modelo

GroundingDINO

Descargue el modelo GroundingDINO desde el enlace groundingdino_swint_ogc.pth, y coloque el archivo en el directorio src/model_wrapper/utils/GroundingDINO/.

LLaMA-UAV

Para configurar el modelo, consulte la Configuración del Modelo detallada.

Entornos del simulador

Descargue los entornos del simulador para varios mapas desde aquí.

La estructura de archivos de los entornos es la siguiente:

├── carla_town_envs
│   ├── Town01
│   ├── Town02
│   ├── Town03
│   ├── ...
├── closeloop_envs
│   ├── Engine
│   ├── ModularEuropean
│   ├── ModularEuropean.sh
│   ├── ModularPark
│   ├── ModularPark.sh
│   ├── ...
├── extra_envs
│   ├── BrushifyUrban
│   ├── BrushifyCountryRoads
│   ├── ...

Uso

configurar el servidor del entorno del simulador

Antes de ejecutar las simulaciones, asegúrese de que el servidor del entorno AirSim esté configurado correctamente.

Actualice las rutas ejecutables del entorno env_exec_path_dict relativas a root_path en AirVLNSimulatorServerTool.py.

cd airsim_plugin
python AirVLNSimulatorServerTool.py --port 30000 --root_path /path/to/your/envs

ejecutar simulación en bucle cerrado

Una vez que el servidor del simulador esté en funcionamiento, puede ejecutar el script dagger o de evaluación.

# Dagger NYC
bash scripts/dagger_NYC.sh
Eval
bash scripts/eval.sh
bash scripts/metrics.sh

Artículo

Si encuentra útil este proyecto, por favor considere citar: artículo:

@misc{wang2024realisticuavvisionlanguagenavigation,
      title={Towards Realistic UAV Vision-Language Navigation: Platform, Benchmark, and Methodology},
      author={Xiangyu Wang and Donglin Yang and Ziqin Wang and Hohin Kwan and Jinyu Chen and Wenjun Wu and Hongsheng Li and Yue Liao and Si Liu},
      year={2024},
      eprint={2410.07087},
      archivePrefix={arXiv},
      primaryClass={cs.CV},
      url={https://arxiv.org/abs/2410.07087},
}

Agradecimientos

Este repositorio se basa en parte en los repositorios AirVLN y LLaMA-VID.

--- Tranlated By Open Ai Tx | Last indexed: 2026-03-21 ---

TravelUAV