Web Analytics

ThinkSound

⭐ 1321 stars Korean by FunAudioLLM

ThinkSound

🌐 English | 简体中文 | 繁體中文 | Español | Français | 日本語

NeurIPS 2025   arXiv   Online Demo   Hugging Face   ModelScope

이 프로젝트가 유용하다면,
GitHub에서 별표 ⭐를 눌러주시면 큰 도움이 됩니다!

저장소 구조

이 ThinkSound GitHub 저장소는 두 개의 관련 프로젝트를 별도의 브랜치에서 관리합니다:

| 브랜치 | 프로젝트 | 문서 | |--------|---------|----------------| | master | ThinkSound (NeurIPS 2025) — CoT 기반 플로우 매칭을 적용한 통합 Any2Audio 생성 | 이 파일: README.md | | prismaudio | PrismAudio — 영상-오디오 변환 및 다차원 CoT-RL 후속 연구 (ICLR 2026) | prismaudio 브랜치 내 README.md |

ThinkSound를 사용하려면 master 브랜치(이 README)를, PrismAudio는 prismaudio 브랜치로 이동하여 그 곳의 README.md를 참고하세요.

ThinkSound는 Chain-of-Thought(Cot) 추론이 이끄는 플로우 매칭 기반의 통합 Any2Audio 생성 프레임워크입니다.

비디오, 텍스트, 오디오로부터 오디오를 생성하거나 편집할 수 있는 멀티모달 오디오 생성 및 편집을 위한 PyTorch 구현체로, 멀티모달 대형 언어 모델(MLLM)의 단계적 추론을 활용합니다.

Teaser

📰 새 소식

---

후속 프로젝트: PrismAudio (동일 저장소, prismaudio 브랜치)

PrismAudio는 ThinkSound(ICLR 2026)의 후속 프로젝트로, 새로운 이름으로 개발되었지만 이 저장소의 prismaudio 브랜치에서 관리되고 있습니다. 설치, 체크포인트, 인용 방법은 해당 브랜치의 README.md에서 확인할 수 있습니다.

👉 git checkout prismaudio 또는 GitHub에서 해당 브랜치를 여세요.

🚀 주요 기능

---

✨ 방법 개요

ThinkSound는 오디오 생성 및 편집을 MLLM 기반 Chain-of-Thought(CoT) 추론에 의해 안내되는 세 가지 상호작용 단계로 분해합니다:

ThinkSound 개요

⚡ 빠른 시작

환경 준비: 

# ThinkSound code: branch master. PrismAudio: clone with -b prismaudio (see README.md on that branch).
git clone -b master https://github.com/liuhuadai/ThinkSound.git
cd ThinkSound
conda create -n thinksound python=3.10
conda activate thinksound
pip install thinksound
conda install -y -c conda-forge 'ffmpeg<7'

Download pretrained weights https://huggingface.co/liuhuadai/ThinkSound to Directory ckpts/


model weights can be also downloaded from https://www.modelscope.cn/models/iic/ThinkSound

git lfs install
git clone https://huggingface.co/liuhuadai/ThinkSound ckpts

To improve inference and training speed, you may optionally install a FlashAttention backend compatible with your system and PyTorch version.
✅ Windows 팁:
Windows 사용자는 setup_windows.bat 파일을 실행(또는 더블 클릭)하면 콘다 환경이 자동으로 생성되고, 모든 종속성(FFmpeg 포함)과 사전 학습된 모델이 다운로드됩니다 — 별도의 수동 설정이 필요하지 않습니다.
스크립트를 실행하기 전에 conda와 git이 시스템 PATH에 설치되어 있고 사용 가능한지 확인하세요.

▶️ 데모 실행

#### Linux/macOS

chmod +x scripts/demo.sh
./scripts/demo.sh   <CoT description> [use-half]</code></pre>
#### <strong>Windows</strong></p><p>대신 제공된 <code>.bat</code> 스크립트를 사용할 수 있습니다:</p><pre><code class="language-bash">.\scripts\demo.bat <path-to-your-demo-video> <title> <CoT description> [use-half]</code></pre>
<strong>참고:</strong></p><ul><li><code><path-to-your-demo-video></code>: 단일 비디오의 경로</li>
<li><code>[use-half]</code> (선택사항): 마지막에 use-half를 추가하여 하프 프리시전 특징 추출을 활성화합니다.</li></p><p></ul>---</p><h3>📦 배치 추론</h3></p><p>#### <strong>Linux/macOS</strong></p><pre><code class="language-bash">chmod +x scripts/eval_batch.sh
./scripts/eval_batch.sh <video_path> <csv_path> <save_path (optional)> [use-half]</code></pre>
#### <strong>Windows</strong></p><p>동등한 <code>.bat</code> 스크립트를 사용하세요:</p><pre><code class="language-bash">.\scripts\eval_batch.bat <video_path> <csv_path> <save_path (optional)> [use-half]</code></pre>
<strong>참고:</strong></p><ul><li><code><video_path></code>: 처리할 모든 .mp4 비디오가 포함된 루트 디렉터리의 경로 (모든 비디오는 동일한 길이여야 합니다).</li>
<li><code><csv_path></code>: 각 비디오에 대한 텍스트 프롬프트가 포함된 CSV 파일 (<code>demo_test.csv</code>에서 형식 참고).</li>
<li><code><save_path></code> (선택사항): 생성된 오디오를 저장할 위치. 기본값은 <code>results/features</code>입니다.</li>
<li><code>[use-half]</code> (선택사항): 마지막에 use-half를 추가하면 하프 프리시전 특징 추출이 활성화됩니다.</li></p><p></ul>---</p><h3>웹 인터페이스 사용법</h3></p><p>인터랙티브한 경험을 위해 Gradio 웹 인터페이스를 실행하세요:</p><pre><code class="language-bash">python app.py</code></pre>
<h2>🏋️ 모델 학습</h2></p><p><a href="https://raw.githubusercontent.com/FunAudioLLM/ThinkSound/master/docs/Training.md" target="_blank" rel="noopener noreferrer"><code>Training.md</code></a>를 참고하세요.</p><hr></p><h2>📄 라이선스</h2></p><p>이 프로젝트는 Apache 2.0 라이선스 하에 공개됩니다.</p><blockquote><strong>참고:</strong></blockquote>
<blockquote>코드, 모델 및 데이터셋은 <strong>연구 및 교육 목적으로만 사용</strong>해야 합니다.</blockquote>
<blockquote><strong>상업적 사용은 허용되지 않습니다.</strong></blockquote>
<blockquote>상업적 라이선스가 필요할 경우 저자에게 문의해 주십시오.</blockquote></p><p><strong>📦 서드파티 구성 요소</strong></p><ul><li><strong>Stable Audio Open VAE</strong> (Stability AI 제공):</li>
  </ul>이 저장소는 <a href="https://huggingface.co/stabilityai/stable-audio-open-1.0/" target="_blank" rel="noopener noreferrer">Stable Audio Open</a>에서 파인튜닝된 VAE를 포함하며, <a href="https://raw.githubusercontent.com/FunAudioLLM/ThinkSound/master/./third_party/LICENSE_StabilityAI.md" target="_blank" rel="noopener noreferrer">Stability AI Community License</a> 하에 라이선스됩니다.
  <strong>상업적 사용 및 재배포는 Stability AI의 사전 허가가 필요합니다.</strong></p><ul><li>📘 <strong>기타 모든 코드 및 모델</strong>은 Apache License 2.0 하에 공개됩니다.</li></p><p></ul>---</p><h2>감사의 말씀</h2></p><p>다음 분들께 깊이 감사드립니다:</p><ul><li><strong>stable-audio-tools</strong> (Stability AI 제공):</li>
</ul>오디오 생성 및 VAE 모듈과 가중치 제공을 위한 손쉬운 프레임워크를 제공해주셨습니다.
<ul><li><strong>MMAudio</strong>:</li>
  </ul>오디오 도메인에서 MM-DiT 백본 구현을 제공해주셨습니다.</p><hr></p><h2>📖 인용</h2></p><p>본 프로젝트가 연구나 작업에 유용하다면, 저희 논문을 인용해 주시기 바랍니다:</p><pre><code class="language-bibtex">@misc{liu2025thinksoundchainofthoughtreasoningmultimodal,
      title={ThinkSound: Chain-of-Thought Reasoning in Multimodal Large Language Models for Audio Generation and Editing}, 
      author={Huadai Liu and Jialei Wang and Kaicheng Luo and Wen Wang and Qian Chen and Zhou Zhao and Wei Xue},
      year={2025},
      eprint={2506.21448},
      archivePrefix={arXiv},
      primaryClass={eess.AS},
      url={https://arxiv.org/abs/2506.21448}, 
}
@misc{liu2025prismaudiodecomposedchainofthoughtsmultidimensional,
          title={PrismAudio: Decomposed Chain-of-Thoughts and Multi-dimensional Rewards for Video-to-Audio Generation}, 
          author={Huadai Liu and Kaicheng Luo and Wen Wang and Qian Chen and Peiwen Sun and Rongjie Huang and Xiangang Li and Jieping Ye and Wei Xue},
          year={2025},
          eprint={2511.18833},
          archivePrefix={arXiv},
          primaryClass={cs.SD},
          url={https://arxiv.org/abs/2511.18833}, 
    }</code></pre></p><hr></p><h2>📬 Contact</h2></p><p>
✨ Feel free to <a href="https://github.com/liuhuadai/ThinkSound/issues" target="_blank" rel="noopener noreferrer">open an issue</a> or contact us via email (<a href="https://raw.githubusercontent.com/FunAudioLLM/ThinkSound/master/mailto:liuhuadai@zju.edu.cn" target="_blank" rel="noopener noreferrer">liuhuadai@zju.edu.cn</a>) if you have any questions or suggestions!</p><p>


---


Tranlated By <a href="https://github.com/OpenAiTx/OpenAiTx" target="_blank" rel="noopener noreferrer">Open Ai Tx</a> | Last indexed: 2026-04-20


---</p>
        </div>
        
        <div class="original-link">
            <strong>Original README:</strong> <a href="https://raw.githubusercontent.com/FunAudioLLM/ThinkSound/master/README.md" target="_blank" rel="noopener noreferrer">View on GitHub</a>
        </div>
    </div>
    
    <div class="footer">
        <p>Translated by <a href="https://github.com/OpenAiTx/OpenAiTx" target="_blank" rel="noopener noreferrer">OpenAiTx</a> | 
        Last updated: 2026-04-20 
    </div>
    
</body>
</html>