ThinkSound
🌐 English | 简体中文 | 繁體中文 | Español | Français | 日本語
このプロジェクトが役立つと感じた場合、
GitHubでスター ⭐ をいただけると嬉しいです！
ThinkSound は、Chain-of-Thought（CoT）推論によるフロー・マッチングを活用した統合型Any2Audio生成フレームワークです。 PyTorchによるマルチモーダル音声生成および編集の実装：動画・テキスト・音声から音声を生成・編集し、マルチモーダル大規模言語モデル（MLLM）の段階的推論によって実現します。
📰 ニュース
- 2025.09.19 🎉 ThinkSoundがNeurIPS 2025メインカンファレンスに採択されました！
- 2025.09.01 🔥 AudioCoTデータセットがオープンソース化され、Hugging Faceで利用可能になりました！
- 2025.07.17 🧠 ファインチューニング対応：トレーニングとファインチューニングコードが公開され、独自データでThinkSoundをカスタマイズ・拡張する手順も明確化されています。
- 2025.07.15 📦 インストール・利用がより簡単に：PyPI経由の依存関係でクロスプラットフォーム環境構築が容易に。Windows用
.batスクリプトで環境作成とスクリプト実行を自動化。 - 2025.07.08 🔧 主要アップデート：モデルの軽量化とメモリ・GPU使用の最適化、大規模高スループット音声生成に対応！
- 2025.07.01 🔥Hugging Face SpacesとModelScopeでオンラインデモ公開、インタラクティブ体験が可能！
- 2025.07.01 🔥推論スクリプトとWebインターフェース公開；
- 2025.06 🔥ThinkSound論文がarXivに掲載！
- 2025.06 🔥オンラインデモ公開中 - 今すぐお試しください！
🚀 特徴
- Any2Audio：任意のモダリティ（動画・テキスト・音声・その組み合わせ）から音声生成。
- Video-to-Audio SOTA：複数のV2Aベンチマークで最先端の性能を達成。
- CoT駆動型推論：MLLMによるChain-of-Thought推論で構成的・制御可能な音声生成。
- インタラクティブなオブジェクト中心編集：映像内のオブジェクトクリックやテキスト指示で特定の音イベントを編集・調整。
- 統合フレームワーク：生成・編集・インタラクティブワークフローを単一基盤モデルでサポート。
✨ メソッド概要
ThinkSoundは、MLLMベースのChain-of-Thought（CoT）推論で導かれる３つのインタラクティブな段階に音声生成・編集を分解します：
- フォリー生成： 動画から意味的・時間的に整合した基礎サウンドスケープを生成。
- オブジェクト中心の精緻化： 動画内のクリックや領域指定で、ユーザーが指定したオブジェクトの音を精緻化・追加。
- ターゲット音声編集： 高度な自然言語指示で生成音声を修正。
⚡ クイックスタート
環境準備:
git clone https://github.com/liuhuadai/ThinkSound.git
cd ThinkSound
conda create -n thinksound python=3.10
conda activate thinksound
pip install thinksound
conda install -y -c conda-forge 'ffmpeg<7'
Download pretrained weights https://huggingface.co/liuhuadai/ThinkSound to Directory ckpts/
model weights can be also downloaded from https://www.modelscope.cn/models/iic/ThinkSound
git lfs install
git clone https://huggingface.co/liuhuadai/ThinkSound ckpts
To improve inference and training speed, you may optionally install a FlashAttention backend compatible with your system and PyTorch version.
✅ Windowsのヒント：
Windowsユーザーは、setup_windows.bat を実行（またはダブルクリック）するだけで、自動的にconda環境が作成され、すべての依存関係（FFmpegを含む）がインストールされ、学習済みモデルがダウンロードされます — 手動でのセットアップは不要です。
スクリプトを実行する前に、condaおよびgitがインストールされており、システムPATHに追加されていることを確認してください。
▶️ デモの実行
#### Linux/macOS
chmod +x scripts/demo.sh
./scripts/demo.sh <CoT description> [use-half]</code></pre>
#### <strong>Windows</strong></p><p>代わりに、用意された <code>.bat</code> スクリプトを使用できます。</p><pre><code class="language-bash">.\scripts\demo.bat <path-to-your-demo-video> <title> <CoT description> [use-half]</code></pre>
<strong>注意:</strong></p><ul><li><code><path-to-your-demo-video></code>: 単一ビデオへのパス</li>
<li><code>[use-half]</code>（オプション）: 最後にuse-halfを追加して半精度特徴抽出を有効にします。</li></p><p></ul>---</p><h3>📦 バッチ推論</h3></p><p>#### <strong>Linux/macOS</strong></p><pre><code class="language-bash">chmod +x scripts/eval_batch.sh
./scripts/eval_batch.sh <video_path> <csv_path> <save_path (optional)> [use-half]</code></pre>
#### <strong>Windows</strong></p><p>同等の <code>.bat</code> スクリプトを使用してください:</p><pre><code class="language-bash">.\scripts\eval_batch.bat <video_path> <csv_path> <save_path (optional)> [use-half]</code></pre>
<strong>注意:</strong></p><ul><li><code><video_path></code>: 処理するすべての.mp4動画を含むルートディレクトリへのパス（すべての動画は同じ長さである必要があります）。</li>
<li><code><csv_path></code>: 各動画に対応するテキストプロンプトが記載されたCSVファイル（形式は<code>demo_test.csv</code>を参照）。</li>
<li><code><save_path></code>（オプション）: 生成された音声の保存先。デフォルトは<code>results/features</code>。</li>
<li><code>[use-half]</code>（オプション）: 最後にuse-halfを追加すると半精度特徴量抽出を有効化します。</li></p><p></ul>---</p><h3>Webインターフェースの利用</h3></p><p>インタラクティブな操作を行うには、GradioのWebインターフェースを起動してください。</p><pre><code class="language-bash">python app.py</code></pre></p><h2>🏋️ モデルのトレーニング</h2></p><p><a href="https://raw.githubusercontent.com/FunAudioLLM/ThinkSound/master/docs/Training.md" target="_blank" rel="noopener noreferrer"><code>Training.md</code></a> を参照してください</p><hr></p><h2>📝 TODO & 今後の計画</h2>
<ul><li>- [ ] より強力な基礎モデルを公開し、複数のドメインをカバーしてより魅力的で没入感のあるフォーリー作成を提供</li>
<li>- [ ] 追加のモダリティおよび下流タスクへの対応を追加</li>
<li>- [ ] 異なるスケールのモデルを公開</li>
<li>- [x] AudioCoTデータセットおよび自動化パイプラインのオープンソース化</li>
<li>- [x] ThinkSoundモデル用のトレーニングスクリプト公開</li>
<li>- [x] 初心者向けWindowsクイックスタートREADME</li>
</ul>---</p><h2>📄 ライセンス</h2></p><p>このプロジェクトはApache 2.0ライセンスの下で公開されています。</p><blockquote><strong>注意:</strong></blockquote>
<blockquote>コード、モデル、データセットは <strong>研究および教育目的のみ</strong> で利用可能です。</blockquote>
<blockquote><strong>商用利用は許可されていません。</strong></blockquote>
<blockquote>商用ライセンスについては著者にお問い合わせください。</blockquote></p><p><strong>📦 サードパーティコンポーネント</strong></p><ul><li><strong>Stable Audio Open VAE</strong>（Stability AIによる）:</li>
</ul>このリポジトリには <a href="https://huggingface.co/stabilityai/stable-audio-open-1.0/" target="_blank" rel="noopener noreferrer">Stable Audio Open</a> からファインチューニングされたVAEが含まれており、<a href="https://raw.githubusercontent.com/FunAudioLLM/ThinkSound/master/./third_party/LICENSE_StabilityAI.md" target="_blank" rel="noopener noreferrer">Stability AI Community License</a>の下でライセンスされています。
<strong>商用利用および再配布にはStability AIの事前許可が必要です。</strong></p><ul><li>📘 <strong>その他のコードおよびモデル</strong> はApache License 2.0の下で公開されています。</li></p><p></ul>---</p><h2>謝辞</h2></p><p>感謝：</p><ul><li><strong>stable-audio-tools</strong>（Stability AI 提供）：</li>
</ul>音声生成のための使いやすいフレームワーク、ならびにVAEモジュールと重みをご提供いただきました。
<ul><li><strong>MMAudio</strong>：</li>
</ul>オーディオ領域におけるMM-DiTバックボーンの実装に感謝します。</p><hr></p><h2>📖 引用</h2></p><p>もしThinkSoundが研究や業務で役立った場合は、ぜひ私たちの論文を引用してください：</p><pre><code class="language-bibtex">@misc{liu2025thinksoundchainofthoughtreasoningmultimodal,
title={ThinkSound: Chain-of-Thought Reasoning in Multimodal Large Language Models for Audio Generation and Editing},
author={Huadai Liu and Jialei Wang and Kaicheng Luo and Wen Wang and Qian Chen and Zhou Zhao and Wei Xue},
year={2025},
eprint={2506.21448},
archivePrefix={arXiv},
primaryClass={eess.AS},
url={https://arxiv.org/abs/2506.21448},
}</code></pre></p><hr></p><h2>📬 Contact</h2></p><p>
✨ Feel free to <a href="https://github.com/liuhuadai/ThinkSound/issues" target="_blank" rel="noopener noreferrer">open an issue</a> or contact us via email (<a href="https://raw.githubusercontent.com/FunAudioLLM/ThinkSound/master/mailto:liuhuadai@zju.edu.cn" target="_blank" rel="noopener noreferrer">liuhuadai@zju.edu.cn</a>) if you have any questions or suggestions!</p><p>
---
Tranlated By <a href="https://github.com/OpenAiTx/OpenAiTx" target="_blank" rel="noopener noreferrer">Open Ai Tx</a> | Last indexed: 2025-10-04
---</p>
</div>
<div class="original-link">
<strong>Original README:</strong> <a href="https://raw.githubusercontent.com/FunAudioLLM/ThinkSound/master/README.md" target="_blank" rel="noopener noreferrer">View on GitHub</a>
</div>
</div>
<div class="footer">
<p>Translated by <a href="https://github.com/OpenAiTx/OpenAiTx" target="_blank" rel="noopener noreferrer">OpenAiTx</a> |
Last updated: 2025-10-04
</div>
</body>
</html>