🌐 اللغة
مطابقة التدفق في بايتورتش
يحتوي هذا المستودع على تنفيذ بسيط في بايتورتش لورقة البحث مطابقة التدفق للنمذجة التوليدية.
مثال مطابقة تدفق ثنائي الأبعاد
توضح الصورة المتحركة أدناه تحويل توزيع غاوسي أحادي إلى توزيع لوحة الشطرنج، مع تصوير حقل المتجهات.
وهنا مثال آخر لمجموعة بيانات الأقمار (moons).
البدء
قم باستنساخ المستودع وإعداد بيئة بايثون.
git clone https://github.com/keishihara/flow-matching.git
cd flow-matchingتأكد من تثبيت بايثون 3.12+ لديك.
ثبّت uv:
curl -LsSf https://astral.sh/uv/install.sh | shثم قم بإعداد البيئة:
uv syncالمطابقة الشرطية للتدفق [Lipman+ 2023]
هذا هو التنفيذ الأصلي لورقة CFM [1]. تم تكييف بعض مكونات الشيفرة من [2] و [3].
مجموعات بيانات الألعاب ثنائية الأبعاد
يمكنك تدريب نماذج CFM على مجموعات بيانات تركيبية ثنائية الأبعاد مثل checkerboard و moons. حدد اسم مجموعة البيانات باستخدام خيار --dataset. معلمات التدريب محددة مسبقًا في البرنامج النصي، وتخزين تصورات نتائج التدريب في مجلد outputs/. نقاط التحقق للنموذج غير مضمنة حيث يمكن إعادة إنتاجها بسهولة باستخدام الإعدادات الافتراضية.
uv run scripts/train_flow_matching_2d.py --dataset checkerboardoutputs/cfm/.مجموعات بيانات الصور
يمكنك أيضًا تدريب نماذج CFM المشروطة بالفئة على مجموعات بيانات تصنيف الصور الشائعة. سيتم تخزين كل من العينات المُولَّدة ونقاط تحقق النموذج في دليل outputs/cfm. للحصول على قائمة مفصلة بمعلمات التدريب، شغّل الأمر uv run scripts/train_flow_matching_on_image.py --help.
لتدريب نموذج CFM مشروط بالفئة على مجموعة بيانات MNIST، شغّل الأمر:
uv run scripts/train_flow_matching_on_image.py --do_train --dataset mnistبعد الانتهاء من التدريب، يمكنك الآن إنشاء عينات باستخدام:
uv run scripts/train_flow_matching_on_image.py --do_sample --dataset mnistoutputs/cfm/mnist/.
التدفق المصحح [Liu+ 2023]
هذا هو تنفيذ نموذج Reflow (وبشكل محدد 2-Rectified Flow) من ورقة التدفق المصحح [2].
بيانات اصطناعية ثنائية الأبعاد
قمنا بتنفيذ Reflow على مجموعات بيانات اصطناعية ثنائية الأبعاد، تمامًا كما في CFM. لتدريب reflow، يجب عليك تحديد نقاط تحقق CFM المدربة مسبقًا لأن reflow هو نموذج تقطير.
على سبيل المثال، لتدريب مجموعة بيانات checkerboard باستخدام نقطة تحقق CFM مدربة مسبقًا:
uv run scripts/train_reflow_2d.py --dataset checkerboardيتم حفظ نتائج التدريب، بما في ذلك تصورات الحقل الاتجاهي والعينات المُنشأة، ضمن مجلد outputs/reflow/.
مقارنة عملية أخذ العينات بين CFM و Reflow
لمقارنة CFM و Reflow على مجموعات البيانات ثنائية الأبعاد، قم بتشغيل:
uv run scripts/plot_comparison_2d.py --dataset checkerboardoutputs/comparisons/. فيما يلي مثال لمقارنة بين الطريقتين في مجموعة بيانات checkerboard:
المراجع
- [1] ليبمان، يارون، وآخرون. "مطابقة التدفق للنمذجة التوليدية." arXiv:2210.02747
- [2] ليو، شينغتشاو، وآخرون. "التدفق المستقيم والسريع: التعلم لتوليد ونقل البيانات باستخدام التدفق المصحح." arXiv:2209.03003
- [3] facebookresearch/flow_matching
- [4] atong01/conditional-flow-matching