🌐 ভাষা

简体中文

繁體中文

BIRD-INTERACT 1.0

⚠️ ঘোষণা

অনুগ্ৰহ কৰি লক্ষ্য কৰক, আপোনাৰ মূল্যাংকন প্ৰক্ৰিয়া আৰম্ভ কৰাৰ আগতে, যেতিয়া Docker-এ ডেটাবেসসমূহ লোড কৰে, পৰিৱেশৰ অসঙ্গতিৰ বাবে কেতবোৰ সময়ত ত্ৰুটি দেখা দিব পাৰে (এইবোৰে প্ৰক্ৰিয়া বন্ধ নকৰে, কিন্তু Docker লগত উপস্থিত হয়)। ফলস্বৰূপ, কিছুমান ডেটাবেস ঠিককৈ লোড নহব পাৰে, যাৰ ফলত ডেটাবেসসমূহ খালী হৈ থাকে। ইয়াৰ ফলত মূল্যাংকনৰ ফলাফল সাধাৰণকৈ যথেষ্ট কম হব। 👉 সেয়ে, আমাৰ দৃঢ়ভাৱে পৰামৰ্শ, মূল্যাংকন চলোৱাৰ আগতে Docker লগত কোনো ত্ৰুটি আছে নে চাব আৰু সকলো ডেটাবেস সফলভাৱে লোড হৈছে নে নিশ্চিত কৰিব।

👉 আমি Submission Guidelines-টো আপডেট কৰিছোঁ, য'ত কাষ্টমাইজ্ড এজেন্ট স্কাফ'ল্ডসমূহ সমৰ্থিত। অনুগ্ৰহ কৰি এই লিংকত আমাৰ বিস্তারিত সাবমিশন গাইডলাইন চাই ল'ব।

📰 সংবাদ

[2026-02-08] 🔥🔥🔥 আমাৰ Bird-Interact paper ICLR 2026 (Oral)-ত গ্ৰহণ হৈছে! ৰিঅ'ত দেখা হ'ব 🇧🇷!

[2025-11-06] 🐛 বাগ ফিক্স & 🐳 Docker আপডেট: sqlglot-ৰ সংস্কৰণ 26.16.4-লৈ আপডেট কৰা হৈছে, যাতে sql parser-এ ইউজাৰ ছিমুলেটৰৰ বাবে SQL ঠিককৈ পাৰ্চ কৰিব নোৱাৰা বাগটো ফিক্স হয়। আপুনি bird_interact_eval এনভ-ত pip install sqlglot==26.16.4 দ্বাৰা পুনৰ ইনস্টল কৰি ফিক্স কৰিব পাৰিব। bird_interact_eval ইমেজটোও আপডেট হৈছে, সেয়ে আপুনি এইটো টানিব আৰু bird_interact_eval কণ্টেইনাৰ পুনৰ সৃষ্টি কৰিব পাৰিব।

[2025-10-21] 🐳 Docker আপডেট: আমি Full DB Env-ৰ বাবে docker যোগ কৰিছোঁ। আৰু আমি Docker Hub-ত 3টা docker ইমেজ (Base/Full DB Env আৰু মূল্যাংকন পৰিৱেশ a-Interact আৰু c-Interact-ৰ বাবে) পোষ্ট কৰিছোঁ, যাতে পৰিৱেশ স্থাপন সহজ হয়। DB dumps ডাউনলোড আৰু ইমেজ নিজে তৈয়াৰ কৰাৰ প্ৰয়োজন নাই!

[2025-10-08] 📝 আমাৰ Bird-Interact paper এতিয়া জনসমক্ষে উপলব্ধ!

ইয়াত সম্পূর্ণ বিৱৰণ, পদ্ধতি, আৰু আমাৰ ইন্টাৰেক্টিভ টেক্সট-টু-SQL বেঞ্চমাৰ্কৰ মূল্যাংকন দিয়া আছে। 👉 BIRD-Interactৰ পেছৰ আইডিয়াবোৰ জানিবলৈ চাওক।

[2025-08-26] 🚀 আমি আনন্দেৰে ঘোষণা কৰিছোঁ BIRD-Interact-Full (600) সেট মুক্ত হৈছে!

এইটো কঠিন — আটাইতকৈ ভাল LLM-সমূহে কেৱল 16.33% সফলতা হাৰ লাভ কৰিছে, c-interact আৰু a-interact অংশত কেৱল 10.0%। 👉 অধিক তথ্যৰ বাবে, অনুগ্ৰহ কৰি আমাৰ প্ৰজেক্ট ৱেবছাইট চাওক।

[২০২৫-০৮-২৬] 📬 আমি এই সপ্তাহত আমাৰ মেইলিং তালিকালৈ Ground Truth & Test cases প্ৰেৰণ কৰা হ'ব।

যদি আপুনি আগতীয়াকৈ লাভ কৰিব বিচাৰে, অনুগ্রহ কৰি ছাইটত উল্লেখ কৰা অনুসৰি ইমেইল প্ৰেৰণ কৰক স্বয়ংক্ৰীয় ডাউনলোডৰ বাবে।

[২০২৫-০৮-২৬] 💾 আন এটা কথাত, আমি LiveSQLBench-Lite ৰ SQLite সংস্কৰণ মুক্ত কৰিছে যাতে স্থানীয়ভাৱে গৱেষণা সহজ হয়।

সম্পূর্ণ LiveSQLBench-Base আৰু -Large সংস্কৰণ শীঘ্ৰেই আহি আছে!

[২০২৫-০৮-২২] বাগ ফিক্স: Bird-Interact-Agent ক'ডত, আমি এটা বাগ ঠিক কৰিছোঁ যি ফেজ-২ SQL মূল্যায়ন কৰাৰ সময়ত, সংৰক্ষিত ফেজ-১ SQL সফলভাৱে চলিব নোৱাৰিছিল, ফলত Phase-2 ৰ সফলতা হাৰ কমিছিল। এই বাগ কেৱল সেই টাস্কবোৰত প্ৰভাৱিত হয় য'ত phase1 sql ডেটাবেইছত কিছুমান কাৰ্য কৰে, যেনে CREATE table, আদি।

🧸 সংক্ষিপ্ত বিবৰণ

BIRD-INTERACT, এটা ইণ্টাৰেক্টিভ টেক্সট-টু-SQL বেঞ্চমাৰ্ক, ডাইনামিক ইণ্টাৰেকশ্যনৰ দৃষ্টিভংগীত টেক্সট-টু-SQL মূল্যায়ন পুনৰ কল্পনা কৰে। এই পৰিৱেশে এটা স্তৰীয় জ্ঞানভাণ্ডাৰ, ডেটাবেইস ডকুমেন্টেশ্যন আৰু ফাংক্সন-চলিত ইউজাৰ সিমুলেটৰ সংমিশ্ৰণ কৰি সম্পূর্ণ CRUD কাৰ্যত সত্যিকাৰ এণ্টাৰপ্ৰাইজ পৰিৱেশ পুনৰুদ্ধাৰ কৰে। ই দুটা কঠোৰ টেষ্ট মোড অফাৰ কৰে: (১) নীৰৱ কনভার্সেশ্যনেল ইণ্টাৰেকশন আৰু (২) সক্ৰিয় এজেণ্টিক ইণ্টাৰেকশন, ৬০০ টা এনোটেটেড টাস্ক বিস্তৃত, য'ত Business Intelligence (BI), CRUD কাৰ্য আৰু আদি সন্নিৱিষ্ট, প্ৰতিটা টেষ্ট কেছ দ্বাৰা সুৰক্ষিত। সাধাৰণ মূল্যায়নে মডেল আৰু ইউজাৰ সিমুলেটৰৰ মাজত ১,৯৬৮-৫,৪৯৬ টা ইণ্টাৰেকশন টাৰ্ন সৃষ্টি কৰে, যেতিয়া শ্ৰেষ্ঠ যুক্তি মডেলবোৰে কেৱল ≈২৪% আৰু ≈১৮% টাস্ক সমাধান কৰে, যি বেঞ্চমাৰ্কৰ চেলেঞ্জ দেখুৱায়।

✅ দুটা মূল্যায়ন মোড

BIRD-INTERACT ওপৰত উল্লেখ কৰা দুটা মূল্যায়ন মোড সমৰ্থন কৰে:

c-Interact: কনভার্সেশ্যনেল ইণ্টাৰেকশন যি এটা নীৰৱ মোড আৰু কার্যপদ্ধতি স্থিৰ। ক'ড আৰু বিস্তৃত তথ্য bird_interact_conv ত পোৱা যাব।
a-Interact: এজেণ্টিক ইণ্টাৰেকশন যি এটা দেহী সক্ৰিয় মোড, য'ত কার্যপদ্ধতি ডাইনামিক আৰু মডেলৰ দ্বাৰা নিয়ন্ত্ৰিত। ক'ড আৰু বিস্তৃত তথ্য bird_interact_agent ত পোৱা যাব।

🐣 লাইট সংস্কৰণ

আমি BIRD-INTERACT ৰ লাইট সংস্কৰণ bird-interact-lite-exp মুক্ত কৰিছোঁ, য'ত PostgreSQL ৰ বাবে ২৭০ টা উচ্চ-মানৰ বাস্তৱ টাস্ক অন্তৰ্ভুক্ত। এইটো তৎক্ষণাৎ পৰীক্ষাৰ বাবে ভাল আৰম্ভনি।

🦜 সম্পূর্ণ সংস্কৰণ

BIRD-INTERACT ৰ সম্পূর্ণ সংস্কৰণ bird-interact-full, এটা ব্যাপক বেঞ্চমাৰ্ক য'ত PostgreSQL ৰ বাবে ৬০০ টা টাস্ক অন্তৰ্ভুক্ত। ই SQL কাৰ্য আৰু ইউজাৰ কোৱাৰি বিস্তৃতভাৱে ঢেকে লৈছে। সম্পূর্ণ সংস্কৰণ শীঘ্ৰেই আহি আছে।

BIRD-INTERACT-FULL ত মডেলৰ কার্যক্ষমতা ফলাফল

#### ১. c-Interact Text-to-SQL কার্যক্ষমতা | Rank | Model Name | Normalized Reward | Avg Cost (USD)/Task | Level | |:----:|:-------------------|:-----------------:|:-------------------:|:------------------:| | 1 | Gemini-2.5-Pro | ২০.৯২ | $০.০৪ | 🏆 উৎকৃষ্ট চ্যাট | | 2 | O3-Mini | ২০.২৭ | $০.০৭ | 🏆 উৎকৃষ্ট চ্যাট | | 3 | Claude-Sonnet-4 | ১৮.৩৫ | $০.২৯ | 💎 ভাল চ্যাট | | 4 | Qwen-3-Coder-480B | ১৭.৭৫ | $০.১১ | 💎 ভাল চ্যাট | | 5 | Deepseek-Chat-V3.1 | ১৫.১৫ | $০.১২ | ✨ মানসম্পন্ন | | 6 | Claude-Sonnet-3.7 | ১৩.৮৭ | $০.২৯ | ✨ মানসম্পন্ন | | 7 | GPT-5 | ১২.৫৮ | $০.০৮ | ⚪ প্ৰাথমিক |

#### 2. a-Interact Text-to-SQL প্ৰদর্শন | Rank | Model Name | Normalized Reward | Avg Cost (USD)/Task | Level | |:----:|:-------------------|:-----------------:|:-------------------:|:------------------------:| | 1 | GPT-5 | ২৫.৫২ | $০.২৪ | 🏆 উৎকৃষ্ট আন্তঃক্ৰিয়া | | 2 | Claude-Sonnet-4 | ২৩.২৮ | $০.৫১ | 🏆 উৎকৃষ্ট আন্তঃক্ৰিয়া | | 3 | Claude-Sonnet-3.7 | ১৭.৪৫ | $০.৬০ | 💎 ভাল আন্তঃক্ৰিয়া | | 4 | Gemini-2.5-Pro | ১৭.৩৩ | $০.২২ | 💎 ভাল আন্তঃক্ৰিয়া | | 5 | O3-Mini | ১৬.৪৩ | $০.০৬ | ✨ মানসম্পন্ন | | 6 | Deepseek-Chat-V3.1 | ১৩.৪৭ | $০.০৬ | ✨ মানসম্পন্ন | | 7 | Qwen-3-Coder-480B | ১০.৫৮ | $০.০৭ | ⚪ প্ৰাথমিক |

\ বাজেট পেৰামিটাৰ: আৰম্ভণি বাজেট/ইউজাৰ ধৈৰ্য বাজেট, আমাৰ কল্পনা ধন bird-coin*s দ্বাৰা মাপা হয়। অধিক তথ্যৰ বাবে bird_interact_agent/README.md চাওক।

Interaction-Time Scaling (ITS)

Interaction-Time Scaling (ITS) মানে হৈছে এটা মডেলৰ বহু-পৰ্যায় আন্তঃক্ৰিয়া যোগে তাৰ অন্তিম প্ৰদর্শন ধাৰাবাহিকভাৱে বৃদ্ধি কৰাৰ সক্ষমতা। এই আন্তঃক্ৰিয়া প্ৰদর্শনে যদি মডেলৰ আদর্শ এক-পৰ্যায় প্ৰদর্শনক সম্পূর্ণ নিৰ্দিষ্ট, অস্পষ্টতাহীন টাস্কত অতিক্ৰম কৰে, তেন্তে আমি ক'ব পাৰো যে মডেল ITS আইন মানে। ইউজাৰৰ ধৈৰ্য বৃদ্ধি হ'লে আৰু আন্তঃক্ৰিয়া পৰ্যায় সংগ্ৰহ হ'লে, প্ৰদর্শন উন্নত হয়, যি মডেলটো দীঘল সময়ৰ কথোপকথনত কার্যকৰী যোগাযোগ বজাই ৰাখিব পাৰে বুলি দেখুৱায়। বৰ্তমান, আমি কেৱল claude-3-7-sonnet মডেলক ITS আইন মানে বুলি পাইছো।

পৰিৱেশ স্থাপন

bird-interact-lite ডাটাবেইজ, bird-interact-full ডাটাবেইজ, আৰু মূল্যায়ন পৰিৱেশৰ বাবে Docker কন্টেইনাৰ চলাওক:

> যদি আপুনি কেৱল bird-interact-lite ত মূল্যায়ন কৰিব বিচাৰে, তেন্তে postgresql_full service টো docker-compose.yml ত মন্তব্য কৰক যাতে পৰিৱেশ স্থাপন দ্রুত হয়। পৰিৱেশ আৰম্ভ কৰিবলৈ এইটো চলাওক:

   cd env
   docker compose pull 
   docker compose up -d
   ``
   ডেটাবেছ আৰম্ভণিৰ বাবে কেইমিনিটমান অপেক্ষা কৰক।  আপুনি নিৰ্মাণৰ প্ৰগতি তলত দৰ্শন কৰিব পাৰে:
  `bash
  docker compose logs -f --tail=100 bird_interact_postgresql_full # or bird_interact_postgresql for bird-interact-lite
  `
  যদি সম্পূৰ্ণ হোৱা থাকে, আপুনি ত্ৰুটিবিহীনভাৱে লগসমূহ চাব লাগিব যেনে:
  `bash
  bird_interact_postgresql_full  | 2025-10-28 17:58:30.413 HKT [1] LOG:  database system is ready to accept connection
  `
  
  যদি আপুনি পূৰ্বে containers সৃষ্টি কৰিছে আৰু পুনৰ সৃষ্টি কৰিব বিচাৰে, তেন্তে তলত দিয়া নিৰ্দেশনা চলাব পাৰে:
  `bash
  docker compose down -v # this cmd removes the containers and the volumes
  docker compose pull   # pull the latest images from Docker Hub
  docker compose up -d --force-recreate # build and start the containers again. --force-recreate means force the recreation of the containers. 
  # Or docker compose up -d --force-recreate bird_interact_eval to only recreate the bird_interact_eval container about evalution code environment.
  `
   
   এইটো ৩টা কণ্টেইনাৰ চলায় যি আগতে নিৰ্মিত ইমেজসমূহ Docker Hub ৰ পৰা ব্যৱহাৰ কৰে:
   
bird_interact_postgresql: bird-interact-lite ৰ বাবে PostgreSQL ডেটাবেছ

   bird_interact_postgresql_full: bird-interact-full ৰ বাবে PostgreSQL ডেটাবেছ

   bird_interact_eval: a-Interact আৰু c-Interact উভয়ৰ বাবে মূল্যাংকন পৰিবেশ।
   
এতিয়া, আপুনি তলত দিয়া নিৰ্দেশনা চলাই মূল্যাংকন পৰিবেশ আৰম্ভ কৰিব পাৰিব:
   `bash
   docker compose exec bird_interact_eval bash
   `(ঐচ্ছিক) পৰিবেশটো নিজে নিজে নিৰ্মাণ কৰক (যদি আপুনি ছবিসমূহ আৰম্ভণিৰ পৰা নিৰ্মাণ কৰিব বিচাৰে): 
   ডাটাবেছ ডাম্পসমূহ ডাউনলোড কৰক 
      bird-interact-lite। আনজিপ কৰক আৰু ইয়াক env/postgre_table_dumps হিচাপে পুনৰ নামকৰণ কৰক।

      bird-interact-full। আনজিপ কৰক আৰু ইয়াক env/postgre_table_dumps_full হিচাপে পুনৰ নামকৰণ কৰক।

   docker-compose.build.yml চলাই নিজে নিজে পৰিবেশটো নিৰ্মাণ কৰক।

      
`bash
      cd env/
      docker compose -f docker-compose.build.yml build
      docker compose -f docker-compose.build.yml up -d
      `
(সুপারিশকৃত) পৰীক্ষা কৰক যে ডেটাবেছ কণ্টেইনাৰসমূহ সফলভাৱে নিৰ্মাণ আৰু চলি আছে।
 কণ্টেইনাৰৰ নিৰ্মাণ লগসমূহ মুদ্ৰণ কৰক যাতে নিশ্চিত কৰিব পৰা যায় যে ডেটাবেছসমূহ কোনো ত্ৰুটি নোহোৱাকৈ সফলভাৱে নিৰ্মাণ হৈছে:
   `bash 
   docker logs bird_interact_postgresql > build_bird_interact_postgresql.log 2>&1
   docker logs bird_interact_postgresql_full > build_bird_interact_postgresql_full.log 2>&1
   `
   যদি ত্ৰুটি দেখা দেয়, "Errors occurred during import:" লগ ফাইলত ছাপ হ'ব।
 পৰীক্ষা কৰক যে ডেটাবেচ কন্টেইনাৰসমূহ সুস্থ অৱস্থাত আছে নে নাই।
   
   ডেটাবেচ মেটাডাটা যাচাই কৰিবলৈ আমাৰ প্ৰদান কৰা Python স্ক্ৰিপ্ট ব্যৱহাৰ কৰক:
   `bash
   docker compose exec bird_interact_eval bash
   cd /app/env
   python check_db_metadata.py --host bird_interact_postgresql
   python check_db_metadata.py --host bird_interact_postgresql_full
   `
   
   আশা কৰা ফলাফলসমূহ:
   bird-interact-lite: 
     📈 মুঠ ডেটাবেইচ: ১৮টা
     📋 মুঠ টেবল: ১৭৫টা
     🔢 মুঠ কলাম: ২২৮৬টা
     📈 প্ৰতি টেবলত গড় ৰো: ১,০৩৮.৪৮
     💾 মুঠ মাপ: ২০৭.১৫ এম.বি. (প্ৰায়)
   bird-interact-full: 
     📈 মুঠ ডেটাবেইচ: ২২টা
     📋 মুঠ টেবল: ২৪৪টা
     🔢 মুঠ কলাম: ২০১১টা
     📈 প্ৰতি টেবলত গড় ৰো: ১,১২১.১৯
     💾 মুঠ মাপ: ২৭২.০০ এম.বি. (প্ৰায়)

📦 ডেটা ছেটৰ বিস্তৃত তথ্য
ডেটা ছেটৰ বিৱৰণ
Database: সম্পূৰ্ণ PostgreSQL ডেটাবেইচ bird-interact-lite আৰু bird-interact-full ৰ পৰা ডাউনলোড কৰিব পাৰি।
data: প্ৰতিটো ডেটা ইনষ্টান্সত তলত উল্লেখ কৰা প্ৰধান অংশবোৰ থাকে:
   selected_database: ডেটাবেইচৰ নাম।  

   query: স্পষ্টভাৱে ব্যৱহাৰকাৰী দ্বাৰা কৰা প্ৰশ্ন।  

   amb_user_query: অস্পষ্টতা যোগ কৰা ব্যৱহাৰকাৰীৰ প্ৰশ্ন।

   user_query_ambiguity: ব্যৱহাৰকাৰীৰ প্ৰশ্নত যোগ কৰা অস্পষ্টতাসমূহ।

   non_critical_ambiguity: অ-গুরুত্বপূৰ্ণ অস্পষ্টতা যেনে order, limit, আদি।

   knowledge_ambiguity: বাহ্যিক জ্ঞান গোপন কৰি সৃষ্টি কৰা অস্পষ্টতা। 

   sol_sql: ভূমি সত্য SQL সমাধান।  

   preprocess_sql: সমাধান বা অনুমান কৰাৰ আগতে চলাবলগীয়া SQL প্ৰশ্ন।  

   clean_up_sql: টেস্ট কেচসমূহৰ পাছত ডেটাবেইচত হোৱা পৰিবর্তন পুনৰুদ্ধাৰ কৰিবলৈ চলাবলগীয়া SQL প্ৰশ্ন।  

   test_cases: অনুমান কৰা SQL শুদ্ধতা যাচাই কৰাৰ বাবে টেস্ট কেচৰ এক ছেট।

   follow_up: লেবেল কৰা ফলো-আপ প্ৰশ্নসমূহ।

   external_knowledge: নিৰ্দিষ্ট টাস্কৰ সৈতে সম্পৰ্কিত বাহ্যিক জ্ঞান।
evaluation: মূল্যায়ন কোড ./evaluation ডাইৰেক্টৰীত উপলব্ধ।

Curated by: BIRD Team & Google Cloud
License: cc-by-sa-4.0
HuggingFace Dataset Card: bird-interact-lite
  
আৰু bird-interact-full
ডেটাসেট ব্যৱহাৰ
ডাটা স্বয়ংক্ৰিয়ভাৱে সংগ্ৰহ কৰাৰ ফলত ডাটা লিকেজ ৰোধ কৰিবলৈ, আমি GT সমাধান sql আৰু পৰীক্ষা কেছসমূহ ডাটাৰ সৈতে সংলগ্ন কৰা নাই।
অনুগ্ৰহ কৰি bird.bench25@gmail.com ইমেইল কৰক, আৰু বিষয়ত [bird-interact-lite GT&Test Cases] অথবা [bird-interact-full GT&Test Cases] টেগ ব্যৱহাৰ কৰক, যাতে bird-interact-lite বা bird-interact-full ডেটাসেটৰ বাবে ground truth আৰু test cases স্বয়ংক্ৰিয়ভাৱে প্ৰেৰণ কৰা হ’ব।
ৰাজহুৱা ডেটা আৰু ground truth আৰু test cases সংলগ্ন কৰক
তাৰ পিছত তলত দিয়া স্ক্ৰিপ্ট ব্যৱহাৰ কৰি ৰাজহুৱা ডেটা, ground truth আৰু test cases সংলগ্ন কৰক:
সম্পূৰ্ণ সংস্কৰণৰ উদাহৰণ হিচাপে ধৰা হ’ল:
(1) চলাও:

bash
python combine_public_with_gt.py /path/to/bird-interact-full/bird_interact_data.jsonl /path/to/bird_interact_full_gt_kg_testcases_08022.jsonl /path/to/bird_interact_data.jsonl  # bird_interact_full_gt_kg_testcases_08022.jsonl is the data of ground-truth fields, which is obtained by emailing us.
এইটো /path/to/bird_interact_data.jsonl-ত সংযুক্ত তথ্যৰ সৈতে এটা নতুন ফাইল সৃষ্টি কৰিব। (2) তাৰপিছত মূল পাব্লিক তথ্যটো সংযুক্ত তথ্যৰ সৈতে প্ৰতিস্থাপন কৰক:
bash
cp /path/to/bird_interact_data.jsonl /path/to/bird-interact-full/bird_interact_data.jsonl

অন্যান্য সংস্কৰণসমূহৰ ক্ষেত্ৰতো একেই: bird-interact-lite, mini version, আদি। কেৱল public data আৰু ground truth আৰু test cases-ৰ বাবে সঠিক path নিৰ্ধাৰণ কৰক, আৰু তাৰ পিছত public data-টো combined data-ৰে পৰিৱৰ্তন কৰক।