TimeCapsule LLM

এটা ভাষা মডেল যি শূন্যৰ পৰা কেৱল নিৰ্দিষ্ট স্থান আৰু সময়ৰ তথ্যত আধাৰিত হৈ প্ৰশিক্ষণ দিয়া হৈছে, যাতে আধুনিক পক্ষপাত কম হয় আৰু সেই যুগৰ ভাষা, শব্দভাণ্ডাৰ আৰু দৃষ্টিভংগী উলিয়াব পাৰি।

কল্পনা কৰক যদি এটা AI মডেলে কেৱল ঐতিহাসিক ৰূপে অভিনয় নকৰে, বৰং বাস্তৱতে সেয়া হয়।

v0 আৰু v0.5 Andrej Karpathy ৰ nanoGPT ত নিৰ্মিত। মুখ্য প্ৰশিক্ষণ স্ক্ৰিপ্ট আৰু মডেল স্থাপত্য তেওঁৰ সৃষ্টি।

v1 Microsoft ৰ Phi 1.5 ত নিৰ্মিত

v2 llamaforcausallm ত নিৰ্মিত

Hugging Face লিংক

গৱেষণা স্থিতি

এই প্ৰকল্পটো স্বাধীনভাৱে আৰম্ভ আৰু উন্নয়ন কৰা হৈছে।

বৰ্তমান এইটো একাডেমিক পৰ্যবেক্ষণত চলি আছে, Muhlenberg College আৰু Georgia State University-ৰ সৈতে সংযুক্ত গৱেষণা সহযোগিতাত।

উদ্ধৃতি

আপুনি যদি এই ডেটাসেট বা মডেলটো একাডেমিক কামত ব্যৱহাৰ কৰে, অনুগ্ৰহ কৰি উদ্ধৃতি দিয়ক:

@misc{london_llm_1800,
  author = {Grigorian, Hayk and Yaghoobian, Hamed},
  title = {Historic London English (1800–1875)},
  year = {2025},
  publisher = {Hugging Face},
  howpublished = {\url{https://huggingface.co/datasets/postgrammar/london-llm-1800}}
}

ভিন্টেজ এলএলএম Discord-ত যোগ দিয়ক

যদি আপুনি ঐতিহাসিক ভাষা মডেল, সময়-নির্দিষ্ট ডেটাসেট, বা TimeCapsuleLLM, Violet-1.4B, Mr. Chatterboxৰ দৰে প্ৰকল্পৰ ভবিষ্যৎ সম্পৰ্কে আগ্ৰহী, তেন্তে এই কমিউনিটিত যোগ দিয়ক।

আমাৰ ছাৰ্ভাৰটোত আইডিয়া আলোচনা, অগ্ৰগতি ভাগ-বতৰা, আৰু এই ক্ষেত্ৰত কাম কৰা আন লোকৰ সৈতে সংযোগ স্থাপন কৰা হয়।

Discord-ত যোগ দিয়ক

স্পনসরস

এই প্ৰকল্পক সমৰ্থন কৰাৰ বাবে DolOffer-লৈ ধন্যবাদ!

DolOffer হৈছে এখন প্ল্যাটফৰ্ম যি ডিজিটেল প্ৰডাক্টৰ পৰামৰ্শ আৰু ছাড় ভাগ-বতৰা কৰাত কেন্দ্ৰিত, যাৰ মাধ্যমে ব্যৱহাৰকাৰীসকলে দ্রুতকৈ মূল্যবান টুল, সেৱা, আৰু সীমিত সময়ৰ অফাৰ উলিয়াব পাৰে। এই প্ল্যাটফৰ্মত YouTube Premium, Claude, ChatGPT Plus, Spotify, আৰু Apple Musicৰ দৰে জনপ্ৰিয় সাবস্ক্ৰিপশ্যন সেৱাসমূহ উপলব্ধ, যাৰ মূল্য অফিচিয়েল মূল্যৰ ৩০% বা তাতকৈও কম।

এই বিশেষ লিংক dolofferৰ মাধ্যমে এতিয়াই ৰেজিষ্টাৰ কৰক, আৰু টপ-আপ কৰাৰ সময়ত AI8888 প্ৰমো কোড ব্যৱহাৰ কৰি অতিৰিক্ত ১০% ছাড় লাভ কৰক।

মডেলৰ আচৰণ আৰু সীমাবদ্ধতা

v0

প্ৰাৰম্ভিক প্ৰম্প্টত মডেলটো ১৮০০ দশকৰ ভাষা আৰু আচৰণত উত্তৰ দিয়ে। উদাহৰণ: প্ৰম্প্ট: "Who art Henry?" আৰু মডেলৰ উত্তৰ "I know that man, I have did not a black, the storm."

• আধুনিক ধাৰণাৰ উল্লেখ নাই
• প্ৰায় সময়-উপযুক্ত শব্দাবলী
• বাক্যসমূহ প্ৰায় অসংলগ্ন (প্রায় ১৮৭MB ট্ৰেইনিং ডেটাৰ বাবে আশা কৰা)

v0.5-london

v0-তকৈ উল্লেখযোগ্য উন্নতি।

• ভিক্টোৰিয়ান লেখনিশৈলী, সঠিক যতিচিহ্ন, প্ৰায় গ্ৰামাটিক্যাল বাক্যসমূহ
• এতিয়াও উচ্চ বাস্তৱিক ভুলৰ হাৰ
• OCR শব্দৰ শব্দ ( "Digitized by Google" ) এতিয়াও আউটপুটত বিদ্যমান

v1-london

প্ৰথম মডেল যি এটা বাস্তৱ ঐতিহাসিক ঘটনা আৰু ডেটাসেটৰ পৰা এটা বাস্তৱ ব্যক্তিৰ সৈতে স্মৰণ আৰু সংযোগ কৰে।

উদাহৰণ: প্ৰম্প্ট: "It was the year of our Lord 1834"

আউটপুট: "It was the year of our Lord 1834 and the streets of London were filled with protest and petition. The cause, as many re counted, was not bound in the way of private, but having taken up the same day in the day of Lord Palmerston, the public will receive a short statement of the difficulties under which the day of law has reached us. It is a matter of deep regret, that the present events in the history of the world are clear, and consequently will be'known. It is not true that the very men who first settled in the Gospel at Jerusalem should have so extensive and so interesting a record of the prosperity and prosperity"

প্ৰথমে মই ভাবিছিলোঁ যে, কোনো প্ৰতিবাদ এই বছৰটোত কাকতালীয়ভাৱে হোৱা হ’ব পাৰে, কিন্তু এইটো চাওঁক:

v2mini-eval1-london

v2-ৰ 90GB ডেটাসেটৰ পৰা 15GB নমুনা ব্যৱহাৰ কৰি প্ৰশিক্ষণ দিয়া হৈছিল। মডেলক কেৱল 10K স্টেপলৈ প্ৰশিক্ষণ দিয়া হৈছিল।

টোকেনাইজেশনৰ সমস্যা আছিল যাৰ বাবে আউটপুট এইদৰে দেখা যায়:

PROMPT: Charles Dickens কোন?

W ho is Charles D ic ens ? D oes that work more of h ise x cell ent st ir ring , in his pl ays , int he G reat C omp any 's f arm ? What I have y et to qu ote from J ack P ick ett ? D oy oun ot know th att hey were as pe cies of g all oping , ors aw ing oft heir bre asts , or what w ast ob ed one about the t im ew hen J acks on was looking ont hew ind ow ? What ist hes uccess of an English man , and which h isson has not be end is cover ing t ome , where by to acc omp lish such a we ight ? D idy ou ever m ake ap ass age int othe old road way , ort o an anch or - b ree ze att he foot of our boat , which you m ust le ave us ? The fact is , that whe ther the wind would rise up from the pl ain on S atur day night orn o ont ide , ort ill then orth , or other wise , wes hall be com pelled t od esc ribe af orm idable bar rier , with t hes ame e ffect s ast he p resent . In th iss itu ation , at le ast , itis not to omuch t os ay that we have le ft that room . I bel ieve there are three c op ies int he " F ive H undred - fold ," to bere fer red to , ast he first n umber of our read ers wh ow is ht

শুদ্ধ কৰা:

"চাৰ্লছ ডিকেন্স কোন? তেওঁৰ উৎকৃষ্ট উদ্দীপনাদায়ক কামবোৰ তেওঁৰ নাটকসমূহত, গ্ৰেট কোম্পানীৰ খেতিত, অধিক আছে নেকি? মই এতিয়াও জেক পিকেটৰ পৰা উদ্ধৃত কৰা বাকী আছে নেকি? আপুনি নাজানে নেকি যে তেওঁলোক এটা বিশেষ ধৰণৰ দৌৰ, অথবা বুকুৰ ছিৰা কটা, অথবা জেকচন উইণ্ডোৰে চাই থাকোঁতে কি কৰা উচিত আছিল, সেই সময়ৰ কথা? এজন ইংৰাজৰ সফলতা কি, আৰু তেওঁৰ পুত্ৰে মোক এতিয়ালৈকে আৱিষ্কাৰ কৰি দেখুৱাইছে নে, যাৰ দ্বাৰা এনে এটা গম্ভীৰ কাম সাধন কৰিব পাৰি? আপুনি কেতিয়াবা পুৰণি ৰাস্তােদি পাৰ হোৱা, অথবা আমাৰ নাওখনৰ ভেটিত কাষৰীয়া বতাহত নোঙৰ লগোৱা, য'ত আপুনি আমাক এৰি যাবই লাগিব? কথা হৈছে, বতাহটো শনিবাৰে ৰাতি অথবা মধ্যাহ্নত, অথবা উত্তৰৰ পৰা, অথবা আন ক'ৰবাৰ পৰা উঠিব নে নোৱাৰিব, আমি তেন্তে বৰ্তমানৰ দৰে এটা ভয়ংকৰ বাধা বৰ্ণনা কৰিবলৈ বাধ্য হ'ম। এই পৰিস্থিতিত, অন্ততঃ, ক'বলৈ বেছি নহয় যে আমি সেই কোঠাটো এৰি গৈছোঁ। মোৰ বিশ্বাস আছে 'ফাইভ হাণ্ড্ৰেড-ফোল্ড'ত তিনি প্ৰতিলিপি আছে, যাক উল্লেখ কৰিব পাৰি, আমাৰ পাঠকৰ প্ৰথম সংখ্যাৰ বাবে যিসকলে...”

v2mini-eval2-london

eval1 ৰ বাবে ব্যৱহাৰ কৰা ১৫GBৰ একে চেম্পল ব্যৱহাৰ কৰি প্ৰশিক্ষণ দিয়া হৈছে। মডেলটো আকৌকে ১০ হাজাৰ ষ্টেপলৈকে কেৱল প্ৰশিক্ষণ দিয়া হৈছে।

PROMPT:চাৰ্লছ ডাৰউইন

চাৰ্লছ ডাৰউইনECCEMACY। মহোদয়, — তলত দিয়া ঘটনাটো মোৰ বাবে মনোগ্ৰাহী: — মই লণ্ডনত এটা পক্ষ আছিলোঁ, আৰু ৰিউমেটিজমৰ আক্ৰমণত যথেষ্ট আক্ৰান্ত হৈছিলোঁ। প্ৰথম আক্ৰমণটো মই আপোনাক দেখাৰ এটা সপ্তাহ আগতে হৈছিল, আৰু দ্বিতীয়টো মই আপোনাক দেখোঁতে, আৰু তৃতীয়টো আকৌ সেই সময়ত। তথাপি, দ্বিতীয় গাউটৰ আক্ৰমণটো কোনো জ্বৰজনিত লক্ষণৰ সৈতে নহয়, বৰঞ্চ প্ৰস্ৰাৱৰ পৰিমাণ বেছি হোৱা আৰু অধিক পৰিমাণে প্ৰস্ৰাৱ নিঃসৰণৰ সৈতে হৈছিল। তৃতীয় আক্ৰমণটো মই আপোনাক দেখাৰ এটা ঘণ্টা পিছত হৈছিল, আৰু গাউটৰ আকস্মিক পুনৰাবৃত্তিৰে, আৰু গাউটৰ অধিক তীব্ৰ পুনৰাবৃত্তিৰে পূৰ্ণ হৈছিল। চতুৰ্থ আক্ৰমণটোও জ্বৰৰ সৈতে হৈছিল, কিন্তু সদায় জ্বৰজনিত লক্ষণ থকা নাছিল। গাউটৰ তৃতীয় আক্ৰমণটো আপোনাৰ অসুস্থ হোৱাৰ এপক্ষ পাছত হৈছিল, আৰু চতুৰ্থটো গাউটৰ আকস্মিক পুনৰাবৃত্তিৰে অনুসৰণ কৰা হৈছিল। চতুৰ্থ আক্ৰমণটো আপোনাক আক্ৰমণ কৰাৰ এপক্ষ পাছত হৈছিল, আৰু এটা অনুভূতিৰ সৈতে হৈছিল

v2-london

৯০GB (১১২GB টোকেনাইজ) ডাটাসেট ব্যৱহাৰ কৰি প্ৰশিক্ষণ দিয়া হৈছে ১৮২ হাজাৰ ষ্টেপলৈকে প্ৰশিক্ষণ দিয়া হৈছে

পিছত কি?

• TimeCapsuleLLM v3 উন্নয়নৰ কাম আৰম্ভ হৈছে
• ডাটাসেটৰ আকাৰ আৰু ভূগোলিক বিস্তৃতি বৃদ্ধি কৰা
• লণ্ডনৰ বাহিৰেও আন চহৰলৈ বিস্তাৰ কৰা

এই কাম Muhlenberg College আৰু Georgia State University-ৰ গৱেষকসকলৰ সৈতে মিলি কৰা হৈছে।

ডাটাসেটসমূহ

v2

• ৯০GB (কাঁচা) ১৮০০-১৮৭৫ লণ্ডনৰ পাঠ্য
• ১,৩৬,৩৪৪টা নথি
• সম্পূৰ্ণ টোকেনাইজ ডাটাসেট এতিয়া ইয়াত উপলব্ধ: https://huggingface.co/datasets/postgrammar/london-llm-1800

পক্ষপাত সংক্রান্ত তথ্য-আঁকিবোৰ

অধিক তথ্যৰ বাবে v2 পক্ষপাত প্ৰতিবেদন চাওক।

কেনেকৈ ব্যৱহাৰ কৰিব

এই প্ৰকল্পটো বেছিভাগভাগকৈ ঐতিহাসিক তথ্য সংগ্ৰহ, প্ৰস্তুতকৰণ আৰু টোকেনাইজাৰ নিৰ্মাণত কেন্দ্ৰিত। মই সম্পূৰ্ণ LLM প্ৰশিক্ষণ প্ৰক্ৰিয়া ইয়াত আলোচনা নকৰো, তাৰ বাবে Andrej Karpathy ৰ nanoGPT চাওক।

পদক্ষেপ ১: ঐতিহাসিক পাঠ্য সংগ্ৰহ আৰু প্ৰস্তুত কৰক

• আপোনাৰ নিৰ্বাচিত সময়কালৰ (যেনে: লণ্ডন ১৮০০-১৮৭৫) পাব্লিক ডমেইনৰ কিতাপ, নথি আদিৰ .txt ফাইল সংগ্ৰহ কৰক
• সেইবোৰ নিৰ্বাচিত সময়/স্থানৰ সীমাৰ ভিতৰত ৰাখক
• স্ক্ৰিপ্ট ব্যৱহাৰ কৰি বা মেনুৱেলভাৱে Project Gutenberg, আধুনিক টীকা বা OCR ত্ৰুটিৰ দৰে বিষয়বস্তু আঁতৰাই পাঠ্য ফাইলসমূহ পৰিষ্কাৰ কৰক।

পদক্ষেপ ২: কাষ্টম টোকেনাইজাৰ নিৰ্মাণ কৰক

• পৰিষ্কাৰ কৰা তথ্যত train_tokenizer.py বা train_tokenizer_hf.py চলাওক।
• ইয়াৰ ফলত আপুনি vocab.json আৰু merges.txt পাব
• এই ফাইলবোৰে আপোনাৰ মডেলৰ বাবে শব্দভাণ্ডাৰ আৰু সংযোগ নিয়ম সংজ্ঞায়িত কৰে

পদক্ষেপ ৩: আপোনাৰ মডেল প্ৰশিক্ষণ কৰক

• প্ৰশিক্ষণ প্ৰক্ৰিয়াৰ বাবে Andrej Karpathy ৰ nanoGPT বা আপোনাৰ নিৰ্বাচিত আৰ্হিৰ ডকুমেণ্ট চাওক।

প্ৰায়ঃ সোধা প্ৰশ্ন (FAQ)

নিৰ্বাচনী কালানুক্ৰমিক প্ৰশিক্ষণ (Selective Temporal Training) কি?

নিৰ্বাচনী কালানুক্ৰমিক প্ৰশিক্ষণ (Selective Temporal Training - STT) হৈছে এটা মেছিন লাৰ্নিং পদ্ধতি য'ত সকলো প্ৰশিক্ষণ তথ্য নিৰ্দিষ্টভাৱে এখন ঐতিহাসিক সময়কালৰ ভিতৰত পৰে বুলি নিৰ্বাচিত কৰা হয়। ইয়াৰ উদ্দেশ্য হৈছে সেই যুগৰ ভাষা আৰু জ্ঞান আধুনিক ধাৰণাৰ প্ৰভাৱ নোপোৱাৰ দৰে মডেল কৰা। উদাহৰণস্বৰূপ, বৰ্তমানৰ মডেলটো (v0.5) কেৱল ১৮০০-১৮৭৫ সময়ৰ তথ্যতকৈ প্ৰশিক্ষিত, ই ফাইন-টিউন কৰা নহয়, আৰম্ভণিৰ পৰাই প্ৰশিক্ষণ দিয়া হৈছে, ফলত ইয়াৰ আউটপুট সেই সময়ৰ ভাষাগত শৈলী আৰু ঐতিহাসিক পৰিপ্ৰেক্ষিত প্রতিফলিত কৰে।

কেৱল ফাইন-টিউনিং বা LoRA ব্যৱহাৰ কৰা নহয় কিয়?

এই প্ৰকল্পটোৰ বাবে মই চেষ্টা কৰিছোঁ এটা ভাষা মডেল সৃষ্টি কৰিবলৈ যি আধুনিক পক্ষপাতত পৰা মুক্ত। যদি মই GPT-2 দৰে কিবা এটাৰ fine-tune কৰোঁ, তেন্তে সেইটো ইতিমধ্যে pre-trained আৰু সেই তথ্য আঁতৰি নাযাব। যদি মই scratch ৰ পৰা train কৰোঁ, ভাষা মডেলটোৱে পুৰণি বুলি অভিনয় নকৰে, সেয়া পুৰণি হবই। এই প্ৰকল্পটোৰ উদ্দেশ্য বৰ্তমান হৈছে এটা এনেকুৱা কিছু সৃষ্টি কৰা যি কেৱল ১৮০০-১৮৭৫ চনৰ লণ্ডনৰ কিতাপৰ জ্ঞানৰ আধাৰত যুক্তি কৰিব পাৰে।

প্ৰশিক্ষণৰ বাবে কিমান ধৰণৰ তথ্য ব্যৱহাৰ কৰা হৈছে?

মই ১৮০০–১৮৭৫ চনৰ লণ্ডনৰ কিতাপ, আইনী নথি, সংবাদপত্র আৰু অন্যান্য লিখনি ব্যৱহাৰ কৰিছোঁ। মই সংযোগ দিয়া তালিকাত (v0) প্ৰায় ২০০টা আছে, কিন্তু প্ৰথম প্ৰশিক্ষণত মই কেৱল ৫০টা ফাইল ব্যৱহাৰ কৰিছিলোঁ, প্ৰায় ~১৮৭ MB। আপুনি নথিসমূহৰ তালিকা চাব পাৰে: https://github.com/haykgrigo3/TimeCapsuleLLM/blob/main/Copy%20of%20London%20Documents%20for%20Time%20Capsule%20LLM.txt

ডেটা সেটৰ আকাৰ:

• v0: ~১৮৭MB
• v0.5: ~৪৩৫MB
• v1: ~৬.২৫GB
• v2mini-eval1: ১৫GB (v2-ৰ ৯০GB-ৰ পৰা sample)
• v2: ৯০GB

মডেলসমূহ কিমান ডাঙৰ?

v0: ১৬M Parameters

v0.5: ১২৩M Parameters

v1: ৭০০M Parameters

v2mini-eval1: ৩০০M Parameters

v2mini-eval2: ২০০M Parameters

v2: ১.২B Parameters

প্ৰশিক্ষণৰ স্পেচিফিকেশ্যন?

v0/v0.5

GPU: Geforce rtx 4060 CPU: i5-13400F Ram: ১৬GB DDR5.

v1

GPU: A100 SXM ভাড়াত লোৱা

v2mini-eval1/eval2

GPU: A100 SXM ভাড়াত লোৱা

v2

GPU: H100 SXM ভাড়াত লোৱা

সম্পৰ্কীয় কাম

• talkie-1930-13b
• ১৩বি পেৰামিটাৰৰ LLM যি ১৯৩০ৰ পূৰ্বৰ ২৬০বি টোকেন পাঠ্যত Q&A সহ প্ৰশিক্ষণ দিয়া হৈছে। ইয়াৰ base সংস্কৰণো আছে।
• Violet 1.4B
• ১.৪বি পেৰামিটাৰৰ LLM যি ১৮০০-১৮৯৯ পাঠ্যত Q&A সহ প্ৰশিক্ষণ দিয়া হৈছে। ইয়াৰ ১৬০M সংস্কৰণো আছে।
• Mr. Chatterbox
• ৩৪০M পেৰামিটাৰৰ LLM যি ১৮৩৭-১৮৯৯ৰ ভিতৰত ২৮,০০০ৰো অধিক পাঠ্যত Q&A সহ প্ৰশিক্ষণ দিয়া হৈছে।
• Ranke-4B
• Qwen3 আৰ্হিৰ ওপৰত আধাৰিত ৪বি পেৰামিটাৰৰ LLMৰ এটি পৰিয়াল, যাক ৮০বি টোকেন ঐতিহাসিক তথ্যত ১৯১৩,১৯২৯,১৯৩৩,১৯৩৯,১৯৪৬ জ্ঞান-কাটঅফলৈকে আৰম্ভণিৰ পৰা প্ৰশিক্ষণ দিয়া হৈছে।
• TypewriterLM
• কেৱল ১৯১৩ৰ পূৰ্বৰ ইংৰাজী পাঠ্যত প্ৰাক-প্ৰশিক্ষিত ৭.২৪বি ঐতিহাসিক ভাষা মডেল (LM)। University of Waterloo, Adelaide University, University of Oxford, আৰু University College London ৰ গৱেষকসকলে নিৰ্মাণ কৰিছে। পেপাৰৰ সংযোগ
• MondadGPT
• MonadGPT হৈছে Mistral-Hermes 2 ৰ এজন ফাইনটিউন, যাক ইংৰাজী, ফ্ৰেঞ্চ আৰু লেটিন ভাষাৰ ১১,০০০ টা প্ৰাৰম্ভিক আধুনিক পাঠ্য (বেছিভাগ EEBO আৰু Gallica ৰ পৰা) ত প্ৰশিক্ষণ দিয়া হৈছে।

কৃতজ্ঞতা

মই ডঃ হামেদ ইয়াঘুবিয়ানক ধন্যবাদ জনাব বিচাৰো, তেওঁ একাডেমিক পৰ্যবেক্ষণ, গৱেষণাৰ কাঠামো আৰু মূল্যায়নত দিশ-নিৰ্দেশনা, আৰু v2 মুক্তিৰ বাবে টোকেনাইজাৰ প্ৰশিক্ষণ আৰু ডেটাসেট প্ৰস্তুতিত সহায় আগবঢ়াইছে। তেওঁৰ মতামত আৰু অভিজ্ঞতাই এই কামৰ উপস্থাপনাত পৰিষ্কাৰ আনিবলৈ গুৰুত্বপূর্ণ আছিল।

--- Tranlated By Open Ai Tx | Last indexed: 2026-07-08 ---