تايم كابسول LLM

نموذج لغوي تم تدريبه من الصفر حصرياً على بيانات من أماكن وفترات زمنية معينة لتقليل التحيز الحديث ومحاكاة صوت ومفردات ورؤية العصر.

تخيل لو أن نموذج الذكاء الاصطناعي لم يكن يتظاهر فقط بأنه تاريخي، بل كان كذلك فعلاً.

الإصدار v0 و v0.5 بُنيا على nanoGPT بواسطة Andrej Karpathy نصوص التدريب الأساسية وبنية النموذج هي من عمله.

الإصدار v1 بُني على Phi 1.5 بواسطة Microsoft

الإصدار v2 بُني على llamaforcausallm

رابط Hugging Face

حالة البحث

تم بدء وتطوير هذا المشروع بشكل مستقل.

يُجرى حالياً تحت إشراف أكاديمي، مع تعاون بحثي تابع في كلية موهلينبرغ وجامعة ولاية جورجيا.

الاستشهاد

إذا استخدمت هذه المجموعة أو النموذج في عمل أكاديمي، يرجى الاستشهاد بما يلي:

@misc{london_llm_1800,
  author = {Grigorian, Hayk and Yaghoobian, Hamed},
  title = {Historic London English (1800–1875)},
  year = {2025},
  publisher = {Hugging Face},
  howpublished = {\url{https://huggingface.co/datasets/postgrammar/london-llm-1800}}
}

انضم إلى ديسكورد Vintage LLM

إذا كنت مهتمًا بـ نماذج اللغة التاريخية، مجموعات البيانات المخصصة لفترات زمنية محددة، أو مستقبل مشاريع مثل TimeCapsuleLLM، Violet-1.4B، Mr. Chatterbox، انضم إلى المجتمع.

نستخدم الخادم لمناقشة الأفكار، ومشاركة التقدم، والتواصل مع الآخرين العاملين في هذا المجال.

انضم إلى ديسكورد

الرعاة

شكرًا لـ DolOffer على دعم هذا المشروع!

DolOffer هي منصة تركز على توصيات المنتجات الرقمية ومشاركة الخصومات، وتساعد المستخدمين على اكتشاف الأدوات والخدمات والعروض المحدودة بسرعة. تقدم المنصة مجموعة متنوعة من خدمات الاشتراك الشهيرة، بما في ذلك YouTube Premium وClaude وChatGPT Plus وSpotify وApple Music، بأسعار تصل إلى 30% من السعر الرسمي أو أقل.

سجل الآن من خلال هذا الرابط الحصري doloffer، وأدخل رمز الخصم AI8888 عند الشحن للاستمتاع بخصم إضافي بنسبة 10%.

سلوك النموذج والقيود

v0

تظهر المطالبات المبكرة أن النموذج يجيب بلغة وسلوك القرن التاسع عشر. مثال: الطلب: "Who art Henry?" ورد النموذج: "I know that man, I have did not a black, the storm."

• لا ذكر للمفاهيم الحديثة
• المفردات دقيقة إلى حد كبير للعصر
• الجمل غالبًا غير مترابطة (متوقع لمجموعة تدريب بحجم ~187 ميجابايت)

v0.5-london

تحسن كبير عن الإصدار v0.

• أسلوب كتابة فيكتوري، علامات ترقيم صحيحة، وجمل سليمة نحويًا في الغالب
• لا يزال معدل الهلوسة الواقعية مرتفعًا
• لا يزال ضجيج التعرف الضوئي على الحروف (OCR) ("Digitized by Google") موجودًا في النتائج

v1-london

أول نموذج يستدعي ويربط حدثًا تاريخيًا حقيقيًا مع شخصية فعلية من مجموعة البيانات.

مثال: الطلب: "كان ذلك في عام ربنا 1834"

الناتج: "كان ذلك في عام ربنا 1834 وكانت شوارع لندن مليئة بالاحتجاج والعريضة. السبب، كما ذكر الكثيرون، لم يكن مرتبطًا بالجانب الخاص، ولكن تم تناوله في نفس اليوم في يوم اللورد بالمرستون، سيتلقى الجمهور بيانًا موجزًا عن الصعوبات التي بلغناها يوم القانون. إنه أمر مؤسف للغاية، أن الأحداث الحالية في تاريخ العالم واضحة، وبالتالي ستعرف. ليس صحيحًا أن الرجال الذين استقروا أولاً في الإنجيل في القدس كان ينبغي أن يكون لديهم سجل واسع ومثير للازدهار والرخاء"

في البداية افترضت أن احتجاجًا قد حدث صدفة في نفس العام ولكن انظر إلى هذا:

v2mini-eval1-london

تم التدريب باستخدام عينة بحجم 15 جيجابايت من مجموعة بيانات v2 التي حجمها 90 جيجابايت. تم تدريب النموذج فقط إلى 10 آلاف خطوة.

كان هناك مشكلة في الترميز تسببت في ظهور النتائج بهذا الشكل:

المُدخل: من هو تشارلز ديكنز؟

W ho is Charles D ic ens ? D oes that work more of h ise x cell ent st ir ring , in his pl ays , int he G reat C omp any 's f arm ? What I have y et to qu ote from J ack P ick ett ? D oy oun ot know th att hey were as pe cies of g all oping , ors aw ing oft heir bre asts , or what w ast ob ed one about the t im ew hen J acks on was looking ont hew ind ow ? What ist hes uccess of an English man , and which h isson has not be end is cover ing t ome , where by to acc omp lish such a we ight ? D idy ou ever m ake ap ass age int othe old road way , ort o an anch or - b ree ze att he foot of our boat , which you m ust le ave us ? The fact is , that whe ther the wind would rise up from the pl ain on S atur day night orn o ont ide , ort ill then orth , or other wise , wes hall be com pelled t od esc ribe af orm idable bar rier , with t hes ame e ffect s ast he p resent . In th iss itu ation , at le ast , itis not to omuch t os ay that we have le ft that room . I bel ieve there are three c op ies int he " F ive H undred - fold ," to bere fer red to , ast he first n umber of our read ers wh ow is ht مصحح:

"من هو تشارلز ديكنز؟ هل يعمل أكثر من أعماله الممتازة المثيرة، في مسرحياته، في مزرعة الشركة الكبرى؟ ماذا لم أقتبس بعد من جاك بيكيت؟ ألا تعلم أنهم كانوا نوعًا من الاندفاع أو نشر صدورهم، أو ماذا كان يجب أن يتم في الوقت الذي كان فيه جاكسون ينظر من النافذة؟ ما هو نجاح الإنجليزي، والذي لم يكتشفه ابنه لي بعد، لتحقيق مثل هذا الوزن؟ هل سبق لك أن عبرت الطريق القديم، أو إلى نسيم المرساة عند قدم قاربنا، والذي يجب أن تتركنا؟ الحقيقة هي، سواء ارتفع الريح من السهل ليلة السبت أو منتصف النهار، أو حتى الشمال، أو غير ذلك، سنضطر إلى وصف حاجز هائل، مع نفس التأثيرات كما هو الحال الآن. في هذا الوضع، على الأقل، ليس من المبالغة القول أننا تركنا تلك الغرفة. أعتقد أن هناك ثلاث نسخ في "خمسمائة ضعف"، يمكن الرجوع إليها، كأول عدد من قرائنا الذين يرغبون في...[اقتباس]...”

v2mini-eval2-london

تم التدريب باستخدام نفس عينة الـ 15 جيجابايت المستخدمة لتدريب eval1. تم تدريب النموذج أيضًا حتى 10 آلاف خطوة فقط.

المطالبة: تشارلز داروين

تشارلز داروين ECCEMACY. سيدي، — الحالة التالية تهمني: — كنت في لندن لمدة أسبوعين، وتأثرت كثيرًا بنوبة روماتيزم. كانت أول نوبة روماتيزم قبل أسبوع من رؤيتك، والثانية عندما رأيتك، والثالثة عندما رأيتك، والثالثة في نفس الوقت. كانت النوبة الثانية من النقرس، مع ذلك، غير مصحوبة بأي أعراض حمى، لكنها كانت مصحوبة بزيادة تدفق البول، وبإفراز أكثر غزارة للبول. كانت النوبة الثالثة بعد ساعة من رؤيتك، وتلتها عودة نوبة النقرس، وعودة أسرع للنقرس. كانت النوبة الرابعة أيضًا مصحوبة بحمى، لكنها لم تكن دائمًا مصحوبة بأي أعراض حمى. كانت النوبة الثالثة من النقرس بعد أسبوعين من مرضك، وتلتها الرابعة بنوبة نقرس. كانت النوبة الرابعة بعد أسبوعين من إصابتك، وكانت مصحوبة بإحساس

v2-london

تم التدريب باستخدام مجموعة بيانات بحجم 90 جيجابايت (112 جيجابايت بعد الترميز) تم التدريب حتى 182 ألف خطوة

ما التالي؟

• بدأ تطوير TimeCapsuleLLM v3
• توسيع حجم مجموعة البيانات والتغطية الجغرافية
• التوسع خارج لندن إلى مدن إضافية

يتم تنفيذ العمل بالتعاون مع باحثين من كلية مولينبرج وجامعة ولاية جورجيا.

مجموعات البيانات

v2

• 90 جيجابايت (خام) من نصوص لندن 1800-1875
• 136,344 وثيقة
• مجموعة البيانات الكاملة بعد الترميز متاحة الآن هنا: https://huggingface.co/datasets/postgrammar/london-llm-1800

إحصائيات التحيز

راجع تقرير التحيز v2 لمزيد من المعلومات.

-

كيفية الاستخدام

يركز هذا المشروع بشكل رئيسي على جمع البيانات التاريخية، تجهيزها للتدريب وبناء محول الترميز. لن أغطي عملية تدريب النموذج الكامل (LLM)، لهذا راجع nanoGPT بواسطة Andrej Karpathy.

الخطوة 1: جمع وتحضير النصوص التاريخية

• اجمع ملفات .txt لكتب أو وثائق من المجال العام من الفترة الزمنية التي اخترتها (مثلاً: لندن 1800-1875)
• احتفظ بها ضمن نافذة الزمن/المكان المختارة
• نظف ملفات النصوص باستخدام سكريبت أو قم يدوياً بإزالة رؤوس/ذيول Project Gutenberg، التعليقات الحديثة أو أخطاء OCR.

الخطوة 2: بناء محول ترميز مخصص

• شغّل train_tokenizer.py أو train_tokenizer_hf.py على البيانات المنظفة.
• سيعطيك vocab.json و merges.txt
• هذه الملفات تحدد المفردات وقواعد الدمج لنموذجك

الخطوة 3: درّب النموذج الخاص بك

• راجع nanoGPT بواسطة Andrej Karpathy لعملية التدريب أو وثائق الهيكلية التي اخترتها.

الأسئلة الشائعة

ما هو التدريب الزمني الانتقائي؟

التدريب الزمني الانتقائي (STT) هو منهجية تعلم آلي حيث يتم جمع جميع بيانات التدريب بشكل خاص لتكون ضمن فترة زمنية تاريخية محددة. يتم ذلك من أجل نمذجة اللغة والمعرفة لتلك الحقبة دون تأثير من المفاهيم الحديثة. على سبيل المثال، النموذج الحالي الذي أملكه (v0.5) مدرب على بيانات حصرياً من 1800-1875، لم يتم تحسينه لكنه دُرِّب من الصفر، مما يؤدي لإخراج يعكس الأسلوب اللغوي والسياق التاريخي لتلك الفترة.

لماذا لا تستخدم التحسين الدقيق أو LoRA فقط؟

لهذا المشروع، أحاول إنشاء نموذج لغوي غير متأثر بالتحيزات الحديثة. إذا قمت بضبط نموذج مثل GPT-2، فهو مدرّب مسبقًا والمعلومات الموجودة فيه لن تختفي. أما إذا قمت بالتدريب من البداية، فلن يدّعي النموذج أنه قديم، بل سيكون كذلك بالفعل. الهدف من هذا المشروع هو إنشاء نموذج يمكنه الاستدلال حصريًا باستخدام المعرفة المستمدة من كتب لندن المنشورة بين عامي 1800 و1875.

ما نوع البيانات التي استخدمتها في التدريب؟

أستخدم الكتب، الوثائق القانونية، الصحف، وغيرها من الكتابات من لندن بين 1800–1875. القائمة التي أرفقتها (لـ v0) تحتوي على حوالي 200 ملف، لكن في أول تدريب استخدمت فقط 50 ملفًا بحجم حوالي ~187 ميجابايت. يمكنك عرض قائمة الوثائق هنا: https://github.com/haykgrigo3/TimeCapsuleLLM/blob/main/Copy%20of%20London%20Documents%20for%20Time%20Capsule%20LLM.txt

حجم مجموعات البيانات:

• v0: ~187 ميجابايت
• v0.5: ~435 ميجابايت
• v1: ~6.25 جيجابايت
• v2mini-eval1: 15 جيجابايت (عينة من v2 بحجم 90 جيجابايت)
• v2: 90 جيجابايت

ما حجم النماذج؟

v0: 16 مليون معلمة

v0.5: 123 مليون معلمة

v1: 700 مليون معلمة

v2mini-eval1: 300 مليون معلمة

v2mini-eval2: 200 مليون معلمة

v2: 1.2 مليار معلمة

مواصفات التدريب؟

v0/v0.5

بطاقة رسوميات: Geforce rtx 4060 المعالج: i5-13400F الذاكرة: 16 جيجابايت DDR5.

v1

بطاقة رسوميات: A100 SXM مستأجرة

v2mini-eval1/eval2

GPU: تم استئجار A100 SXM

v2

GPU: تم استئجار H100 SXM

الأعمال ذات الصلة

• talkie-1930-13b
• نموذج لغة كبير بعدد 13 مليار معلمة تم تدريبه على 260 مليار رمز نصي قبل عام 1930 مع أسئلة وأجوبة. هناك أيضًا نسخة أساسية.
• Violet 1.4B
• نموذج لغة كبير بعدد 1.4 مليار معلمة تم تدريبه على نصوص من الفترة 1800-1899 مع أسئلة وأجوبة. هناك أيضًا نسخة 160M.
• Mr. Chatterbox
• نموذج لغة كبير بعدد 340 مليون معلمة تم تدريبه على أكثر من 28,000 نص بين 1837-1899 مع أسئلة وأجوبة.
• Ranke-4B
• عائلة من نماذج اللغة الكبيرة بعدد 4 مليارات معلمة مبنية على معمارية Qwen3 ومدربة من الصفر على 80 مليار رمز من البيانات التاريخية حتى تواريخ معرفة 1913، 1929، 1933، 1939، 1946.
• TypewriterLM
• نموذج لغة تاريخي بعدد 7.24 مليار معلمة تم تدريبه بشكل حصري على نصوص إنجليزية تسبق عام 1913. أنشأه باحثون من جامعة واترلو، جامعة أديلايد، جامعة أوكسفورد، وكلية لندن الجامعية. رابط الورقة
• MondadGPT
• MonadGPT هو تحسين لنموذج Mistral-Hermes 2 على 11,000 نص من العصر الحديث المبكر بالإنجليزية والفرنسية واللاتينية، معظمها من EEBO وGallica.

الشكر والتقدير

أود أن أشكر الدكتور حامد ياغوبيان على الإشراف الأكاديمي، وتوجيهه في صياغة وتقييم البحث، ومساعدته في تدريب المحول وإعداد مجموعة البيانات لإصدار v2. لقد كان لملاحظاته وخبرته دور أساسي في تحسين عرض هذا العمل.

--- Tranlated By Open Ai Tx | Last indexed: 2026-07-08 ---