TimeCapsule LLM

یک مدل زبانی که از ابتدا منحصراً بر اساس داده‌های مربوط به مکان‌ها و دوره‌های زمانی خاص آموزش دیده است تا سوگیری‌های مدرن را کاهش داده و لحن، واژگان و جهان‌بینی آن دوران را بازسازی کند.

تصور کنید اگر یک مدل هوش مصنوعی فقط وانمود به تاریخی بودن نمی‌کرد، بلکه واقعاً تاریخی بود.

نسخه v0 و v0.5 بر پایه nanoGPT اثر آندری کارپاتی ساخته شده است. اسکریپت‌های اصلی آموزش و معماری مدل متعلق به اوست.

نسخه v1 بر پایه Phi 1.5 از مایکروسافت ساخته شده است.

نسخه v2 بر پایه llamaforcausallm ساخته شده است.

لینک Hugging Face

وضعیت تحقیقاتی

این پروژه به طور مستقل راه‌اندازی و توسعه یافته است.

در حال حاضر این پروژه تحت نظارت دانشگاهی و با همکاری پژوهشی وابسته در کالج مولنبِرگ و دانشگاه ایالتی جورجیا انجام می‌شود.

استناد

اگر از این مجموعه داده یا مدل در کارهای علمی استفاده می‌کنید، لطفاً استناد کنید:

@misc{london_llm_1800,
  author = {Grigorian, Hayk and Yaghoobian, Hamed},
  title = {Historic London English (1800–1875)},
  year = {2025},
  publisher = {Hugging Face},
  howpublished = {\url{https://huggingface.co/datasets/postgrammar/london-llm-1800}}
}

به دیسکورد Vintage LLM بپیوندید

اگر به مدل‌های زبانی تاریخی، داده‌مجموعه‌های مختص دوره‌های زمانی یا آینده پروژه‌هایی مانند TimeCapsuleLLM، Violet-1.4B، Mr. Chatterbox علاقه‌مندید، به جامعه ما بپیوندید. ما از این سرور برای بحث درباره ایده‌ها، به‌اشتراک‌گذاری پیشرفت‌ها و ارتباط با سایر افرادی که در این حوزه فعالیت می‌کنند استفاده می‌کنیم. به دیسکورد بپیوندید

حامیان

از DolOffer بابت حمایت از این پروژه سپاسگزاریم! DolOffer یک پلتفرم متمرکز بر پیشنهاد محصولات دیجیتال و به‌اشتراک‌گذاری تخفیف است که به کاربران کمک می‌کند ابزارها، سرویس‌ها و پیشنهادات محدود را به سرعت کشف کنند. این پلتفرم مجموعه‌ای از سرویس‌های اشتراکی محبوب از جمله یوتیوب پرمیوم، Claude، ChatGPT Plus، اسپاتیفای و اپل موزیک را با قیمتی تا ۳۰٪ یا حتی کمتر از قیمت رسمی ارائه می‌دهد. همین حالا از طریق این لینک اختصاصی doloffer ثبت‌نام کنید و هنگام شارژ حساب، کد تخفیف AI8888 را وارد کنید تا از ۱۰٪ تخفیف اضافی بهره‌مند شوید.

رفتار و محدودیت‌های مدل

v0

در نمونه‌های اولیه، مدل با زبان و رفتار قرن ۱۹ پاسخ می‌دهد. نمونه: پرامپت: "Who art Henry?" و مدل پاسخ داد: "I know that man, I have did not a black, the storm."

• هیچ اشاره‌ای به مفاهیم مدرن
• عمدتاً واژگان منطبق با آن دوران
• جملات عمدتاً نامفهوم (که برای داده آموزشی ~۱۸۷MB انتظار می‌رود)

v0.5-london

پیشرفتی قابل توجه نسبت به نسخه v0.

• سبک نگارش ویکتوریایی، نقطه‌گذاری صحیح، جملات عمدتاً دستوری و درست
• نرخ هذیان‌های واقعی هنوز بالاست
• نویز OCR («دیجیتالی شده توسط گوگل») همچنان در خروجی‌ها وجود دارد

v1-london

اولین مدلی که توانست رویدادی تاریخی واقعی را با یک شخصیت واقعی از دیتاست مرتبط کند و به یاد آورد.

مثال: پرامپت: «در سال ۱۸۳۴ میلادی بود»

خروجی: «در سال ۱۸۳۴ میلادی بود و خیابان‌های لندن پر از اعتراض و دادخواست بود. دلیل آن، همانطور که بسیاری تعریف کردند، صرفاً جنبه خصوصی نداشت، بلکه همان روز در روز لرد پالمرستون مطرح شد، عموم مردم بیانیه کوتاهی درباره دشواری‌هایی که در آن روز قانون به ما رسیده دریافت خواهند کرد. عمیقاً مایه تأسف است که وقایع کنونی در تاریخ جهان روشن است و در نتیجه شناخته خواهد شد. درست نیست که همان مردانی که ابتدا در انجیل در اورشلیم مستقر شدند، باید اینچنین سابقه‌ای گسترده و جالب از شکوفایی و رونق داشته باشند.»

ابتدا فرض کردم که شاید اعتراض اتفاقی در همان سال رخ داده باشد، اما به این نگاه کنید:

v2mini-eval1-london

با استفاده از نمونه ۱۵ گیگابایتی از دیتاست ۹۰ گیگابایتی نسخه ۲ آموزش داده شده است. مدل فقط تا ۱۰ هزار گام آموزش دیده است.

مشکلی در توکنیزاسیون وجود داشت که باعث شد خروجی اینگونه به نظر برسد:

پرامپت: چارلز دیکنز کیست؟

W ho is Charles D ic ens ? D oes that work more of h ise x cell ent st ir ring , in his pl ays , int he G reat C omp any 's f arm ? What I have y et to qu ote from J ack P ick ett ? D oy oun ot know th att hey were as pe cies of g all oping , ors aw ing oft heir bre asts , or what w ast ob ed one about the t im ew hen J acks on was looking ont hew ind ow ? What ist hes uccess of an English man , and which h isson has not be end is cover ing t ome , where by to acc omp lish such a we ight ? D idy ou ever m ake ap ass age int othe old road way , ort o an anch or - b ree ze att he foot of our boat , which you m ust le ave us ? The fact is , that whe ther the wind would rise up from the pl ain on S atur day night orn o ont ide , ort ill then orth , or other wise , wes hall be com pelled t od esc ribe af orm idable bar rier , with t hes ame e ffect s ast he p resent . In th iss itu ation , at le ast , itis not to omuch t os ay that we have le ft that room . I bel ieve there are three c op ies int he " F ive H undred - fold ," to bere fer red to , ast he first n umber of our read ers wh ow is ht اصلاح‌شده:

«چارلز دیکنز کیست؟ آیا این اثر بیشتر از نوشته‌های عالی و برانگیزاننده‌اش در نمایشنامه‌ها و در مزرعه‌ی شرکت بزرگ است؟ هنوز نقل‌قولی از جک پیکت برایم مانده است؟ آیا نمی‌دانید که آن‌ها نوعی یورتمه‌رفتن، یا بر سینه کوبیدن بودند، یا قرار بود چه کاری انجام شود، درست در زمانی که جکسون از پنجره نگاه می‌کرد؟ موفقیت یک انگلیسی چیست، و آنچه پسرش هنوز برایم کشف نکرده است، تا بتواند چنین وزنی را به انجام برساند؟ آیا تا به حال وارد مسیر قدیمی شده‌اید، یا به نسیم لنگر در پای قایق‌مان رسیده‌اید، که باید ما را ترک کنید؟ واقعیت این است که چه باد از دشت در شب شنبه یا ظهر بوزد، یا تا شمال، یا به گونه‌ای دیگر، ناچار خواهیم بود سدّی مهیب را توصیف کنیم، با همان تأثیراتی که اکنون وجود دارد. دست‌کم در این وضعیت نمی‌توان گفت که آن اتاق را ترک نکرده‌ایم. فکر می‌کنم سه نسخه در «پانصدبرابر» وجود دارد، که باید به عنوان اولین شماره از خوانندگانی که می‌خواهند رجوع کنند [به]...»

v2mini-eval2-london

آموزش داده شده با استفاده از همان نمونه ۱۵ گیگابایتی که برای آموزش eval1 استفاده شد. مدل دوباره فقط تا ۱۰ هزار گام آموزش داده شده است.

پرامپت: چارلز داروین

چارلز داروین ECCEMACY. آقا، — مورد زیر برای من جالب است: — من دو هفته در لندن بودم و به شدت دچار حمله روماتیسم شدم. اولین حمله روماتیسم یک هفته قبل از ملاقات با شما بود، و دومی زمانی که شما را دیدم، و سومی نیز در همان زمان. با این حال، دومین حمله نقرس همراه با علائم تب نبود، اما با افزایش جریان ادرار و دفع بیشتر ادرار همراه بود. حمله سوم یک ساعت پس از دیدار با شما بود و به دنبال آن بازگشت حمله نقرس و بازگشت سریع‌تر آن رخ داد. حمله چهارم نیز با تب همراه بود، اما همیشه با علائم تب همراه نبود. سومین حمله نقرس دو هفته پس از بیماری شما بود و چهارمی نیز با حمله نقرس دنبال شد. حمله چهارم دو هفته پس از حمله اول رخ داد و با احساسی همراه بود

v2-london

آموزش‌دیده با مجموعه داده ۹۰ گیگابایتی (۱۱۲ گیگابایت توکنیزه شده) تا ۱۸۲ هزار گام آموزش داده شده

گام بعدی چیست؟

• توسعه TimeCapsuleLLM نسخه ۳ آغاز شده است
• افزایش حجم داده‌ها و پوشش جغرافیایی
• گسترش فراتر از لندن به شهرهای دیگر

این کار با همکاری پژوهشگرانی از کالج مولنبرگ و دانشگاه ایالتی جورجیا انجام می‌شود.

مجموعه داده‌ها

v2

• ۹۰ گیگابایت (خام) متون لندن ۱۸۰۰ تا ۱۸۷۵
• ۱۳۶٬۳۴۴ سند
• مجموعه داده کامل توکنیزه شده اکنون اینجا در دسترس است: https://huggingface.co/datasets/postgrammar/london-llm-1800

آمار سوگیری

برای اطلاعات بیشتر به گزارش سوگیری نسخه ۲ مراجعه کنید.

-

نحوه استفاده

این پروژه عمدتاً بر گردآوری داده‌های تاریخی، آماده‌سازی آن برای آموزش و ساخت توکنایزر متمرکز است. فرآیند کامل آموزش LLM در اینجا پوشش داده نمی‌شود؛ برای این منظور به nanoGPT توسط Andrej Karpathy مراجعه کنید.

مرحله ۱: جمع‌آوری و آماده‌سازی متون تاریخی

• فایل‌های .txt کتاب‌ها، اسناد و غیره از حوزه عمومی را از دوره زمانی موردنظر (مثلاً لندن ۱۸۰۰-۱۸۷۵) جمع‌آوری کنید.
• آن‌ها را در محدوده زمان/مکان انتخابی نگه دارید.
• فایل‌های متنی را با اسکریپت یا به صورت دستی تمیز کنید و سربرگ/پابرگ‌های پروژه گوتنبرگ، یادداشت‌های مدرن یا خطاهای OCR را حذف نمایید.

مرحله ۲: ساخت توکنایزر سفارشی

• train_tokenizer.py یا train_tokenizer_hf.py را روی داده‌های تمیز شده اجرا کنید.
• این کار vocab.json و merges.txt را به شما می‌دهد.
• این فایل‌ها واژگان و قوانین ادغام برای مدل شما را تعریف می‌کنند.

مرحله ۳: آموزش مدل شما

• برای فرآیند آموزش یا مستندات معماری انتخابی خود به nanoGPT توسط Andrej Karpathy مراجعه کنید.

سوالات متداول

آموزش انتخابی زمانی چیست؟

آموزش انتخابی زمانی (STT) روشی در یادگیری ماشین است که در آن همه داده‌های آموزشی به طور خاص برای قرار گرفتن در یک دوره تاریخی خاص گردآوری می‌شوند. این کار به منظور مدل‌سازی زبان و دانش آن دوره بدون تأثیر مفاهیم مدرن انجام می‌شود. برای مثال، مدل فعلی من (نسخه ۰.۵) صرفاً بر داده‌های ۱۸۰۰-۱۸۷۵ آموزش دیده است، به صورت کامل از ابتدا آموزش داده شده و خروجی آن منعکس‌کننده سبک زبانی و زمینه تاریخی آن دوره است.

چرا فقط از فاین‌تیون یا LoRA استفاده نمی‌کنید؟

برای این پروژه من تلاش می‌کنم یک مدل زبانی بسازم که از سوگیری‌های مدرن پاک باشد. اگر چیزی مثل GPT-2 را فاین‌تیون کنم، آن قبلاً پیش‌آموزش داده شده و آن اطلاعات از بین نمی‌رود. اگر مدل زبانی را از ابتدا آموزش دهم، تظاهر به قدیمی بودن نمی‌کند، واقعاً همین‌گونه است. هدف فعلی این پروژه ساخت مدلی است که منحصراً با استفاده از دانش کتاب‌های لندن منتشرشده بین سال‌های ۱۸۰۰ تا ۱۸۷۵ استدلال کند.

از چه نوع داده‌ای برای آموزش استفاده کردید؟

من از کتاب‌ها، اسناد حقوقی، روزنامه‌ها و سایر نوشته‌های لندن بین سال‌های ۱۸۰۰ تا ۱۸۷۵ استفاده می‌کنم. لیستی که پیوند دادم (برای نسخه v0) حدود ۲۰۰ مورد دارد اما برای اولین آموزش فقط از ۵۰ فایل به حجم تقریبی ۱۸۷ مگابایت استفاده کردم. می‌توانید فهرست اسناد را مشاهده کنید: https://github.com/haykgrigo3/TimeCapsuleLLM/blob/main/Copy%20of%20London%20Documents%20for%20Time%20Capsule%20LLM.txt

اندازه دیتاست‌ها:

• v0: حدود ۱۸۷ مگابایت
• v0.5: حدود ۴۳۵ مگابایت
• v1: حدود ۶.۲۵ گیگابایت
• v2mini-eval1: ۱۵ گیگابایت (نمونه‌ای از ۹۰ گیگابایت v2)
• v2: ۹۰ گیگابایت

اندازه مدل‌ها چقدر است؟

v0: شانزده میلیون پارامتر

v0.5: صد و بیست و سه میلیون پارامتر

v1: هفتصد میلیون پارامتر

v2mini-eval1: سیصد میلیون پارامتر

v2mini-eval2: دویست میلیون پارامتر

v2: یک میلیارد و دویست میلیون پارامتر

مشخصات آموزش؟

v0/v0.5

کارت گرافیک: Geforce rtx 4060 پردازنده: i5-13400F رم: ۱۶ گیگابایت DDR5.

v1

کارت گرافیک: A100 SXM اجاره‌ای

v2mini-eval1/eval2

GPU: اجاره‌ای A100 SXM

v2

GPU: اجاره‌ای H100 SXM

کارهای مرتبط

• talkie-1930-13b
• مدل LLM با ۱۳ میلیارد پارامتر که روی ۲۶۰ میلیارد توکن متن تا پیش از سال ۱۹۳۰ با پرسش و پاسخ آموزش دیده است. همچنین یک نسخه پایه نیز موجود است.
• Violet 1.4B
• مدل LLM با ۱.۴ میلیارد پارامتر که روی متون ۱۸۰۰ تا ۱۸۹۹ با پرسش و پاسخ آموزش دیده است. همچنین یک نسخه ۱۶۰M نیز موجود است.
• Mr. Chatterbox
• مدل LLM با ۳۴۰ میلیون پارامتر که روی بیش از ۲۸٬۰۰۰ متن بین سال‌های ۱۸۳۷ تا ۱۸۹۹ با پرسش و پاسخ آموزش دیده است.
• Ranke-4B
• خانواده‌ای از مدل‌های LLM با ۴ میلیارد پارامتر مبتنی بر معماری Qwen3 که از ابتدا روی ۸۰ میلیارد توکن داده تاریخی تا سال‌های ۱۹۱۳، ۱۹۲۹، ۱۹۳۳، ۱۹۳۹ و ۱۹۴۶ آموزش دیده‌اند.
• TypewriterLM
• مدل زبانی تاریخی با ۷.۲۴ میلیارد پارامتر که فقط روی متون انگلیسی پیش از سال ۱۹۱۳ پیش‌آموزش دیده است. ساخته شده توسط پژوهشگرانی از دانشگاه واترلو، دانشگاه آدلاید، دانشگاه آکسفورد و دانشگاه کالج لندن. لینک به مقاله
• MondadGPT
• MonadGPT یک مدل فاین‌تیون شده مبتنی بر Mistral-Hermes 2 است که روی ۱۱٬۰۰۰ متن اوایل دوران مدرن به زبان انگلیسی، فرانسوی و لاتین (عمدتاً از EEBO و Gallica) آموزش دیده است.

تقدیر و تشکر

مایلم از دکتر حامد یعقوبیان برای نظارت علمی، راهنمایی در چارچوب‌بندی و ارزیابی پژوهش، و همچنین کمک در آموزش توکنایزر و آماده‌سازی دیتاست برای انتشار نسخه v2 تشکر کنم. بازخورد و تجربه ایشان نقش مهمی در بهبود ارائه این کار داشت.

--- Tranlated By Open Ai Tx | Last indexed: 2026-07-08 ---